JP2012160978A - Imaging control device, template acquisition device, and program - Google Patents
Imaging control device, template acquisition device, and program Download PDFInfo
- Publication number
- JP2012160978A JP2012160978A JP2011020244A JP2011020244A JP2012160978A JP 2012160978 A JP2012160978 A JP 2012160978A JP 2011020244 A JP2011020244 A JP 2011020244A JP 2011020244 A JP2011020244 A JP 2011020244A JP 2012160978 A JP2012160978 A JP 2012160978A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- imaging
- image
- imaging unit
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 186
- 238000005259 measurement Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims description 79
- 230000008569 process Effects 0.000 claims description 69
- 238000012545 processing Methods 0.000 claims description 26
- 210000000887 face Anatomy 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 90
- 238000005286 illumination Methods 0.000 abstract description 16
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 6
- 238000000926 separation method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、撮像制御装置、テンプレート取得装置、及びプログラムに関する。 The present invention relates to an imaging control device, a template acquisition device, and a program.
車両等の移動体に搭載された所定の装置により、ユーザ(主に、運転者)の視点を検出するための画像処理技術が知られている。 An image processing technique for detecting the viewpoint of a user (mainly a driver) by a predetermined device mounted on a moving body such as a vehicle is known.
特許文献1には、車両のインストパネル上面に設けられた日射センサ(ライトセンサ)から情報を取得し、この情報等に基づいて外光強度を算出し、カメラ照明の出力を演算する技術が開示されている。
特許文献2には、撮像装置で撮像した画像に対して標準的なテンプレートと相関演算を行うことによってユーザの目の位置を検出する技術が開示されている。
特許文献1に開示された技術では、日射センサのみが電柱等の影に隠れてしまうと、撮像対象のユーザには太陽光等の外光が照射されているにもかかわらず、影に隠れて暗くなった日射センサからのデータを基に外光強度を算出してしまうので、車両等の内部の環境光を正確に判別することができなかった。
In the technique disclosed in
また、特許文献2に開示された技術では、標準的なテンプレートに基づいて様々なユーザの目の位置を検出しているため、視点検出の成功率に個人差があるという問題があった。
Further, the technique disclosed in
本発明は上記実状に鑑みてなされたものであり、その第1の目的は、環境光を精度良く推定できる撮像制御装置及びプログラムを提供することにある。また、本発明の第2の目的は、視点検出における成功率の個人差を少なくすることができるテンプレート取得装置及びプログラムを提供することにある。 The present invention has been made in view of the above circumstances, and a first object thereof is to provide an imaging control apparatus and program capable of accurately estimating ambient light. A second object of the present invention is to provide a template acquisition apparatus and program that can reduce individual differences in the success rate in viewpoint detection.
上記第1の目的を達成するため、本発明の第1の観点に係る撮像制御装置は、
被写体の撮像を複数フィールドの撮像に分けて行う撮像部と前記撮像部が撮像する前記被写体に光を照射する光源とを制御し、前記複数フィールドの撮像のうちの所定の一部のフィールドの撮像においてのみ前記光源を発光させる撮像制御装置であって、
所定の測定装置によって測定した測定値に基づいて、前記被写体に対する太陽光の方向を特定する方向特定手段と、
前記方向特定手段が特定した前記太陽光の方向に基づいて、前記光源の発光時間を制御する制御手段と、を備える。
In order to achieve the first object, an imaging control apparatus according to the first aspect of the present invention provides:
An imaging unit that performs imaging of a subject divided into imaging of a plurality of fields, and a light source that irradiates light to the subject that is captured by the imaging unit, and controls imaging of a predetermined part of the imaging of the plurality of fields An imaging control device that emits the light source only in
Direction specifying means for specifying the direction of sunlight with respect to the subject based on a measurement value measured by a predetermined measuring device;
Control means for controlling the light emission time of the light source based on the direction of the sunlight specified by the direction specifying means.
上記第1の目的を達成するため、本発明の第2の観点に係るプログラムは、
コンピュータに、
被写体の撮像を複数フィールドの撮像に分けて行う撮像部と前記撮像部が撮像する前記被写体に光を照射する光源とを制御し、前記複数フィールドの撮像のうちの所定の一部のフィールドの撮像においてのみ前記光源を発光させる処理を実行させるプログラムであって、
所定の測定装置によって測定した測定値に基づいて、前記被写体に対する太陽光の方向を特定する処理と、
特定した前記太陽光の方向に基づいて、前記光源の発光時間を制御する処理と、
を実行させる。
In order to achieve the first object, a program according to the second aspect of the present invention provides:
On the computer,
An imaging unit that performs imaging of a subject divided into imaging of a plurality of fields, and a light source that irradiates light to the subject that is captured by the imaging unit, and controls imaging of a predetermined part of the imaging of the plurality of fields A program for executing the process of causing the light source to emit light only in
A process for identifying the direction of sunlight with respect to the subject based on a measurement value measured by a predetermined measurement device;
A process for controlling a light emission time of the light source based on the identified direction of the sunlight;
Is executed.
上記第2の目的を達成するため、本発明の第3の観点に係るテンプレート取得装置は、
被写体である人物に対して、複数回、所定の指示を行う指示手段と、
前記所定の指示ごとに撮像部に前記被写体を撮像させる撮像制御手段と、
前記被写体を撮像した前記撮像部から、撮像回数分の被写体画像を取得する被写体画像取得手段と、
取得した前記撮像回数分の被写体画像を比較することによって、被写体画像における人物の特徴領域を検知し、検知した特徴領域を示す特徴領域画像を取得する特徴領域画像取得手段と、
前記特徴領域画像取得手段が取得した前記特徴領域画像を前記人物の視点を検出する処理におけるパタンマッチング用のテンプレートとして記憶手段に記憶させる記憶制御手段と、を備える。
In order to achieve the second object, the template acquisition device according to the third aspect of the present invention is:
Instruction means for giving a predetermined instruction to a person as a subject a plurality of times;
Imaging control means for causing the imaging unit to image the subject for each predetermined instruction;
Subject image acquisition means for acquiring subject images for the number of times of imaging from the imaging unit that images the subject;
A feature region image acquisition unit that detects a feature region of a person in the subject image by comparing the acquired subject images for the number of times of imaging, and acquires a feature region image indicating the detected feature region;
Storage control means for storing the characteristic area image acquired by the characteristic area image acquisition means in a storage means as a template for pattern matching in the process of detecting the viewpoint of the person.
上記第2の目的を達成するため、本発明の第4の観点に係るプログラムは、
コンピュータに、
被写体である人物に対して、複数回、所定の指示を行う処理と、
前記所定の指示ごとに撮像部に前記被写体を撮像させる処理と、
前記被写体を撮像した前記撮像部から、撮像回数分の被写体画像を取得する処理と、
取得した前記撮像回数分の被写体画像を比較することによって、被写体画像における人物の特徴領域を検知し、検知した特徴領域を示す特徴領域画像を取得する処理と、
取得した前記特徴領域画像を前記人物の視点を検出する処理におけるパタンマッチング用のテンプレートとして記憶手段に記憶させる処理と、
を実行させる。
In order to achieve the second object, a program according to the fourth aspect of the present invention provides:
On the computer,
A process of giving a predetermined instruction to a person as a subject a plurality of times;
A process of causing the imaging unit to image the subject for each predetermined instruction;
Processing for acquiring subject images for the number of times of imaging from the imaging unit that images the subject;
A process of detecting a feature region of a person in the subject image by comparing the obtained subject images for the number of times of imaging, and acquiring a feature region image indicating the detected feature region;
A process of storing the acquired feature area image in a storage unit as a pattern matching template in the process of detecting the viewpoint of the person;
Is executed.
本発明の第1の観点に係る撮像制御装置及び本発明の第2の観点に係るプログラムによれば、環境光を精度良く推定できる。また、本発明の第3の観点に係るテンプレート取得装置及び本発明の第4の観点に係るプログラムによれば、視点検出における成功率の個人差を少なくすることができる。 According to the imaging control device according to the first aspect of the present invention and the program according to the second aspect of the present invention, it is possible to accurately estimate the ambient light. Further, according to the template acquisition apparatus according to the third aspect of the present invention and the program according to the fourth aspect of the present invention, individual differences in the success rate in viewpoint detection can be reduced.
以下に本発明の一実施形態を、図1〜図17を参照して説明する。 Hereinafter, an embodiment of the present invention will be described with reference to FIGS.
本実施形態に係る視点検出システム1は、図1に示すように、光源10と、撮像部20と、表示装置30と、入力装置40と、スピーカ50と、照明環境検知装置60と、制御装置70と、を備える。
このような構成からなる視点検出システム1においては、まず、制御装置70が、照明環境検知装置60からの取得した各種情報に基づき、光源10の点灯時間(発光時間)と撮像部20のシャッター時間(シャッターが開いている時間)とを決定する。次に、制御装置70は、決定したシャッター時間で、撮像部20に被写体2(図2参照)を撮像させるとともに、決定した点灯時間で光源10を点灯させる。そして、撮像画像における被写体2が写っている領域(以下、「被写体領域」という)を検出し、所定の被写体検出処理を実行し、被写体2の視点を検出する。
以下、視点検出システム1が備える各構成要素を詳細に説明する。
As shown in FIG. 1, the
In the
Hereinafter, each component with which the
光源10は、被写体2に光を照射するものである。光源10は、例えば、赤外線光源であり、制御装置70から出力される光源制御信号に基づいて点灯・消灯する。
The
撮像部20は、被写体2を撮像するものである。撮像部20は、例えば、レンズと、CCD(Charged Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)、シャッター等の周知の固体撮像素子とを含むビデオカメラである。撮像部20は、シャッターが開いているときにレンズを用いて固体撮像素子の受光面に被写体2の像を結像させ、結像させた像の光の強弱を電気信号に変換し、その電気信号に基づく画像信号を含むビデオ信号を制御装置70に出力する。
The
撮像部20の固体撮像素子の受光面に、例えば図3に示すような2M行N列の画素から成る画像(フレーム)Aが結像された場合について説明する。この場合、固体撮像素子を構成するマトリックス状に配置されたフォトダイオード(前記の各画素に対応して配置されている。)は、シャッターが開いているときに受光した光量に応じた電荷を生成する。そして、撮像部20は、シャッターが閉じたあとに、同期信号発生回路(図示せず)により出力される垂直同期信号及び水平同期信号に同期して、フレームAを構成する各ラインのフォトダイオードの電荷を電気信号として読み取る。
A case will be described in which an image (frame) A composed of pixels of 2M rows and N columns as shown in FIG. In this case, the photodiodes (arranged in correspondence with the respective pixels) arranged in a matrix that form the solid-state imaging device generate charges corresponding to the amount of light received when the shutter is open. To do. Then, after the shutter is closed, the
ここで、図3に示すように、ラインを上から順に数えたときの番号をライン番号という(つまり、2M行N列のフレームにおいて、ライン番号1は1行目を示し、ライン番号2Mは2M行目を示す)。また、フレームAを構成する各ラインの電荷のうち、ライン番号が奇数のラインから構成されるライン群を「奇数フィールド」といい、ライン番号が偶数のラインから構成されるライン群を「偶数フィールド」という。撮像部20は、1フレームの画像の撮像において、奇数フィールドの撮像と、偶数フィールドの撮像とを行う。撮像部20は、各撮像において、シャッターを開閉し、受光素子に電荷を貯めさせる。撮像部20は、フォトダイオードの電荷を読み取る際に、奇数フィールドの撮像では、奇数フィールドの各電荷を読み取り、偶数フィールドの撮像では、偶数フィールドの各電荷を読み取る。撮像20は、このような読み取りを、水平同期信号に同期して行う。奇数フィールドの各ラインと、奇数フィールドの各ラインとは、それぞれ交互に配置されている。
Here, as shown in FIG. 3, the number when the lines are counted in order from the top is referred to as a line number (that is, in a frame of 2M rows and N columns,
具体的には、i)フレームAにおいて、撮像部20は、垂直同期信号に同期して、ライン番号が奇数のラインの電荷の読み取りを開始する。すなわち、撮像部20は、ライン番号1,3,…,2M−1の順で水平同期信号に同期して各ラインの電荷を読み取る。このようにして、撮像部20は、奇数フィールドを表す電荷を読み取ることになる。ii)その後、撮像部20は、垂直同期信号に同期して、ライン番号が偶数のラインの電荷の読み取りを開始する。すなわち、撮像部20は、ライン番号2,4,…,2Mの順で水平同期信号に同期して各ラインの電荷を読み取る。このようにして、撮像部20は、偶数フィールドを表す電荷を読み取ることになる。つまり、撮像部20は、被写体2の撮像を偶数フィールドと奇数フィールドの撮像に分けて行う。
Specifically, i) In frame A, the
このような1つのフレームを構成する奇数フィールドと偶数フィールドを表す電荷の読み取りは、それぞれ例えば1/60秒の間隔で行われるため、1つのフレームを表す電荷の読み取りは、1/30秒間隔で行われる。すなわち、撮像部20は、1秒間に30フレームの画像を撮影する。そして、撮像部20は、読み取った電荷が表す電気信号である画像信号と、垂直同期信号と、水平同期信号とを重畳したビデオ信号を、制御装置70に出力する。
Such reading of charges representing odd and even fields constituting one frame is performed at intervals of 1/60 seconds, for example. Therefore, reading of charges representing one frame is performed at intervals of 1/30 seconds. Done. That is, the
図1に戻って、表示装置30は、制御装置70が出力する被写体検出画像(被写体検出画像については後述する)を表示するものであり、例えばLCD(Liquid Crystal Display)から構成される。
Returning to FIG. 1, the
入力装置40は、ユーザの所定の入力操作を受け付けるものであり、例えばユーザの数値入力を受け付けるキーボード、マウス、タッチパネルから構成される。入力装置40に入力されたデータは、制御装置70に出力される。
The
スピーカ50は、後述のテンプレート取得処理において、ユーザに所定の指示を行うためのものである。スピーカ50は、制御装置70の制御の下、鳴動し、所定の音声を発生させる。
The
照明環境検知装置60は、被写体2の周囲の推定環境光の強度(以下、「推定環境光強度」という。)を算出するため、現在の日時、緯度・経度等の種々の値を測定し、これら測定値に基づくデータを制御装置70に供給するためのものである。推定環境光強度の算出については、後に詳細に述べる。例えば、視点検出システム1が車両に搭載されている場合、この照明環境検知装置60は、運転席付近の推定環境光強度を算出するための種々のデータを制御装置70に供給する。照明環境検知装置60は、時計61と、GPS(Global Positioning System)受信機62と、方位センサ63と、ライトセンサ64と、を備える。
The lighting
時計61は、制御装置70に、現在の日付及び時刻を示すデータ(以下、「日時データ」という。)を供給するためのものである。時計61は、例えば電波時計であり、内蔵された受信機(図示せず)により、所定の送信所から電波を受信する。そして、電波信号を読み取り、現在の時刻を表示する。また、時計61は、日時データを制御装置70に供給する。
The
GPS受信機62は、GPS衛星からの信号を受信し、現在の自機の位置(緯度・経度)を示すデータ(以下、「位置データ」という。)を、制御装置70に供給する。例えば、視点検出システム1が車両に搭載されている場合、GPS受信機62、撮像部20は車両内に位置し、また、撮像部20の撮像対象である被写体2は運転者等の搭乗者であるため、この位置データは、撮像装置20(または、その撮像対象である被写体2)の緯度・経度を略示する。
The
方位センサ63は、撮像部20が含む撮像素子の受光面がどの方位に向いているか(つまり、撮像部20の向く方位)を検知するものである。方位センサ63は、例えば撮像部20の所定の位置に搭載され、撮像部20の向く方位を示すデータ(以下、「方位データ」という。)を制御装置70に供給する。
The
なお、時計61、GPS受信機62、及び方位センサ63は、請求項における測定装置を構成する。また、日時データとして、GPS受信機62がGPS衛生から受信した日時情報を用いてもよい。また、方位データとして、例えば視点検出システム1が車両等の移動体に搭載されている場合には、移動体の移動に伴って算出できる方位情報を利用してもよい。
The
ライトセンサ64は、受光した光の強度を検知(測定)するものである。例えば、視点検出システム1が車両に搭載されている場合、このライトセンサ64は、ルームミラーの背面部に設けられ、フロントガラスから入射する外光の強度を検知する。ライトセンサ64は、このようにして受光を検知し、光検知信号を制御装置70に供給する。
The
照明環境検知装置60のうち、時計61、GPS受信機62、及び方位センサ63は、被写体2に対する太陽光の方向に関する情報を数値化するために設けられるものである(どのように数値化するかについては、後に詳細に述べる)。受光した光の強度を直接検知するライトセンサ64に加えて、これらの、被写体2に対する太陽光の方向に関する情報を数値化するための装置を設けた理由は、例えば、視点検出システム1を車両等の移動体に搭載した場合、ライトセンサ64が影に隠れ、被写体2が外光により照光されるときや、反対に、被写体2が影に隠れ、ライトセンサ64が外光により照光されるときには、ライトセンサ64だけでは、撮像対象である被写体2近傍の照明環境を正確に検知することができないためである。
Of the lighting
照明環境検知装置60を以上のように構成することで、ライトセンサ64が影に隠れ、被写体2が外光により照光されるときや、反対に、被写体2が影に隠れ、ライトセンサ64が外光により照光されるときであっても、時計61、GPS受信機62、方位センサ63から供給された「日時データ」、「位置データ」、「方位データ」に基づいて算出した太陽光強度等と、ライトセンサ64からの「光検出信号」に基づいて算出した測定環境光強度とから推定環境光強度を導出することで、被写体2近傍の照明環境を正確に検知することができる。なお、太陽光強度等、測定環境光強度、推定環境光強度の算出については、後の光源制御処理において詳細に述べる。
By configuring the illumination
制御装置70は、例えばマイクロコンピュータから構成され、CPU(Central Processing Unit)71と、ROM(Read-Only Memory)72と、汎用メモリ73と、ビデオメモリ74と、同期分離回路75と、フィールド識別回路76と、外部デバイスインターフェイス(I/F)77と、を備える。なお、制御装置70は、請求項における撮像制御装置、テンプレート取得装置を構成する。
The
CPU71は、ROM72内に予め記憶された、後述する光源制御処理、被写体検出処理、テンプレート取得処理等を実行するための所定プログラムを読み出し、実行する。そして、CPU71は、i)照明環境検知装置60から取得した、日時データ、位置データ、方位データ、及び光検出信号、ii)撮像部20から取得したビデオ信号、iii)処理後の演算結果、画像データ等、を汎用メモリ73に一時的に記憶させる。また、CPU71は、汎用メモリ73に記憶された出力画像データをビデオメモリ74に転送し、転送した出力画像データに基づいて表示装置30に出力画像データが表す画像を出力する。また、CPU71は、図示しないタイマに、適宜、計時をさせる。
The
なお、CPU71は、後述する光源制御処理、被写体検出処理を実行して、請求項における方向特定手段、制御手段として機能する。また、CPU71は、後述するテンプレート取得処理を実行し、請求項における撮像制御手段、被写体画像取得手段、特徴領域画像取得手段、記憶制御手段として機能する。また、CPU71は、スピーカ50を鳴動させ、所定の音声を発生させることで請求項における指示手段として機能する。
The
ROM72には、各種データ、前記所定プログラムの他、後述する光源制御処理及び被写体検出処理において参照される、太陽高度・太陽方位特定テーブルT1(図4)、太陽光強度特定テーブルT2(図5(a))、太陽方位係数特定テーブルT3(図5(b))、測定環境光強度特定テーブルT4(図5(c))、点灯時間決定テーブルT5(図6(a))、シャッター時間決定テーブルT6(図6(b))等が予め格納されている。これらの各種テーブルは、光源10を点灯する時間(以下、「点灯時間T」という)、撮像部20のシャッター時間を求めるために参照されるテーブルである。以下、各種テーブルについて詳細に説明する。
In the
図4に示す、太陽高度・太陽方位特定テーブルT1は、照明環境検知装置60から制御装置70に供給される、位置データ及び日時データから、「太陽高度」及び「太陽方位」を算出するためのテーブルである。「太陽高度」は、水平線を0°とした太陽の仰角である。「太陽方位」は、北を0°、東を90°、南を180°、西を270°としたときの太陽の方位角である。太陽高度・太陽方位特定テーブルT1は、「緯度・経度」、「日付」、「時刻」各々の複数の設定値と、これら設定値の組み合わせに対応して定まる「太陽高度」及び「太陽方位」を予め表した格納データである。CPU71は、この太陽高度・太陽方位特定テーブルT1を参照して、GPS受信機62から取得した位置データが示す「緯度・経度」と、時計61から取得した日時データが示す「日付」及び「時刻」とに対応した「太陽高度」と「太陽方位」を特定する。例えば、図示するように、「緯度・経度」が“北緯37度26分・東経138度50分”、「日付」が“1月”、「時刻」が“12:00〜13:00”であった場合、「太陽高度」は“32”、「太陽方位」は“191”と特定される。
The solar altitude / solar direction specifying table T1 shown in FIG. 4 is used to calculate “solar altitude” and “solar direction” from position data and date / time data supplied from the lighting
図5(a)に示す、太陽光強度特定テーブルT2は、「太陽高度」から「太陽光強度」を算出するためのテーブルである。「太陽強度」は、被写体に到達する太陽光の明るさ(照度)を推定した推定値である。太陽光強度特定テーブルT2は、「太陽高度」の複数の設定値と、これらの複数の設定値に対応して定まる「太陽港強度」を予め表した格納データである。CPU71は、この太陽光強度特定テーブルT2を参照して、太陽高度・太陽方位特定テーブルT1に基づいて特定した「太陽高度」に対応した「太陽光強度」を特定する。例えば、図示するように、「太陽高度」が“5°〜10°”であった場合、「太陽光強度」は“0.131”と特定される。
なお、図5(a)に示す太陽光強度特定テーブルT2は、太陽高度の値が増加するに従って、太陽光強度も増加するように構成されているが、これに限られない。例えば、太陽高度が0°〜45°の範囲では、太陽光強度は太陽高度の増加に従って増加し、太陽高度が45〜90°の範囲では、太陽光強度は太陽高度の増加に従って減少するように太陽強度特定テーブルを構成してもよい。このように構成する場合として、例えば、視点検出システム1が車両に搭載され、太陽光を遮る車体の影響(車両の天井等)を考慮した場合が考えられる。
The sunlight intensity specifying table T2 shown in FIG. 5A is a table for calculating “sunlight intensity” from “solar altitude”. “Sun intensity” is an estimated value obtained by estimating the brightness (illuminance) of sunlight reaching the subject. The sunlight intensity specifying table T2 is storage data that represents in advance a plurality of set values of “solar altitude” and “solar port intensity” determined corresponding to the plurality of set values. The
In addition, although sunlight intensity specific table T2 shown to Fig.5 (a) is comprised so that sunlight intensity | strength may increase as the value of solar altitude increases, it is not restricted to this. For example, when the solar altitude ranges from 0 ° to 45 °, the sunlight intensity increases as the solar altitude increases, and when the solar altitude ranges from 45 to 90 °, the sunlight intensity decreases as the solar altitude increases. You may comprise a solar intensity specific table. For example, the
図5(b)に示す、太陽方位係数特定テーブルT3は、「太陽方位との角度」から「太陽方位係数」を算出するためのテーブルである。ここで、「太陽方位との角度」とは、CPU71が、太陽高度・太陽方位特定テーブルT1を参照して算出した「太陽方位」と、方位センサ63から取得した方位データが示す「撮像部20の向く方位」との差をとることで、算出される値である。このように算出される「太陽方位との角度」は、撮像部20の向く方位を基準とした場合における、その基準方位から太陽の位置までの方位角を示し、これにより、撮像部20に対して太陽光の入射方位(つまり、撮像部20が撮像しようとしている被写体に対する太陽光の入射方位)を特定することができる。そして、「太陽方位係数」とは、その入射方位の影響を考慮して、太陽光の強度を係数化したものである。太陽方位係数特定テーブルT3は、「太陽方位との角度」の複数の設定値と、これら複数の設定値に対応して定まる「太陽方位係数」を予め表した格納データである。CPU71は、この太陽方位係数特定テーブルT3を参照して、上記のように算出した「太陽方位との角度」に対応した「太陽方位係数」を特定する。例えば、図示するように、「太陽方位との角度」が“5°〜10°”であった場合、「太陽方位係数」は“0.991”と特定される。
なお、太陽方位係数特定テーブルT3は、図示してないが、例えば、太陽方位との角度が180°の値を太陽方位係数が最小の値となるように構成されている。
The solar azimuth coefficient specification table T3 shown in FIG. 5B is a table for calculating the “solar azimuth coefficient” from the “angle with the sun azimuth”. Here, the “angle with the sun azimuth” refers to the “sun azimuth” calculated by the
In addition, although not shown in figure, the solar orientation coefficient specific table T3 is configured, for example, such that the angle with the solar orientation is 180 ° and the solar orientation coefficient is the minimum value.
図5(c)に示す、測定環境光強度特定テーブルT4は、ライトセンサ64からの光検出信号の出力(以下、「ライトセンサ出力」という)から「測定環境光強度」を算出するためのテーブルである。「測定環境光強度」は、被写体を照らしている環境光(つまり太陽光)の明るさ(照度)を推定した値である。測定環境光強度特定テーブルT4は、「ライトセンサ出力」の複数の設定値と、これら複数の設定値に対応して定まる「測定環境光強度」を予め表した格納データである。CPU71は、この測定環境光強度特定テーブルT4を参照して、「ライトセンサ出力」に対応した「測定環境光強度」を特定する。例えば、図示するように、「ライトセンサ出力」が“5〜10”であった場合、「測定環境光強度」は、“0.991”と算出される。
The measurement environment light intensity specification table T4 shown in FIG. 5C is a table for calculating “measurement environment light intensity” from the output of the light detection signal from the light sensor 64 (hereinafter referred to as “light sensor output”). It is. “Measured ambient light intensity” is a value obtained by estimating the brightness (illuminance) of ambient light (that is, sunlight) illuminating the subject. The measurement environment light intensity specification table T4 is stored data that represents in advance a plurality of set values of “light sensor output” and “measurement environment light intensity” determined in accordance with the plurality of set values. The
図6(a)に示す、点灯時間決定テーブルT5は、推定環境光強度から光源10の点灯時間Tを決定するためのテーブルであり、図6(b)に示す、シャッター時間決定テーブルT6は、推定環境光強度から撮像部20のシャッター時間を決定するためのテーブルである。
The lighting time determination table T5 shown in FIG. 6A is a table for determining the lighting time T of the
ここで、推定環境光強度とは、太陽光強度、太陽方位係数、測定環境光強度に基づいて、次の(式1)又は(式2)により算出される値である。 Here, the estimated ambient light intensity is a value calculated by the following (Expression 1) or (Expression 2) based on the sunlight intensity, the solar orientation coefficient, and the measured environment light intensity.
θ0を予め定められた任意の閾値として、
[測定環境光強度]>θ0ならば、
[推定環境光強度]=[太陽方位係数]×[太陽光強度]・・・(式1)
一方、
[測定環境光強度]≦θ0ならば、
[推定環境光強度]=0・・・(式2)
As θ 0 is a predetermined arbitrary threshold value,
[Measurement light intensity]> θ 0 ,
[Estimated ambient light intensity] = [Solar orientation coefficient] × [Sunlight intensity] (Equation 1)
on the other hand,
[Measurement environment light intensity] ≦ θ 0 ,
[Estimated ambient light intensity] = 0 (Expression 2)
例えば、閾値θ0を0.3と予め設定していた場合に、CPU71が、「太陽光強度」を0.131、太陽方位係数を0.991、測定環境光強度を0.991と各々算出したとすると、この場合、測定環境光強度の値は、0.991と、閾値θ0=0.3の値よりも大きいので、(式1)により、推定環境光強度は、0.991×0.131で求められ、約0.130となる。推定環境光強度は、被写体2を照らす光の明るさを推定したもので、例えば、推定した明るさが明るいほど大きい値をとる。
For example, when the threshold value θ 0 is set to 0.3 in advance, the
点灯時間決定テーブルT5は、「推定環境光強度」の複数の設定値と、これら複数の設定値に対応して定まる「点灯時間T」を予め表した格納データである。CPU71は、この点灯時間決定テーブルT5を参照して、上記(式1)又は(式2)により算出した「推定環境光強度」に対応した「点灯時間T」を決定する。例えば、図示するように、「推定環境光強度」が“0.01〜0.02”であった場合、「点灯時間T」は、“1/100ms”と決定される。
The lighting time determination table T5 is stored data that represents a plurality of set values of “estimated ambient light intensity” and “lighting time T” determined in advance corresponding to the plurality of set values. The
シャッター時間決定テーブルT6は、「推定環境光強度」の複数の設定値と、これら複数の設定値に対応して定まる「シャッター時間」を予め表した格納データである。CPU71は、このシャッター時間決定テーブルT6を参照して、上記(式1)又は(式2)により算出した「推定環境光強度」に対応した「シャッター時間」を決定する。例えば、図示するように、「推定環境光強度」が“0.01〜0.02”であった場合、「シャッター時間」は、“1/10s”と決定される。CPU71は、このようにしてシャッター時間を決定すると、撮像部20に、そのシャッター時間で、奇数フィールドの撮像と偶数フィールドの撮像とを交互に行わせる。加えて、CPU71は、後述の光源制御処理を実行することによって、撮像部20が行う奇数フィールドの撮像においてのみ、光源10を点灯させる。
The shutter time determination table T6 is stored data that preliminarily represents a plurality of set values of “estimated ambient light intensity” and “shutter times” determined in accordance with the plurality of set values. The
つまり、上記各種テーブルのうち、テーブルT1〜T4は、照明環境検知装置60からの各種情報に基づいて、上記(式1)又は(式2)により、推定環境光強度を算出するための各種パラメータを求めるためのテーブルである。また、点灯時間決定テーブルT5は、算出された推定環境光強度から点灯時間Tを決定するためのテーブルであり、シャッター時間決定テーブルT6は、算出された推定環境光強度からシャッター時間を決定するためのテーブルである。
That is, among the various tables, the tables T1 to T4 are various parameters for calculating the estimated environment light intensity by the above (Expression 1) or (Expression 2) based on various information from the illumination
図1に戻って、同期分離回路75は、撮像部20からのビデオ信号を、画像信号と、垂直同期信号と、水平信号とに分離する回路である。
Returning to FIG. 1, the
フィールド識別回路76は、同期分離回路75により分離された、垂直同期信号及び水平同期信号から、ビデオ信号に含まれる画像信号が奇数フィールドと偶数フィールドのいずれであるかを示すフィールド識別信号を生成する。フィールド識別信号は、一例として、図7(b)に示すように構成され、このようなフィールド識別信号に基づいて、CPU71は、撮像部20から取得した画像信号が、奇数フィールドが、偶数フィールドかを判別することができる。
The
外部デバイスI/F77は、光源10、撮像部20、表示装置30、入力装置40、スピーカ50、照明環境検知装置60の各々と、制御装置70の各部とを接続するものである。
The external device I /
(光源制御処理)
制御装置70のCPU71が実行する光源制御処理を、図8等を参照して説明する。この処理は、例えば制御装置70の起動を条件に開始される。
(Light source control processing)
The light source control process executed by the
CPU71は、光源制御処理を開始すると、まず、照明環境検知装置60から、日時データ、位置データ、方位データ、光検知信号からなる各種情報を取得する(ステップS101)。
When starting the light source control process, the
次に、CPU71は、ステップS101で取得した各種情報に基づいて光源10を点灯させる期間(以下、「点灯時間T」という)を決定する(ステップS102)。
Next, the
具体的には、CPU71は、以下の手順により、点灯時間Tを決定する。
1)CPU71は、まず、GPS受信機62から取得した位置データに基づき「緯度・経度」を決定し、時計61から取得した日時データに基づき「日付」及び「時刻」を決定する。そして、CPU71は、太陽高度、太陽方位特定テーブルT1を参照して、「太陽高度」「太陽方位」を算出する。
2)次に、CPU71は、太陽光強度特定テーブルT2を参照して、上記1)で、算出した「太陽高度」から「太陽光強度」を算出する。
3)また、CPU71は、上記1)で、算出した「太陽方位」と、方位センサ63から取得した方位データが示す「撮像部20の方位」との差をとり、「太陽方位との角度」を算出する。そして、CPU71は、太陽方位係数特定テーブルT3を参照して、「太陽方位係数」を算出する。
4)また、CPU71は、ライトセンサ出力を特定し、測定環境光特定テーブルT4を参照して、「測定環境光強度」を算出する。
5)そして、CPU71は、上記2)で得られた「太陽光強度」と、上記3)で得られた「太陽方位係数」から、上記(式1)又は(式2)により、「推定環境光強度」を算出する。
6)そして、CPU71は、推定環境光強度特定テーブルT5を参照して、上記5)で算出した「推定環境光強度」に対応する「点灯時間T」を決定する。また、CPU71は、決定した点灯時間Tを一時的に汎用メモリ73に記憶させる。ここで決定された点灯時間Tは、例えば、次回の処理において、新たに点灯時間Tが決定されるまで、記憶される。
Specifically, the
1) First, the
2) Next, the
3) Further, the
4) Further, the
5) Then, the
6) Then, the
続いて、ステップS103で、CPU71は、垂直同期信号の立ち下がり(図7(a)参照)を検出した否かを判別する。この垂直同期信号は、前述のように、撮像部20からのビデオ信号を画像信号と垂直同期信号と水平信号とに分離する同期分離回路75から出力される。CPU71は、垂直同期信号の立ち下がりを検出していないと判別した場合(ステップS103;No)、ステップS106に処理を進める。一方、CPU71は、垂直同期信号の立ち下がりを検出したと判別した場合(ステップS103;Yes)、ステップS104に処理を進める。
Subsequently, in step S103, the
ステップS104で、CPU71は、フィールド識別回路76から取得したフィールド識別信号が、奇数フィールド(図7(b)参照)を示しているか否かを判別する。具体的には、CPU71は、フィールド識別信号の立ち上がりを検出した場合に、フィールド識別信号が奇数フィールドであると判別する。
フィールド識別信号が奇数フィールドを示していない(つまり、偶数フィールドを示している)と判別した場合(ステップS104;No)、CPU71は、ステップS103に処理を戻す。一方、フィールド識別信号が奇数フィールドを示していると判別した場合(ステップS104;Yes)、CPU71は、ステップS105に処理を進める。
In step S104, the
When it is determined that the field identification signal does not indicate an odd field (that is, indicates an even field) (step S104; No), the
ステップS105で、CPU71は、タイマ(図示せず)の時刻をt=0に設定し、タイマに計時を開始させる。
In step S105, the
続いて、ステップS106で、CPU71は、時刻tがTON≦t≦TOFFを満たすか否かを判別する。ここで、TON及びTOFFは、撮像部20の固体撮像素子を構成するフォトダイオードのうち、奇数フィールドに対応するフォトダイオードが受光している光量に応じた電荷を生成している時間の開始時刻及び終了時刻に対応する。また、(TOFF−TON)、即ち、点灯時間Tは、ステップS102における処理で決定され、汎用メモリ73に一時的に記憶されている値である。なお、TONは、予めROM72にデフォルト値として記憶されているか、ユーザにより入力装置40を介して設定され記憶される。
Subsequently, in step S106, the
計時時間tがTON≦t≦TOFFを満たすと判別した場合(ステップS106;Yes)、CPU71は、点灯を示す光源制御信号(図7(c)参照)を光源10に出力する(ステップS107)。そして、処理をステップS101に戻す。一方、計時時間tがTON≦t≦TOFFを満たさないと判別した場合(ステップS106;No)、CPU71は、消灯を示す光源制御信号を光源10に出力する(ステップS108)。そして、処理をステップS101に戻す。
When it is determined that the time count t satisfies T ON ≦ t ≦ T OFF (step S106; Yes), the
以上の処理からなる光源制御処理を、CPU71は、例えば、制御装置70の電源がオフされるまで繰り返す。本処理により、撮像部20が奇数フィールドを撮像しているときに光源10を点灯させ、撮像部20が偶数フィールドを撮像しているときに光源10を消灯させることができる。
For example, the
(視点検出処理)
次に、制御装置70のCPU71が実行する視点検出処理を、図9等を参照して説明する。この処理は、例えば制御装置70の起動を条件に開始される。
(Viewpoint detection processing)
Next, viewpoint detection processing executed by the
CPU71は、被写体検出処理を開始すると、まず、前述の光源制御処理におけるステップS101の処理と同様に、照明環境検知装置60から、日時データ、位置データ、方位データ、光検知信号からなる各種情報を取得する(ステップS201)。
When starting the subject detection process, the
次に、CPU71は、ステップS201で取得した各種情報に基づいて撮像層20のシャッター時間を決定し、そのシャッター時間で撮像部20に撮像させる(ステップS202)。具体的には、前述の光源制御処理におけるステップS102と、同様な手法により、推定環境光強度を算出し、シャッター時間決定テーブルT6(図6(b))を参照して、算出した推定環境光強度に対応する「シャッター時間」を決定する。そして、決定したシャッター時間で、撮像部20に撮像させる。
Next, the
続いて、ステップS203で、CPU71は、撮像部20が出力するビデオ信号に含まれる画像信号から、垂直同期信号に基づいて1フレーム分の画像信号が表すフレーム画像を取得する(ステップS203)。具体的には、CPU71は、垂直同期信号に同期して、撮像部20から出力されたビデオ信号に含まれる画像信号から、1つの奇数フィールドの画像信号と1つの偶数フィールドの画像信号とにより構成される1フレーム分の画像信号を取得する。例えば、撮像部20が、図2に示すような、被写体2を撮像した場合、CPU71が取得するフレーム画像は、図10に示すようなフレーム画像Bである。撮像部20の撮像中において、CPU71は、前述の光源制御処理を実行するため、フレーム画像Bでは、奇数フィールド中の被写体像は明るく、偶数フィールド中の被写体像は暗く表される。これは、撮像部20に撮像される被写体2を照らす光源10を、撮像部20が奇数フィールドを撮像しているときに光源10を点灯させ、撮像部20が偶数フィールドを撮像しているときに光源10を消灯させることができるためである。なお、図2に示す背景3は光源10から十分離れているため、この背景3に対応するフレーム画像Bの背景部分は、光源10の影響を受けていない。
Subsequently, in step S203, the
続いて、ステップS204で、CPU71は、ステップS203で取得したフレーム画像を奇数フィールドと偶数フィールドとに分離して、各フィールドから構成される奇数フィールド画像と偶数フィールド画像を取得する。具体的には、例えば図10に示すフレーム画像Bを取得した場合、CPU71は、図11(a)に示す奇数フィールドの画像を表す奇数フィールド画像C1と、図11(b)に示す偶数フィールドの画像を表す偶数フィールド画像C2と、を取得する。奇数フィールド画像C1と偶数フィールド画像C2は、ともにフレーム画像Bの半分のライン数で構成されている。
Subsequently, in step S204, the
続いて、ステップS205で、CPU71は、ステップS204で取得した奇数フィールド画像と偶数フィールド画像とから、第1補間フレーム画像、第2補間フレーム画像を取得する(ステップS205)。
Subsequently, in step S205, the
ここで、第1フレーム画像とは、奇数フィールド画像の各ラインの間に新たにラインを補間したフレーム画像であり、第2フレーム画像とは、偶数フィールド画像の各ラインの間に新たにラインを補間したフレーム画像である。具体的には、図11(a)、(b)に示すように、フレーム画像Bの半分のライン数で構成されている奇数フィールド画像C1と、偶数フィールド画像C2について、それぞれフレーム画像Bと同じライン数となるように、各ラインの間に新たにラインを補間することにより、奇数フィールド画像C1から、図12(a)に示す、第1補間フレーム画像D1と、偶数フィールド画像C2から、図12(b)に示す、第2補間フレーム画像D2を取得する。 Here, the first frame image is a frame image in which lines are newly interpolated between the lines of the odd field image, and the second frame image is a new line between the lines of the even field image. This is an interpolated frame image. Specifically, as shown in FIGS. 11A and 11B, the odd-numbered field image C1 and the even-numbered field image C2 configured with half the number of lines of the frame image B are the same as the frame image B, respectively. By interpolating a new line between each line so as to be the number of lines, from the odd field image C1, the first interpolation frame image D1 and the even field image C2 shown in FIG. A second interpolation frame image D2 shown in 12 (b) is acquired.
補間方法の一例として、奇数フィールド画像C1の各ラインの間に、輝度値として上下の画素の輝度値の平均値を有するラインを補間することで、第1補間フレーム画像D1を取得できる。同様に、偶数フィールド画像C2の各ラインの間に、輝度値として上下の画素の輝度値の平均値を有するラインを補間することで、第2補間フレーム画像D2を取得できる。 As an example of the interpolation method, the first interpolation frame image D1 can be acquired by interpolating a line having an average value of luminance values of upper and lower pixels as luminance values between the lines of the odd field image C1. Similarly, the second interpolation frame image D2 can be acquired by interpolating a line having the average value of the luminance values of the upper and lower pixels as the luminance value between the lines of the even field image C2.
具体的には、2M行N列の画像数を有し、i行j列目の画素の輝度値がIi,jで表されるフレーム画像Bがフレーム画像取得部70cで取得された場合、第1補間フレーム画像D1の輝度値I’i,jと、第2補間フレーム画像D2の輝度値I’’i,jは、以下の式で表すことができる。
なお、Iminは、フレーム画像Bの輝度値Iの最小値を表す。
Specifically, when the frame image B having the number of images of 2M rows and N columns and the luminance value of the pixel in the i row and j column represented by I i, j is acquired by the frame image acquisition unit 70c, 'and i, j, the luminance value I of the second interpolated frame image D2' luminance value I of the first interpolated frame image D1 'i, j can be expressed by the following equation.
I min represents the minimum value of the luminance value I of the frame image B.
図9に戻って、CPU71は、ステップS205において、第1補間フレーム画像と第2補間フレーム画像を取得すると、ステップS206に処理を進める。
Returning to FIG. 9, when the
ステップS206で、CPU71は、第1補間フレーム画像と第2補間フレーム画像との比較に基づいて、被写体検出画像を取得する。具体的には、CPU71は、図12(a)、(b)に示すような第1補間フレーム画像D1と、第2補間フレーム画像D2とについて、対応する位置にある画素の輝度値を比較し、その画素の輝度値の差が所定値θよりも大きい場合に、その位置にある画素は被写体領域内の画素であると判別する。そして、CPU71は、この判別処理を第1補間フレーム画像D1及び第2補間フレーム画像D2の全域に対して行い、被写体領域内の画素であると判別した画素について、フレーム画像Bの輝度値の最小値Iminを輝度値とし、それ以外の画素についてはフレーム画像Bの輝度値の最大値Imaxを輝度値として有する、図13に示す、被写体検出画像Eを取得する。具体的には、被写体検出画像Eの輝度値I’’’i,jは以下の式で与えられる。
具体的には、例えば、ステップS205において図12(a)、(b)に示すような第1補間フレーム画像D1と第2補間フレーム画像D2とを取得した場合、CPU71は、第1補間フレーム画像D1と第2補間フレーム画像D2とについて、上述の(式9)を用いて、対応する位置にある画素の輝度値を比較し、その画素の輝度値の差が所定値θよりも大きい場合に、その位置にある画素は被写体領域内の画素であると判別する。そして被写体領域と判別された位置にある画素の輝度値がフレーム画像Bの輝度値の最小値Iminであり、それ以外の画素の輝度値がフレーム画像Bの輝度値の最大値Imaxである被写体検出画像E(図13)を取得する。
Specifically, for example, when the first interpolation frame image D1 and the second interpolation frame image D2 as shown in FIGS. 12A and 12B are acquired in step S205, the
例えば、本処理において、図14(a)に示すような、車両に乗車した人物を撮像部20で撮像した場合、CPU71が取得する被写体検出画像は、図14(b)に示すようなものとなる。このように、被写体検出処理によれば、撮像対象である人物の画像のみを被写体検出画像として、得ることができる。
For example, in this process, when a person who has boarded the vehicle is imaged by the
続いて、ステップS207で、CPU71は、視点検出処理を実行して、ステップS206で得た被写体検出画像上における、目の座標を検出する。この視点検出処理は、図15に概念的に示すように、周知の技術であるパタンマッチングにより実現される。具体的には、CPU71が、汎用メモリ73に記憶されているテンプレートTEを読み出し、このテンプレートTEに最も近い領域を画像中でサーチすることによって、目の座標を検出する。なお、このテンプレートTEは、CPU71が、後に詳細に述べる、テンプレート取得処理を実行することで取得し、汎用メモリ73に記憶させているものである。
Subsequently, in step S207, the
続いて、ステップS208で、CPU71は、表示装置30に被写体検出画像Eを表示させる。この表示により、ユーザは検出結果を確認することができる。
Subsequently, in step S208, the
以上の処理からなる被写体検出処理を、CPU71は、例えば制御装置70の電源がオフされるまで繰り返す。
The
(テンプレート取得処理)
次に、制御装置70のCPU71が実行するテンプレート取得処理を、図16及び図17を参照して説明する。この処理は、例えば入力装置40からのユーザ操作により、所定の指令信号を制御装置70が取得したことを合図に開始される。
(Template acquisition process)
Next, template acquisition processing executed by the
CPU71は、テンプレート取得処理を開始すると、まず、スピーカ50を鳴動させることで、開眼指示を行う(ステップS301)。具体的には、スピーカ50を鳴動させて、予めROM72等に格納された所定の音声、例えば、「目を開けてください」という音声を発生させ、ユーザ(被写体2)に開眼を促す。
When starting the template acquisition process, the
続いて、ステップS302で、CPU71は、撮像部20に撮像させ、フレーム画像を取得する(ここで取得したフレーム画像を「開眼フレーム画像」という)。具体的には、ステップS301における開眼指示に従った人物を撮像部20が撮像した場合、CPU71は、図17(a)に示すような、開眼フレーム画像F0を取得する。
Subsequently, in step S302, the
続いて、ステップS303で、CPU71は、スピーカ50を鳴動させることで、閉眼指示を行う(ステップS303)。具体的には、スピーカ50を鳴動させて、予めROM72等に格納された所定の音声、例えば、「目を閉じてください」という音声を発生させ、ユーザ(被写体2)に閉眼を促す。
Subsequently, in step S303, the
続いて、ステップS304で、CPU71は、撮像部20に撮影させ、フレーム画像を取得する(ここで取得したフレーム画像を「閉眼フレーム画像」という)。具体的には、ステップS303における閉眼指示に従った人物を撮像部20が撮像した場合、CPU71は、図17(b)に示すような、閉眼フレーム画像F1を取得する。
Subsequently, in step S304, the
なお、ステップS302及びステップS304における撮像部20による撮像は、CPU71の制御の下、スピーカ50の鳴動から所定時間経過を条件に開始されてもよいし、撮像の準備ができたユーザが入力装置40から所定の入力操作をしたことを合図に開始されてもよい。
Note that imaging by the
次に、CPU71は、取得した開眼フレーム画像と閉眼フレーム画像との差分絶対値を、周知の画像処理方法により算出する(ステップS305)。そして、CPU71は、周知の画像処理方法により、二値化処理を行う(ステップS306)。具体的には、取得した、図17(a)に示す開眼フレーム画像F0と図17(b)に示す閉眼フレーム画像F1との差分絶対値を算出し、二値化処理を実行した場合、CPU71は、開眼フレーム画像F0と閉眼フレーム画像F1とで変化した領域が強調された、図17(c)に示すような2値画像F2を得ることができる。つまり、ここで、CPU71は、被写体画像中における目の領域が強調された2値画像F2を得る。なお、図17(c)における点線は、フレーム画像の一部を示すものでなく、補助線である。
Next, the
ステップS306で得られる2値画像は、背景や被写体の動き等の影響により、通常は、目の領域以外に、様々なノイズが含んだものとなる。そこで、ステップS307において、CPU71は、目以外の領域を取り除くために、2値画像中の対象領域(予め設定された白または黒の領域)の面積を算出する。そして、ステップS307で、CPU71は、ステップS306で算出した面積のうち、面積の大きさの順で、上位2つを選択し(ここで、面積が最も大きい領域をR1、次に面積が大きい領域をR2とする)、R1、R2の位置関係を考慮して、R1、R2を、それぞれ、右目と左目の領域とする。具体的には、CPU71は、図17(c)のような2値画像F2においては、図示するように、R1を左目、R2を右目の領域としている。
The binary image obtained in step S306 usually includes various noises in addition to the eye region due to the influence of the background and the movement of the subject. Therefore, in step S307, the
続いて、ステップS309で、CPU71は、R1、R2各々の重心を算出する。そして、ステップS310で、CPU71は、R1、R2各々の重心を中心とする矩形パターンS1、S2(図17(d)参照)を開眼フレーム画像F0中から切り出し、これらをテンプレートTEとして、汎用メモリ73等に記憶させ、処理を終了させる。ここで、記憶した、テンプレートTEが、前記の視点検出処理(被写体検出処理のステップS207)で用いられるテンプレートとなる。
以上がテンプレート取得処理である。
Subsequently, in step S309, the
The above is the template acquisition process.
本実施形態にかかる制御装置70は、被写体2(人物)の撮像を奇数フィールド/偶数フィールドの撮像に分けて行う撮像部20と撮像部20が撮像する被写体2に光を照射する光源10とを制御し、奇数フィールドの撮像においてのみ光源10を発光させ、そのCPU71が、被写体2に対する太陽光の方向を照明環境検知装置60によって測定した測定値に基づいて(各種データ、光検知信号に基づいて)特定し(ここで、特定とは、被写体2に対する太陽光の方向を各種データ、光検知信号に基づいて算出することも含む。)、特定した前記太陽光の方向に基づいて、光源10の点灯時間T(発光時間)を制御する。このような構成からなる制御装置70(CPU71)は、時計61、GPS受信機62、方位センサ63の各々から取得した日時データ、位置データ、及び方位データと、ライトセンサ64から取得した光検知信号とに基づいて、被写体2周囲の推定環境光強度を算出する。このようにして、本実施形態に係る制御装置70によれば、環境光を精度良く推定することができる。特に、例えば、視点検出システム1が車等の移動体に搭載されている場合、車内の一部が電柱等の影に隠れたときであっても、撮像対象である被写体2周囲の環境光を精度良く推定することができる。また、例えば、視点検出システム1が車両に搭載される場合、照明環境検知装置60を構成する各部のうち、少なくとも時計61、GPS受信機62は、一般的に車両の搭載機器であるため、視点検出システム1を簡単に構成することができる。
The
また、制御装置70のCPU71は、特定した前記太陽光の方向に基づいて、被写体2を照らす光の明るさを推定し(推定環境光強度を算出し)、推定した明るさが明るいほど、光源10の点灯時間Tを長く制御する。このようにすれば、例えば、被写体2周囲の環境光が明るすぎる場合であっても、光源10の点灯時間Tを長く制御することができ、第1補間フレーム画像と第2補間フレーム画像との輝度の差を出すことができる。これにより、精度良く被写体検出画像を取得することができる。
Further, the
また、制御装置70は、上記のように算出した推定環境光強度により、光源10の点灯時間T(発光時間)と、撮像部20のシャッター時間とを算出し、これらに基づいて光源10と撮像部20を駆動制御する。これにより、制御装置70は、図13、図14(b)に例示したように、背景の影響を受けにくい被写体検出画像を取得することができる。つまり、制御装置70は、視点検出処理のための人物の顔等の被写体検出画像を精度よく取得することができるため、視点検出における検出結果の変動を小さくすることができる。
Further, the
また、制御装置70のCPU71は、照明環境検知装置60によって測定した、現在の日時と、前記撮像部の緯度・経度と、前記撮像部が向く方位と(日時データと、位置データと、方位データと)、に基づいて被写体2に対する太陽光の方向を特定しているため、被写体2周囲の外光の影響を精度良く推定することができる。さらに、本実施形態における制御装置70は、ライトセンサ64によって測定した被写体2の周囲の環境光の照度(ライトセンサ64から取得した光検出信号に基づいて算出される測定環境光強度)にも基づいて、光源10の点灯時間T(発光時間)及び撮像装置20のシャッター時間を決定しているため、被写体2周囲の照明環境を精度良く推定した上で、照明環境に適した設定で被写体2を撮像することができる。
In addition, the
また、本実施形態に係る制御装置70のCPU71は、テンプレート取得処理を実行し、被写体である人物に対して、開眼指示、閉眼指示を行い、その指示ごとに撮像部20に被写体2を撮像させ、撮像部20から、撮像回数分の被写体画像を取得し、取得した被写体画像を比較することによって、被写体画像における人物の目の近傍の領域を検知し、検知した領域を示す画像を取得する。そして、取得した画像を人物の視点を検出する視点検出処理におけるパタンマッチング用のテンプレートとして記憶手段に記憶させる。これにより、標準的なテンプレートでなく、視点検出の対象となる人物ごとの特徴を捉えたテンプレートに基づいてパタンマッチングが可能となるため、視点検出における成功率の個人差を少なくすることができる。
Further, the
また、本実施形態に係る制御装置70は、撮像部20が出力するビデオ信号に含まれる垂直同期信号に基づいて、光源10を、撮像部20が奇数フィールドを撮像しているときに光源10を点灯させ、撮像部20が偶数フィールドを撮像しているときに光源10を消灯させることができる。そして、撮像部20が出力するビデオ信号に含まれる画像信号が表す撮像画像において、奇数フィールドと偶数フィールドの被写体像の画素の輝度値が異なることを利用して、被写体領域を検出している。従って、制御装置70は、高速撮影可能なカメラを必要とすることなく、簡単な構成で画像中の物体が存在する領域を検出することが可能である。
In addition, the
(変形例)
なお、本発明は、以上の実施形態に限定されず、種々の変形及び応用が可能である。以上の実施形態においては、照明環境検知装置60からの各種情報に基づいて、光源10の点灯時間T及び撮像部20のシャッター時間を決定したが、点灯時間Tのみを決定してもよい。この場合、シャッター時間は、予め設定された値であってもよいし、入力装置40からのユーザ操作によって適宜設定することができる値であってもよい。このように、点灯時間Tのみを決定しても、制御装置70は、被写体の周囲の照明環境に適した設定で、撮像部20に被写体2を撮像させることができる。
(Modification)
In addition, this invention is not limited to the above embodiment, A various deformation | transformation and application are possible. In the above embodiment, the lighting time T of the
また、以上の実施形態においては、照明環境検知装置60がライトセンサ64を備える例を示したが、これに限られない。時計、GPS受信機、方位センサから構成される照明環境検知装置から供給される情報に基づいて、制御装置が推定環境光強度を算出してもよい。この場合、制御装置に、上記(式1)により、推定環境光強度を算出させるようにすればよい。
Moreover, although the illumination
また、照明環境検知装置は、例えば、GPS受信機能、方位センサ機能を少なくとも備える携帯端末(携帯電話、スマートフォン等)であってもよい。 The lighting environment detection device may be, for example, a mobile terminal (a mobile phone, a smartphone, or the like) having at least a GPS reception function and a direction sensor function.
また、以上の実施形態では、方位センサ63は、撮像部20の受光面がどの方位に向いているかを検知するものとしたがこれに限られない。方位センサは、受光面の法線方向の方位を検知するものでなくともよく、例えば、受光面と平行方向の方位を検知してもよい。その検知する方位は、太陽と撮像部20(または、被写体2)との位置関係を特定することができれば任意である。
Further, in the above embodiment, the
また、上記の実施形態では、制御装置70(CPU71)が、垂直同期信号の立ち下がりを検出し、かつフィールド識別信号が奇数フィールドを示すときに、時刻t=0としてタイマを設定している。しかし、制御装置70は、垂直同期信号の立ち上りを検出し、かつフィールド識別信号が奇数フィールドを示すときに、時刻t=0としてタイマを設定してもよい。この場合も、制御装置70は、上記の実施形態と同様に、光源10を制御することができる。
In the above embodiment, when the control device 70 (CPU 71) detects the falling edge of the vertical synchronization signal and the field identification signal indicates an odd field, the timer is set at time t = 0. However, the
また、上記の実施形態に係る制御装置70は、撮像部20が奇数フィールドを撮像しているときに光源10を点灯させ、撮像部20が偶数フィールドを撮像しているときに光源10を消灯させたがこれに限られない。撮像部20が偶数フィールドを撮像しているときに光源10を点灯させ、撮像部20が奇数フィールドを撮像しているときに光源10を消灯させてもよい。
Further, the
以上の実施形態に係るテンプレート取得処理において、CPU71は、開眼フレーム画像F0から切り出した矩形パターンS1,S2をテンプレートTEとして汎用メモリ73等に記憶させたが、これに限られない。矩形パターンS1,S2を閉眼フレーム画像F1から切り出し、これをテンプレートとして記憶させてもよい。また、CPU71は、開眼フレーム画像F0から切り出したテンプレートと閉眼フレーム画像F1から切り出したテンプレートの両者を汎用メモリ73等に記憶させてもよい。この場合において、視点検出処理(被写体検出処理のステップS207)で人物(被写体)の視点を検出する際に、CPU71は、開眼フレーム画像F0からのテンプレートTEを参照して視点を検出するに限られず、閉眼フレーム画像F1からのテンプレートを参照することで視点を検出してもよいし、開眼フレーム画像F0・閉眼フレーム画像F1の両者に係るテンプレートを参照して視点を検出してもよい。また、開眼フレーム画像F0、閉眼フレーム画像F1から切り出して、テンプレートとする画像は矩形パターンでなくともよい。
In the template acquisition process according to the above embodiment, the
また、以上の実施形態に係るテンプレート取得処理においては、開眼、閉眼の指示を行うことで、被写体である人物の目近傍の画像を取得したが、これに限られない。例えば、人物に開口、閉口の指示を行うことで、被写体である人物の口近傍の画像を取得し、その画像をパタンマッチングにおけるテンプレートとしてもよい。この場合、口の位置から推定することで、被写体である人物の視点や人物の顔が向いている方向を検出することができる。 Further, in the template acquisition process according to the above-described embodiment, an image near the eyes of a person who is a subject is acquired by instructing eye opening and closing, but the present invention is not limited thereto. For example, an image of the vicinity of the person's mouth that is the subject may be acquired by instructing the person to open and close, and the image may be used as a template for pattern matching. In this case, by estimating from the position of the mouth, it is possible to detect the direction of the viewpoint of the person who is the subject and the face of the person.
また、以上の実施形態に係るテンプレート取得処理においては、音声により、人物に対して開眼、閉眼の指示を行ったが、これに限られない。電気的な刺激、振動による物理刺激等によって、指示をしてもよい。 Further, in the template acquisition process according to the above-described embodiment, instructions for opening and closing eyes are given to a person by voice, but the present invention is not limited to this. The instruction may be given by electrical stimulation, physical stimulation by vibration, or the like.
なお、本発明の実施形態に係る制御装置70は、専用の装置によらず、通常のコンピュータシステムを用いて実現可能である。例えば、ネットワークカード等を備えたコンピュータに上述の処理を実行するためのプログラムを格納した媒体(フレキシブルディスク、CD−ROM、DVD−ROM等)から当該プログラムをインストールすることにより、上述の処理を実行する制御装置を構成することができる。
In addition, the
また、コンピュータにプログラムを供給するための手法は任意である。例えば、通信回線、通信ネットワーク、通信システム等を介して供給してもよい。一例を挙げると、通信ネットワークの掲示板(BBS)に当該プログラムを掲示し、これをネットワークを介して搬送波に重畳して配信することにより、上述の処理を実行することができる。 Any method for supplying the program to the computer is arbitrary. For example, you may supply via a communication line, a communication network, a communication system, etc. For example, the above-described processing can be executed by posting the program on a bulletin board (BBS) of a communication network and distributing it on a carrier wave via the network.
1 視点検出システム
10 光源
20 撮像部
30 表示装置
40 入力装置
50 スピーカ
60 照明環境検知装置
61 時計
62 GPS受信機
63 方位センサ
64 ライトセンサ
70 制御装置
71 CPU
72 ROM
73 汎用メモリ
74 ビデオメモリ
75 同期分離回路
76 フィールド識別回路
77 外部デバイスI/F
2 被写体
3 背景
DESCRIPTION OF
72 ROM
73 General-
2
Claims (11)
所定の測定装置によって測定した測定値に基づいて、前記被写体に対する太陽光の方向を特定する方向特定手段と、
前記方向特定手段が特定した前記太陽光の方向に基づいて、前記光源の発光時間を制御する制御手段と、を備える、
ことを特徴とする撮像制御装置。 An imaging unit that performs imaging of a subject divided into imaging of a plurality of fields, and a light source that irradiates light to the subject that is captured by the imaging unit, and controls imaging of a predetermined part of the imaging of the plurality of fields An imaging control device that emits the light source only in
Direction specifying means for specifying the direction of sunlight with respect to the subject based on a measurement value measured by a predetermined measuring device;
Control means for controlling the light emission time of the light source based on the direction of the sunlight specified by the direction specifying means,
An imaging control apparatus characterized by that.
前記方向特定手段が特定した前記太陽光の方向に基づいて、前記被写体を照らす光の明るさを推定し、推定した明るさが明るいほど、前記光源の発光時間を長く制御する、
ことを特徴とする請求項1に記載の撮像制御装置。 The control means includes
Based on the direction of the sunlight specified by the direction specifying means, the brightness of the light that illuminates the subject is estimated, and as the estimated brightness is brighter, the emission time of the light source is controlled longer.
The imaging control apparatus according to claim 1.
前記方向特定手段が特定した前記太陽光の方向に基づいて、前記光源の発光時間と前記撮像部のシャッター時間とを制御する、
ことを特徴とする請求項1又は2に記載の撮像制御装置。 The control means includes
Based on the direction of sunlight specified by the direction specifying means, the light emission time of the light source and the shutter time of the imaging unit are controlled.
The imaging control apparatus according to claim 1, wherein the imaging control apparatus is configured as described above.
前記方向特定手段が特定した前記太陽光の方向に基づいて、前記被写体を照らす光の明るさを推定し、推定した明るさが明るいほど、前記撮像部のシャッター時間を長く制御する、
ことを特徴とする請求項3に記載の撮像制御装置。 The control means includes
Based on the direction of the sunlight specified by the direction specifying means, the brightness of the light that illuminates the subject is estimated, and as the estimated brightness is brighter, the shutter time of the imaging unit is controlled longer.
The imaging control apparatus according to claim 3.
前記所定の測定装置によって測定した、現在の日時と、前記撮像部の緯度・経度と、前記撮像部が向く方位と、に基づいて前記被写体に対する太陽光の方向を特定する、
ことを特徴とする請求項1乃至4のいずれか1項に記載の撮像制御装置。 The direction specifying means includes
Specifying the direction of sunlight with respect to the subject based on the current date and time measured by the predetermined measuring device, the latitude / longitude of the imaging unit, and the direction in which the imaging unit faces;
The imaging control apparatus according to any one of claims 1 to 4, wherein the imaging control apparatus is characterized in that:
前記方向特定手段が特定した前記太陽光の方向とライトセンサによって測定した前記被写体の周囲の環境光の照度とに基づいて、前記光源の発光時間を制御する、
ことを特徴とする請求項1乃至5のいずれか1項に記載の撮像制御装置。 The control means includes
Controlling the emission time of the light source based on the direction of the sunlight specified by the direction specifying means and the illuminance of the ambient light around the subject measured by a light sensor;
The imaging control apparatus according to any one of claims 1 to 5, wherein
前記方向特定手段が特定した前記太陽光の方向とライトセンサによって測定した前記被写体の周囲の環境光の照度とに基づいて、前記撮像部のシャッター時間を制御する、
ことを特徴とする請求項3又は4に記載の撮像制御装置。 The control means includes
Controlling the shutter time of the imaging unit based on the direction of the sunlight specified by the direction specifying means and the illuminance of ambient light around the subject measured by a light sensor;
The imaging control apparatus according to claim 3, wherein the imaging control apparatus is characterized.
被写体の撮像を複数フィールドの撮像に分けて行う撮像部と前記撮像部が撮像する前記被写体に光を照射する光源とを制御し、前記複数フィールドの撮像のうちの所定の一部のフィールドの撮像においてのみ前記光源を発光させる処理を実行させるプログラムであって、
所定の測定装置によって測定した測定値に基づいて、前記被写体に対する太陽光の方向を特定する処理と、
特定した前記太陽光の方向に基づいて、前記光源の発光時間を制御する処理と、
を実行させるプログラム。 On the computer,
An imaging unit that performs imaging of a subject divided into imaging of a plurality of fields, and a light source that irradiates light to the subject that is captured by the imaging unit, and controls imaging of a predetermined part of the imaging of the plurality of fields A program for executing the process of causing the light source to emit light only in
A process for identifying the direction of sunlight with respect to the subject based on a measurement value measured by a predetermined measurement device;
A process for controlling a light emission time of the light source based on the identified direction of the sunlight;
A program that executes
前記所定の指示ごとに撮像部に前記被写体を撮像させる撮像制御手段と、
前記被写体を撮像した前記撮像部から、撮像回数分の被写体画像を取得する被写体画像取得手段と、
取得した前記撮像回数分の被写体画像を比較することによって、被写体画像における人物の特徴領域を検知し、検知した特徴領域を示す特徴領域画像を取得する特徴領域画像取得手段と、
前記特徴領域画像取得手段が取得した前記特徴領域画像を前記人物の視点を検出する処理におけるパタンマッチング用のテンプレートとして記憶手段に記憶させる記憶制御手段と、を備える、
ことを特徴とするテンプレート取得装置。 Instruction means for giving a predetermined instruction to a person as a subject a plurality of times;
Imaging control means for causing the imaging unit to image the subject for each predetermined instruction;
Subject image acquisition means for acquiring subject images for the number of times of imaging from the imaging unit that images the subject;
A feature region image acquisition unit that detects a feature region of a person in the subject image by comparing the acquired subject images for the number of times of imaging, and acquires a feature region image indicating the detected feature region;
Storage control means for storing the characteristic area image acquired by the characteristic area image acquisition means in a storage means as a template for pattern matching in the process of detecting the viewpoint of the person,
A template acquisition apparatus characterized by that.
前記被写体画像取得手段は、
開眼指示に対応した第1の被写体画像と、閉眼指示に対応した第2の被写体画像を取得し、
前記特徴領域画像取得手段は、
前記第1の被写体画像と前記第2の被写体画像を比較することによって、被写体画像における人物の目近傍の領域を検知し、その目近傍の領域を示す画像を取得し、
前記記憶制御手段は、
取得した前記人物の目近傍の領域を示す画像を前記人物の視点を検出する処理におけるパタンマッチング用のテンプレートとして記憶手段に記憶させる、
ことを特徴とする請求項9に記載のテンプレート取得装置。 The plurality of instructions performed by the instruction means includes an eye opening instruction and an eye closing instruction,
The subject image acquisition means includes
Obtaining a first subject image corresponding to an eye opening instruction and a second subject image corresponding to an eye closing instruction;
The feature region image acquisition means includes
By comparing the first subject image and the second subject image, a region near the eyes of the person in the subject image is detected, and an image showing the region near the eyes is obtained,
The storage control means
Storing the acquired image showing the area near the eyes of the person in the storage means as a pattern matching template in the process of detecting the viewpoint of the person;
The template acquisition apparatus according to claim 9.
被写体である人物に対して、複数回、所定の指示を行う処理と、
前記所定の指示ごとに撮像部に前記被写体を撮像させる処理と、
前記被写体を撮像した前記撮像部から、撮像回数分の被写体画像を取得する処理と、
取得した前記撮像回数分の被写体画像を比較することによって、被写体画像における人物の特徴領域を検知し、検知した特徴領域を示す特徴領域画像を取得する処理と、
取得した前記特徴領域画像を前記人物の視点を検出する処理におけるパタンマッチング用のテンプレートとして記憶手段に記憶させる処理と、
を実行させるプログラム。
On the computer,
A process of giving a predetermined instruction to a person as a subject a plurality of times;
A process of causing the imaging unit to image the subject for each predetermined instruction;
Processing for acquiring subject images for the number of times of imaging from the imaging unit that images the subject;
A process of detecting a feature region of a person in the subject image by comparing the obtained subject images for the number of times of imaging, and acquiring a feature region image indicating the detected feature region;
A process of storing the acquired feature area image in a storage unit as a pattern matching template in the process of detecting the viewpoint of the person;
A program that executes
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011020244A JP2012160978A (en) | 2011-02-01 | 2011-02-01 | Imaging control device, template acquisition device, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011020244A JP2012160978A (en) | 2011-02-01 | 2011-02-01 | Imaging control device, template acquisition device, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012160978A true JP2012160978A (en) | 2012-08-23 |
Family
ID=46841136
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011020244A Pending JP2012160978A (en) | 2011-02-01 | 2011-02-01 | Imaging control device, template acquisition device, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012160978A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014071519A (en) * | 2012-09-27 | 2014-04-21 | Aisin Seiki Co Ltd | State determination device, driving support system, and state determination method and program |
WO2014162654A1 (en) * | 2013-04-03 | 2014-10-09 | 株式会社デンソー | Monitoring system |
JP2016178370A (en) * | 2015-03-18 | 2016-10-06 | キヤノン株式会社 | Imaging device |
US10262203B2 (en) | 2014-09-02 | 2019-04-16 | Samsung Electronics Co., Ltd. | Method for recognizing iris and electronic device therefor |
JP2021076523A (en) * | 2019-11-12 | 2021-05-20 | 富士通コンポーネント株式会社 | Information transmission device and method for time correction |
WO2022249791A1 (en) * | 2021-05-27 | 2022-12-01 | 株式会社デンソー | Illuminance estimation device |
-
2011
- 2011-02-01 JP JP2011020244A patent/JP2012160978A/en active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014071519A (en) * | 2012-09-27 | 2014-04-21 | Aisin Seiki Co Ltd | State determination device, driving support system, and state determination method and program |
WO2014162654A1 (en) * | 2013-04-03 | 2014-10-09 | 株式会社デンソー | Monitoring system |
US10262203B2 (en) | 2014-09-02 | 2019-04-16 | Samsung Electronics Co., Ltd. | Method for recognizing iris and electronic device therefor |
JP2016178370A (en) * | 2015-03-18 | 2016-10-06 | キヤノン株式会社 | Imaging device |
JP2021076523A (en) * | 2019-11-12 | 2021-05-20 | 富士通コンポーネント株式会社 | Information transmission device and method for time correction |
JP7306970B2 (en) | 2019-11-12 | 2023-07-11 | 富士通コンポーネント株式会社 | Information transmission device and time correction method |
WO2022249791A1 (en) * | 2021-05-27 | 2022-12-01 | 株式会社デンソー | Illuminance estimation device |
JP7439792B2 (en) | 2021-05-27 | 2024-02-28 | 株式会社デンソー | Illuminance estimation device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11089289B2 (en) | Image processing device, imaging device, image processing method and program | |
US8248485B2 (en) | Imaging apparatus and imaging method | |
US11378805B2 (en) | Head-mounted display, head-mounted display linking system, and method for same | |
US8121472B2 (en) | Signal measurements employed to affect photographic parameters | |
US8564710B2 (en) | Photographing apparatus and photographing method for displaying information related to a subject | |
US9817628B2 (en) | Display system, display terminal, display method and computer readable recording medium having program thereof | |
JP2012160978A (en) | Imaging control device, template acquisition device, and program | |
JPWO2016151918A1 (en) | Distance image acquisition device and distance image acquisition method | |
US10171736B2 (en) | Control an imaging mode of an imaging device based on posture information of the imaging device | |
JP2006166295A (en) | Control system, controlled device suited to the system and remote control device | |
KR20090069335A (en) | Display device and display method | |
CN114092364A (en) | Image processing method and related device | |
US11414923B2 (en) | Light-shielding device and light-shielding method | |
US20200106953A1 (en) | Object detection apparatus, image apparatus, object detection method, and computer readable recording medium | |
US9215340B2 (en) | Display apparatus, display method, and computer-readable recording medium | |
CN111684394A (en) | Gaze detection device, control method for gaze detection device, corneal reflection image position detection method, computer program, and storage medium | |
KR20160038409A (en) | Mobile terminal and method for controlling the same | |
JP6444981B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2013251826A (en) | Mobile communication device and imaging system | |
JP2019213130A (en) | Imaging apparatus, learning device, imaging method, learning method, image data creation method, and program | |
JP2009188872A (en) | Video correcting device, video correction method, and video correction program | |
JP2017199972A (en) | Terminal device, information acquisition system, information acquisition method, and program | |
JP4702377B2 (en) | Control system and controlled device | |
US20210350577A1 (en) | Image analysis device, image analysis method, and program | |
EP2605505B1 (en) | Apparatus and method for controlling a camera and infrared illuminator in an electronic device |