JP2016106289A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2016106289A JP2016106289A JP2015249256A JP2015249256A JP2016106289A JP 2016106289 A JP2016106289 A JP 2016106289A JP 2015249256 A JP2015249256 A JP 2015249256A JP 2015249256 A JP2015249256 A JP 2015249256A JP 2016106289 A JP2016106289 A JP 2016106289A
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- led
- camera
- light intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Position Input By Displaying (AREA)
Abstract
【課題】ユーザーによるモーション操作の検出精度を向上する。【解決手段】照明光を発光する照明部と、撮像部と、を備え、前記照明部は、非接触操作を第一光強度の照明光で照明した後、前記非接触操作を第二光強度の照明光で照明し、前記撮像部は、前記照明部によって照明された前記非接触操作を撮像する。【選択図】図1
Description
本発明は、撮像装置に関する。
表示画面の外枠部分にカメラを備え、ユーザーの手の動きに応じたモーション操作を可能とした画像表示装置が提案されている(例えば、特許文献1)。
しかしながら、従来技術では、カメラにはユーザーの手だけでなく、ユーザーの背後の背景も含めて映るため、ユーザーの手の動き以外を誤検出する可能性があり、特に、背景での動き(人が横切った場合など)に誤検出の可能性が高いという問題があった。
本発明は、ユーザーによるモーション操作の検出精度を向上することを目的とする。
本発明に係る撮像装置は、照明光を発光する照明部と、撮像部と、を備え、前記照明部は、非接触操作を第一光強度の照明光で照明した後、前記非接触操作を第二光強度の照明光で照明し、前記撮像部は、前記照明部によって照明された前記非接触操作を撮像する。
本発明によれば、ユーザーによるモーション操作の検出精度を向上することができる。
以下、本発明が適用された画像表示装置として、デジタルフォトフレームを例にとり、本発明の実施形態について説明する。まず、図1および図2を参照する。本実施形態のデジタルフォトフレーム1は、略矩形状の表示画面2aを有するディスプレイ2と、撮影部としてのカメラ3を概略備えて構成されている。ディスプレイ2としては、例えば液晶パネルを用いることができる。
カメラ3は、図示は省略しているが、被写体の像を撮像するCCDなどのイメージセンサおよび被写体の像を該イメージセンサの結像面上に結像させるレンズを備えている。カメラ3は、本実施形態では、ディスプレイ2の正面側であって、表示画面2aの外周に配置されるフレーム(枠部材)の下辺部の略中央部に一体的に固定されており、このデジタルフォトフレーム1に対面するユーザー7の主として手7aを被写体として撮影するものである。カメラ3はその光軸Aの方向(指向方向)が表示画面2a内を通る法線の方向に対して該表示画面2aの前面(正面)側において斜交するように、表示画面2aの外側に配置されている。ここで、カメラ3の光軸Aと表示画面2aの中心(またはその近傍)を通る法線Bとのなす角度をθa、表示画面2aと設置面6aの法線Dとのなす角度をθbとして、θb=0°〜40°の範囲ではθa+θb=70°±10°、θb=40°〜60°の範囲ではθa=30°±10°、θb=60°〜90°の範囲ではθa+θb=90°±10°となるように設定することが好ましい。
本実施形態では、カメラ3に隣接して、カメラ3で撮影する際の照明光としての赤外光を発光するLED4が設けられている。LED4は、その光軸の方向(主光線の方向)がカメラ3の光軸Aの方向に略一致するように(すなわち、略平行となるように)フレーム2bに固定されている。但し、後述するように、LED4の光軸の方向は、カメラ3の光軸Aの方向とは異なる方向に設定してもよい。なお、LED4は赤外光を発光するものでなく、可視光を発光するものであってもよい。
ディスプレイ2の背面側には、ディスプレイ2を設置面(テープル6の上面)6aに設置するためのディスプレイ支持部材としてのスタンド5が回転可能に取り付けられている。スタンド5をディスプレイ2の背面に対して開く方向または閉じる方向に回転させて、所定の角度範囲内の任意の角度に設定することにより、表示画面2aの設置面6aに対する傾き角度を変更することができる。
デジタルフォトフレーム1は、フレーム2bの下辺とスタンド5の下端を設置面6a上に当接させて載置することにより、所定の姿勢で設置面6a上に設置される。なお、本実施形態では、カメラ3およびLED4は、フレーム2bに固定されているため、スタンド5の角度を調整して表示画面2aの設置面6aに対する傾き角度を変更した場合には、これに応じてカメラ3の光軸AおよびLED4の光軸Cの設置面6aに対する角度も変更される。なお、表示画面2aの設置面6aに対する傾き角度を変更しても、カメラ3の光軸AおよびLED4の光軸Cの表示画面2aの中心を通る法線Bに対する角度θaは変わらない。
図3に示すように、このデジタルフォトフレーム1は、ディスプレイ2、カメラ3およびLED4を制御する制御装置11を備えており、制御装置11には、操作部材12、接続IF13および記憶媒体14が接続されている。
制御装置11は、CPU、メモリ、およびその他の周辺回路によって構成され、デジタルフォトフレーム1の全体を制御する。なお、制御装置11を構成するメモリは、例えばSDRAM等の揮発性のメモリである。このメモリは、CPUがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリを含む。
制御装置11は、カメラ3が備えるイメージセンサから出力される画像信号に基づいて、画像データを生成する。また、制御装置11はカメラ3による撮影の際に、LED4の点灯もしくは点灯(発光)の強度、または消灯を制御する。
操作部材12は、デジタルフォトフレーム1のユーザー7によって操作される操作ボタン等を含む。接続IF13は、デジタルフォトフレーム1と外部機器とを接続するためのインターフェースである。本実施形態では、デジタルフォトフレーム1は、この接続IF13を介して画像データが記録されている外部機器、例えばデジタルカメラ等と接続される。そして、制御装置11は、接続IF13を介して外部機器から画像データを取り込んで、記憶媒体14に記録する。なお、接続IF13としては、外部機器とデジタルフォトフレーム1とを有線接続するためのUSBインターフェースや、無線接続するための無線LANモジュールなどが用いられる。あるいは、接続IF13の代わりにメモリカードスロットを設け、該メモリカードスロットに画像データが記録されたメモリカードを挿入することにより、画像データを取り込むようにしてもよい。
記憶媒体14は、フラッシュメモリ等の不揮発性のメモリであって、制御装置11によって実行されるプログラムや、接続IF13を介して取り込まれた画像データ等が記録される。
本実施形態におけるデジタルフォトフレーム1において、制御装置11は、カメラ3によって撮影された画像に基づいてユーザー7の手7aの位置、およびフレーム間での位置の変化を検出し、その検出結果に応じてディスプレイ2上の表示画像2aの再生状態を変更する。再生状態の変更としては、例えば、画像の送り(現在表示中の画像を次に表示予定の画像に変更する)または戻し(現在表示中の画像を直前に表示された画像に変更する)を例示できる。以下、制御装置11による、ユーザー7の手7aの位置、およびフレーム間での位置の変化に応じた画像の再生状態の変更処理について説明する。
図4は、ユーザー7の手7aの位置、およびフレーム間での位置の変化に応じた画像の再生状態の変更処理の流れを示すフローチャートである。図4に示す処理は、ディスプレイ2への画像の再生表示が開始されると起動するプログラムとして、制御装置11によって実行される。
ステップS1において、制御装置11は、カメラ3による画像の撮影を開始する。ここでは、カメラ3は、所定のフレームレート(例えば、30fps)で撮影を行うこととし、制御装置11は、カメラ3から該フレームレートに応じた所定の時間間隔で連続して入力された画像データを処理するものとする。また、LED4は点灯させないものとする。但し、制御装置11は、LED4を点灯させて1フレーム分の画像を取り込み、次いでLED4を消灯させて1フレーム分の画像を取り込んで、これらの画像の差分演算を実施して、当該差分に相当する画像(差分画像)に係る画像データを処理するようにしてもよい。このような差分画像を処理することにより、撮影画像内の背景に生じる外乱の影響を軽減することができる。なお、このようにLED4の点灯等を制御して、対象物体の検出精度を高めるための処理(物体検出処理)については、後述する。その後、ステップS2へ進む。
ステップS2では、制御装置11は、カメラ3から入力される画像データ(差分演算を実施する場合には当該差分画像に係る画像データ)に基づいて、画像内におけるユーザー7の手7aを検出したか否かを判断する。例えば、あらかじめユーザー7の手7aの画像をテンプレート画像として記録しておき、制御装置11は、対象画像とテンプレート画像とをマッチングすることにより、対象画像内にユーザー7の手7aが写っているか否かを判定し、写っていた場合には、その手7aの位置を検出する。ステップS2において、制御装置11は、手7aの位置が検出された場合(Yesの場合)にはステップS3に進み、手7aが検出されなかった場合(Noの場合)にはステップS5に進む。
ステップS3において、制御装置11は、カメラ3から時系列で入力される画像データ(差分演算を実施する場合には時系列に算出される差部画像に係る画像データ)間での画像内における手7aの位置の変化を監視することにより、ユーザー7の手7aの動きを検出する。ステップS3でユーザー7の手7aの動きを検出しない場合(Noの場合)には、ステップS5へ進む。これに対して、ステップS3でユーザー7の手7aの動きを検出した場合(Yesの場合)には、ステップS4へ進む。
ステップS4において、制御装置11は、手7aの動きに応じて再生画像を変更する。すなわち、制御装置11は、手7aが右から左に移動したことが検出された場合には、ユーザー7により画像送りが指示されたと判断し、ディスプレイ2上に現在表示中の画像を左方向に移動して画面左辺から画面外に排出するように表示させるとともに、次に表示予定の画像を画面右辺から画面内に導入するように表示させて、当該次に表示予定の画像をディスプレイ2上に表示させる。
これと逆に、制御装置11は、手7aが左から右に移動したことが検出された場合には、ユーザー7により画像戻しが指示されたと判断し、ディスプレイ2上に現在表示中の画像を右方向に移動して画面右辺から画面外に排出するように表示させるとともに、直前に表示した画像を画面左辺から画面内に導入するように表示させて、当該直前に表示させた画像をディスプレイ2上に表示させる。
なお、ここでは、ユーザー7の手7aの左右の動きに応じて、画像送りまたは戻しを行うようにしたが、他の動きを検出して、他の処理を行うようにしてもよい。例えば、ユーザー7の手7aの位置に対応して画面内に所定形状のカーソルを表示し、手7aの動きに応じて該カーソルを画面内で移動させて、画面内に表示させた指示入力用のアイコンなどを選択させるようにしてもよい。また、例えば、手7aの上下の動きを検出して、画像の表示倍率を変更するようにしてもよい。
その後、ステップS5において、制御装置11は、ユーザー7によって、画像の再生を終了するように指示されたか否かを判断する。ステップS5で終了が指示されていない場合(Noの場合)にはステップS2に戻り、終了が指示された場合(Yesの場合)にはこの処理を終了する。
以上説明した本実施形態によれば、カメラ3の光軸Aの方向が表示画面2a内を通る法線(本実施形態では一例として表示画面2a内の中心を通る法線B)の方向に対して該表示画面2aの前面側において例えば30°程度で斜交するように、表示画面2aの外側に配置されている。これにより、ユーザー7のモーション操作を行う手7aの検出範囲を装置近辺に限定することができる。すなわち、カメラ3の視野内には、ユーザー7のモーション操作を行う手7aまたはその近傍は入るが、ユーザー7の後方の背景は入らないようにできるため、例えばユーザー7の後方を他人が横切った場合でも、撮影範囲に入らず、当該他人の一部を検出してしまうことによる誤検出を防止することができる。
次に、上述したデジタルフォトフレーム1の第1変形例について、図5および図6を参照して説明する。図1〜図3と実質的に同一の構成部分については同一の符号を付し、その説明は省略する。すなわち、上述した実施形態では、カメラ3はディスプレイ2のフレーム2bの下辺部の略中央部に固定されているものとして説明した。したがって、スタンド5の角度を変更して表示画面2aの傾きを変更した場合には、これに伴いカメラ3の指向方向も変更されることになる。
これに対し、この第1変形例では、ディスプレイ支持部材としてのスタンド5の角度を変更して表示画面2aの傾きを変更した場合であっても、カメラ3の指向方向は変更されないような構成としている。すなわち、カメラ3はカメラ支持部材8に固定されており、カメラ支持部材8はフレーム2bの下辺近傍に該下辺に略平行な方向に設定された回転軸8aを介して回転自在に支持されている。また、カメラ支持部材8は、このデジタルフォトフレーム1を持ち上げた状態で、重力の作用によりカメラ3を略一定方向を指向させるようなある程度の偏荷重を有しており、その下面は平坦に形成された当接面8bとなっている。このデジタルフォトフレーム1を設置面6a上に設置すると、カメラ支持部材8の当接面8bが設置面6aに当接して、カメラ支持部材8の回転が制限され、カメラ3が一定方向を指向するようになっている。これにより、例えば、図5の状態から図6の状態となるように、ディスプレイ2の傾きを変更しても、カメラ3の指向方向(光軸Aの方向)は変更されず、一定方向を指向することになる。
なお、LED4をカメラ支持部材8に固定して、ディスプレイ2の傾きを変更した場合にも、LED4の指向方向(光軸の方向)がカメラ3の指向方向(光軸Aの方向)と同様に一定方向を指向するようにしてもよい。
次に、上述したデジタルフォトフレーム1の第2変形例について、図7および図8を参照して説明する。図1〜図3と実質的に同一の構成部分については同一の符号を付し、その説明は省略する。すなわち、この第2変形例も、上述した第1変形例と同様に、表示画面2aの傾きを変更した場合であっても、カメラ3の指向方向は変更されないような構成としている。すなわち、この第2変形例では、スタンド5の代わりに、ディスプレイ支持部材としての台座9を設け、この台座9にディスプレイ2と回転軸9aを介して回転可能に軸支している。ディスプレイ2の回転は台座9に対する支持部において自己の姿勢を保持し得る程度の抵抗を受けており、ユーザー7が手で押圧することにより姿勢変更できるが、押圧しない状態ではその姿勢を保つようになっている。カメラ3は、台座9に所定方向を指向して固定されている。これにより、例えば、図7の状態から図8の状態となるように、ディスプレイ2の傾きを変更しても、カメラ3の指向方向(光軸Aの方向)は変更されず、一定方向を指向することになる。
なお、LED4を台座9に所定方向を指向させて固定して、ディスプレイ2の傾きを変更した場合にも、LED4の指向方向(光軸Cの方向)がカメラ3の指向方向(光軸Aの方向)と同様に一定方向を指向するようにしてもよい。
次に、本発明の他の実施形態として、LED4の配置について、詳述する。例えば、図9に示すように、LED4は、ディスプレイ2の正面側であって、表示画面2aの外周に配置されるフレーム(枠部材)の下辺部の略中央部に一体的に固定するとともに、その光軸Cの方向(指向方向)が表示画面2a内を通る法線Bの方向に対して該表示画面2aの前面(正面)側において斜交するように、表示画面2aの外側に配置するようにできる。
LED4の光軸Cの表示画面2aの中心(またはその近傍)を通る法線Bに対する角度θ2は、例えば、θ2=40°±20°の範囲内となるように設定されている。この角度θ2は、ディスプレイ2の表示画面2aのサイズに応じて適宜に設定され、角度θ2は、θ2=40°±10°程度がより好ましく、θ2=40°程度が最も好ましい。
このように、LED4をその光軸Cの方向が表示画面2a内を通る法線Bに対して斜交するように配置することにより、検出の対象物体としてのユーザー7のモーション操作を行う手7aはLED4からの照明光により照明されるが、該手7a以外のユーザーの身体や後方の背景は照明されず、撮影画像内では、対象物体としての手7aが明るく、その余の部分は暗くなるため、適宜なしきい値を設定することによって、当該手7aの検出精度を向上させることができる。
なお、図9では、カメラ3は、表示画面2aの外周に配置されるフレームの上辺の略中央部に固定しているが、図10に示すように、該フレームの側辺(左辺または右辺)の略中央部に固定してもよい。また、図示は省略するが、図9において、カメラ3とLED4の位置を逆に、すなわち、カメラ3の位置にLED4を、LED4の位置にカメラ3を配置するようにしてもよい。なお、これらの場合におけるカメラ3の光軸Aの方向は、表示画面2a内を通る法線Bに対して実質的に平行であっても、上述したように斜交していても何れでもよい。
カメラ3の光軸Aの方向とLED4の光軸Cの方向との両者を、表示画面2a内を通る法線Bに対して斜交させる場合には、例えば、図11に示すように、カメラ3およびLED4を表示画面2aの外周を構成するフレームの下辺の略中央部に互いに隣接させて配置し、カメラ3の光軸Aの表示画面2a内を通る法線Bに対する角度θaとLED4の光軸Cの該法線Bに対する角度θ2を実質的に等しく設定してもよい。こうすることにより、カメラ3の光軸Aを該法線Bに対して斜交させることによる検出精度の向上の効果と、LED4の光軸Cを該法線Bに対して斜交させることによる検出精度の向上の効果とを相乗的に実現することが可能である。
なお、図12に示したようにカメラ3およびLED4を配置して、カメラ3の光軸Aの表示画面2a内を通る法線Bに対する角度θaとLED4の光軸Cの該法線Bに対する角度θ2を実質的に等しく設定しても同様に効果的である。
また、カメラ3の光軸Aの方向とLED4の光軸Cの方向との両者を、表示画面2a内を通る法線Bに対して斜交させる場合において、カメラ3の光軸Aの表示画面2a内を通る法線Bに対する角度θaとLED4の光軸Cの該法線Bに対する角度θ2を互いに異なる角度に設定する場合(例えば、図9に示すような場合)には、θa<θ2となるように設定することが好ましく、この場合の相対的な角度差(θ2−θa)は10°程度に設定することができる。この場合において、カメラ3とLED4とを一体的に構成してユニット化し、相対的な角度差(θ2−θa)は固定として、当該ユニットをフレームに対して回転可能に軸支して、その傾きを調整できるようにするとよい。カメラ3単体またはLED4単体をフレームに対してそれぞれ回転可能に軸支して、それぞれの傾きを調整できるようにしてもよい。
カメラ3、LED4、またはこれらを一体化したユニットの傾きの調整は、手動で行い得るようにしてもよいし、モータ駆動等により行うようにしてもよい。モータ駆動等により行う場合には、ディスプレイ2に加速度センサを設けて、表示画面2aの設置面に対する角度を検出し得るようにして、検出した角度に応じて、カメラ3、LED4、またはカメラ3及びLED4を一体化したユニットの傾きを自動的に調整できるようにしてもよい。また、スタンド5の開閉角度または開閉位置を検出して、設置面が机か壁か等を判断し、その状況に応じて、カメラ3、LED4、またはカメラ3及びLED4を一体化したユニットの傾きを自動的に調整できるようにしてもよい。さらに、気圧センサ等を設けて、ディスプレイ2の高さ位置を検出し、検出された高さ位置に応じて、カメラ3、LED4、またはカメラ3及びLED4を一体化したユニットの傾きを自動的に調整できるようにしてもよい。上述した各検出結果を組み合わせた検出結果に応じて、カメラ3、LED4、またはカメラ3及びLED4を一体化したユニットの傾きを自動的に調整できるようにしてもよい。
次に、本実施形態の画像表示装置において、検出の対象物体としてのユーザーの手7aを検出するための第1の物体検出処理(物体検出装置)について、図13および図14を参照して説明する。
図13において、上段「vsync」はカメラ3を構成する撮像素子(イメージセンサ)の画像取込のタイミング(左からnフレーム、n+1フレーム、n+2フレーム、n+3フレーム:nは1,2,3,…)であり、下段「赤外光」はLED4の照明光(ここでは赤外光とする)の光強度変化のタイミングを示している。
制御装置11は、カメラ3の撮像素子のフレームレートに同期して、LED4に第1光強度で発光するよう電圧を印加する強発光モードと、該第1光強度よりも小さく且つ光強度零よりも大きい第2光強度で発光するよう電圧を印加する弱発光モードとを選択的に順次に(交互に)切換制御する。ここで、光強度零とは、電圧を印加しない状態、すなわち消灯した状態を示し、したがって、ここでの弱発光モードは消灯した状態を含まない。なお、簡単のため、本実施形態では、第1光強度を100%として、第2光強度は半分の50%の光強度であるものとする。すなわち、nフレーム目の画像が取得される際には、LED4が強発光モードで発光され、n+1フレーム目の画像が取得される際には、LED4は弱発光モードで発光され、順次、強発光モード及び弱発光モードが繰り返される。
図14(a)〜図14(d)は、第1の物体検出処理を説明するための図である。図14(a)はLED4が強発光モード(第1光強度)で発光された際に取得されたnフレーム目の画像を、図14(b)はLED4が弱発光モード(第2光強度)で発光された際に取得されたn+1フレーム目の画像を模式的に示している。
なお、図14(a)において、左上部の横長長方形で示すのは、点滅照明(蛍光灯や粗悪なLED電球等)が点灯した際の光が外乱として写り込んでいることを示しており、図14(b)では当該点滅光源が消灯しているため、そのような外乱が写り込んでいないことを示している。画像の中央部に略手の形状で示すのは、検出対象物体としてのユーザーの手7aに係る画像であり、図14(a)ではLED4が強発光モードで発光されているため白色(100%の光強度)で写り込んでおり、図14(b)ではLED4が弱発光モードで発光されているため灰色(50%の光強度)で写り込んでいる状態が示されている。
まず、図14(a)のnフレーム目取得画像と、図14(b)のn+1フレーム目取得画像との差分{(n+1)−(n)}の画像を求める。この差分の画像は、両画像の対応する画素の輝度値の差をとった画像である。この差分の画像が図14(c)に示されている。この段階では、差分をとっただけなので、外乱(横長長方形)が残っており、このままでは、検出対象としての手7aに係る画像の十分な検出精度を得ることはできない。
そこで、この第1の物体検出処理では、照明光の光強度を変化させることにより、外乱に係る部分を、検出対象としての手7aに係る画像と区別して、外乱のみを排除するようにしている。すなわち、図14(d)に示すように、nフレーム目では強発光モードに係る第1光強度(100%)で発光させているのに対して、n+1フレーム目では弱発光モードに係る第2光強度(50%)で発光させているので、検出対象としての手7aに係る画像の明るさ(輝度)は、略{(第2光強度)−(第1光強度)}、すなわち、50%−100%=−50%程度となる。したがって、−50%近傍の輝度をもつ画素に係る画像は検出対象としての手7aに係る画像であると判断でき、これに対して、外乱がnフレーム目では例えば90%であるならば、n+1フレーム目では0%であるから、第2光強度と第1光強度との差分は0%−90%=−90%となり、検出対象としての手7aに係る画像と、外乱に係る画像とを区別することができる。
したがって、画像抽出のしきい値として、例えば、−50±10%を設定して、この範囲以外の輝度をもつ画素に係る画像は外乱として消去することにより、図14(d)に示すように、手7aに係る画像部分のみを抽出した画像を得ることができる。したがって、検出対象としての手7aに係る画像の検出精度を向上させることができる。
次に、本実施形態の画像表示装置において、検出の対象物体としてのユーザーの手7aを検出するための第2の物体検出処理(物体検出装置)について、図15および図16を参照して説明する。
図15において、上段「vsync」はカメラ3を構成する撮像素子(イメージセンサ)の画像取込のタイミング(左からnフレーム、n+1フレーム、n+2フレーム、n+3フレーム:nは1,2,3,…)であり、下段「赤外光」はLED4の照明光(ここでは赤外光とする)の強度変化のタイミングを示している。
制御装置11は、カメラ3の撮像素子のフレームレートに同期して、LED4に第1光強度で発光するよう電圧を印加する強発光モードと、該第1光強度よりも小さく且つ光強度零よりも大きい第2光強度で発光するよう電圧を印加する弱発光モードと、光強度零とする(すなわち電圧を印加しなで消灯させる)消灯モードとを選択的に順次に切換制御する。ここでは、消灯モード、弱発光モード、強発光モードの順に繰り返し発光させるものとする。なお、簡単のため、ここでは、第1光強度(強)を100%として、第2光強度(弱)は半分の50%の光強度であるものとし、消灯は光強度零である。すなわち、nフレーム目の画像が取得される際には、LED4が消灯され、n+1フレーム目の画像が取得される際には、LED4は弱発光モードで発光され、n+2フレーム目の画像が取得される際には、LED4は強発光モードで発光され、順次、消灯モード、弱発光モード、強発光モードが繰り返される。
図16(a)〜図16(d)は、この第2物体検出処理を説明するための図である。図16(a)はLED4が消灯された際に取得されたnフレーム目の画像を示しており、図16(b)はLED4が弱発光モード(第2光強度)で発光された際に取得されたn+1フレーム目の画像を示しており、図16(c)がLED4が強発光モードで発光された際に取得されたn+2フレーム目の画像を示している。
なお、図16(a)および図16(c)において、左上部に横長長方形で示すのは、点滅照明(蛍光灯や粗悪なLED電球等)が点灯した際の光が外乱として写り込んでいることを示しており、図16(b)では当該点滅照明が消灯しているため、そのような外乱が写り込んでいないことを示している。画像の中央部に略手の形状で示すのは、検出対象物体としてのユーザーの手7aに係る画像であり、図16(a)ではLED4が消灯されているため殆ど写っておらず、図16(b)ではLED4が弱発光モードで発光されているため灰色(50%の光強度)で写り込んでおり、図16(c)ではLED4が強発光モードで発光されているため白色(50%の光強度)で写り込んでいる状態が示されている。
nフレーム〜n+2フレームに着目すると、LED4によって照明された検出対象としての手7aに係る部分(画素)は、LED4の発光強度の変化に応じて段階的に変化する(ここでは、明るくなる)。したがって、図16(a)のnフレーム目取得画像、図16(b)のn+1フレーム目取得画像、および図16(c)のn+2フレーム目取得画像の3つのフレームに係る画像を比較して、(n<n+1<n+2)と変化する画素値だけを抽出することで、外乱を排除することができる。
上述した第2の物体検出処理においては、LED4を強発光モード、弱発光モード、および消灯モードの3つのモードで発光(または消灯)させるようにしたが、強発光モードと弱発光モードの間の光強度で発光するモード、および/または弱発光モードと消灯モードの間の光強度で発光するモードを設定するなどして、4フレーム以上に係る画像を用いるようにしてもよい。また、消灯モードを省略して、弱発光モードに係る第2光強度よりも小さい第3光強度で発光するモードを設定してもよい。
ここで、図17および図18に示すように、LED4による発光(光強度変化)の順番を上記とは逆にしてもよい。すなわち、強発光モード、弱発光モード、消灯モードの順に繰り返し発光させるようにしてもよい。この場合の処理は、図15および図16に示したものと同様であるのでその説明は省略する。なお、この場合には、図18(a)のnフレーム目取得画像、図18(b)のn+1フレーム目取得画像、および図18(c)のn+2フレーム目取得画像の3つのフレームに係る画像を比較して、(n>n+1>n+2)と変化する画素値だけを抽出することで、外乱を排除することができる。
次に、本実施形態の画像表示装置において、検出の対象物体としてのユーザーの手7aを検出するための第3の物体検出処理(物体検出装置)について、図19および図20を参照して説明する。
図19において、上段「vsync」はカメラ3を構成する撮像素子(イメージセンサ)の画像取込のタイミング(左からnフレーム、n+1フレーム、n+2フレーム、n+3フレーム:nは1,2,3,…)であり、下段「赤外光」はLED4の照明光(ここでは赤外光とする)の光強度変化のタイミングを示している。
制御装置11は、カメラ3の撮像素子のフレームレートに同期して、LED4に第1光強度で発光するよう電圧を印加する強発光モードと、該第1光強度よりも小さく且つ光強度零よりも大きい第2光強度で発光するよう電圧を印加する弱発光モードと、光強度零とする(すなわち電圧を印加しなで消灯させる)消灯モードとを選択的に順次に切換制御する。ここでは、消灯モード、弱発光モード、強発光モードの順に繰り返し発光させるものとする。なお、簡単のため、本実施形態では、第1光強度を100%として、第2光強度は半分の50%の光強度であるものとし、消灯は光強度零である。すなわち、nフレーム目の画像が取得される際には、LED4が消灯され、n+1フレーム目の画像が取得される際には、LED4は弱発光モードで発光され、n+2フレーム目の画像が取得される際には、LED4は強発光モードで発光され、順次、消灯モード、弱発光モード、強発光モードが繰り返される。
図20(a)〜図20(d)は、この第3の物体検出処理を説明するための図である。図20(a)はLED4が消灯された際に取得されたnフレーム目の画像を示しており、図20(b)はLED4が弱発光モード(第2光強度)で発光された際に取得されたn+1フレーム目の画像を示しており、図20(c)はLED4が強発光モードで発光された際に取得されたn+2フレーム目の画像を示している。
なお、図20(a)および図20(c)において、左上部に横長長方形で示すのは、点滅照明(蛍光灯や粗悪なLED電球等)が点灯した際の光が外乱として写り込んでいることを示しており、図20(b)では当該点滅照明が消灯しているため、そのような外乱が写り込んでいないことを示している。画像中央部に略手の形状で示すのは、検出対象物体としてのユーザーの手7aに係る画像であり、図20(a)ではLED4が消灯されているため殆ど写っておらず、図20(b)ではLED4が弱発光モードで発光されているため灰色(50%の光強度)で写り込んでおり、図20(c)ではLED4が強発光モードで発光されているため白色(50%の光強度)で写り込んでいる状態が示されている。
上述した第2の物体検出処理では、3つのフレームに係る画像間で輝度変化の大小関係で画素を抽出し、対象物体の検出を行うようにしたが、この第3の物体検出処理では、LED4の発光強度の変化率(例えば、ここでは増加量に対する比率)で抽出する画素を選択するようにしている。
まず、図20(a)のnフレーム目取得画像と、図20(b)のn+1フレーム目取得画像とで差分を取って、発光強度の増加量にあった比率で画像の輝度が上がった箇所だけを取得する。この中にも含まれるノイズ(例えば、点滅した照明光)を消すために、さらにn+2フレーム目取得画像で差分を取る。このときも同様に発光強度の増加量にあった比率で明るくなった画素を抽出することで、対象物体だけを抽出することができる。このような処理とすることにより、物体の検出精度をさらに高めることができる。
なお、上述した第1〜第3の物体検出処理を、点滅光源等による外乱の性質に応じて、選択的に実施できるようにするとよい。例えば、カメラ3の視野内に存在する照明(点滅光源等)の特性を検出する照明特性検出部として、輝度センサを設けて、点滅光源の点滅の周波数を検出し、検出した周波数に基づいて、第1〜第3の物体検出処理のうち最適なものを自動的に選択して、実行するようにしてもよい。このような輝度センサに代えて、カメラ3で撮像した画像から視野内に存在する照明(点滅光源等)の特性を検出するようにしてもよい。
上述した実施形態では、画像表示装置としてデジタルフォトフレームを用いる場合について説明した。しかしながら、モーション検出用のカメラとディスプレイとを備え、画像再生機能を有する他の機器、例えば、パーソナルコンピュータ、タブレット型コンピュータ、デジタルカメラ、携帯電話、PDA、デジタルテレビジョン受像機などにも本発明を適用することができる。
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
1…デジタルフォトフレーム、2…ディスプレイ、2a…表示画面、3…カメラ、4…LED、5…スタンド、6…テーブル、6a…設置面、7…ユーザー、7a…手、8…カメラ支持部材、8a…回転軸、8b…当接面、9…台座、9a…回転軸、11…制御装置、A…カメラの光軸、B…表示画面の中心を通る法線、C…LEDの光軸、D…設置面の法線。
Claims (7)
- 照明光を発光する照明部と、
撮像部と、を備え、
前記照明部は、非接触操作を第一光強度の照明光で照明した後、前記非接触操作を第二光強度の照明光で照明し、
前記撮像部は、前記照明部によって照明された前記非接触操作を撮像する
撮像装置。 - 前記照明部は、前記非接触操作が行われている間に、前記非接触操作を前記第一光強度の照明光と前記第二光強度の照明光とで照明する
請求項1に記載の撮像装置。 - 前記第一光強度及び前記第二光強度は、前記照明部が照明光を発光しない場合の光強度を含まない
請求項1又は請求項2に記載の撮像装置。 - 前記非接触操作は、表示部の表示を変更するための操作である
請求項1から請求項3の何れか一項に記載の撮像装置。 - 前記照明部は、前記非接触操作を第三光強度の照明光で照明する
請求項1から請求項4の何れか一項に記載の撮像装置。 - 前記一光強度と前記第二光強度と前記第三光強度とは互いに異なる光強度である
請求項5に記載の撮像装置。 - 前記撮像部によって取得された画像データと、前記照明部によって発光された照明光の光強度と、に基づいて前記画像データの変化を検出する検出部を備える
請求項1から請求項6の何れか一項に記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015249256A JP2016106289A (ja) | 2015-12-22 | 2015-12-22 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015249256A JP2016106289A (ja) | 2015-12-22 | 2015-12-22 | 撮像装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011080355A Division JP5862034B2 (ja) | 2011-03-31 | 2011-03-31 | 画像表示装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016106289A true JP2016106289A (ja) | 2016-06-16 |
Family
ID=56120211
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015249256A Pending JP2016106289A (ja) | 2015-12-22 | 2015-12-22 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016106289A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112017002698T5 (de) | 2016-05-27 | 2019-02-14 | Hitachi Automotive Systems, Ltd. | Hydrauliksteuerungsvorrichtung und Bremssystem |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007272596A (ja) * | 2006-03-31 | 2007-10-18 | Denso Corp | 移動体用操作物体抽出装置 |
-
2015
- 2015-12-22 JP JP2015249256A patent/JP2016106289A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007272596A (ja) * | 2006-03-31 | 2007-10-18 | Denso Corp | 移動体用操作物体抽出装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112017002698T5 (de) | 2016-05-27 | 2019-02-14 | Hitachi Automotive Systems, Ltd. | Hydrauliksteuerungsvorrichtung und Bremssystem |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9307143B2 (en) | Multimodal camera and a method for selecting an operation mode of a camera | |
CN105706028B (zh) | 投影型影像显示装置 | |
US20180227573A1 (en) | Electronic device having dynamically controlled flashlight for image capturing and related control method | |
US9852339B2 (en) | Method for recognizing iris and electronic device thereof | |
KR102047059B1 (ko) | 디스플레이 방법 및 장치 | |
US20130215322A1 (en) | Document camera with automatically switched operating parameters | |
CN107426471B (zh) | 相机模组和电子装置 | |
WO2012132955A1 (ja) | 画像表示装置及び物体検出装置 | |
US20060125926A1 (en) | Image-taking apparatus | |
US10382734B2 (en) | Electronic device and color temperature adjusting method | |
KR102508108B1 (ko) | 이미지 수집 모듈, 전자 기기, 이미지 수집 방법 및 저장 매체 | |
JP2011075733A (ja) | 表示モード制御装置及び表示モード制御プログラム | |
JP5862034B2 (ja) | 画像表示装置 | |
JP2016106289A (ja) | 撮像装置 | |
US20230276017A1 (en) | Video creation method | |
US9699385B2 (en) | Imaging apparatus and storage medium, and exposure amount control method | |
JP5862035B2 (ja) | 物体検出装置 | |
JP2012216032A (ja) | 画像表示装置 | |
US20220279106A1 (en) | Video creation method | |
JP2016119098A (ja) | 制御装置 | |
US20100097351A1 (en) | Apparatus and method for adjusting finger depth using camera and touch screen having the apparatus | |
US20170048441A1 (en) | System and method to control an imaging process | |
JP2016187180A (ja) | 制御装置及びプログラム | |
JP2019057902A (ja) | 撮像装置、撮像方法、及びプログラム | |
CN113660428A (zh) | 图像获取方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161108 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170502 |