JP2022188985A - 情報処理装置、情報処理方法およびプログラム - Google Patents
情報処理装置、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP2022188985A JP2022188985A JP2021097304A JP2021097304A JP2022188985A JP 2022188985 A JP2022188985 A JP 2022188985A JP 2021097304 A JP2021097304 A JP 2021097304A JP 2021097304 A JP2021097304 A JP 2021097304A JP 2022188985 A JP2022188985 A JP 2022188985A
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- focus lens
- evaluation value
- threshold
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 30
- 238000003672 processing method Methods 0.000 title claims 4
- 238000011156 evaluation Methods 0.000 claims abstract description 111
- 238000003384 imaging method Methods 0.000 claims abstract description 40
- 230000008859 change Effects 0.000 claims description 47
- 238000006243 chemical reaction Methods 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 22
- 230000004044 response Effects 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Automatic Focus Adjustment (AREA)
- Focusing (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】 本発明によれば、イベントベースセンサを用いた撮像装置においてオートフォーカスが可能になる。【解決手段】 上記課題を解決する本発明にかかる情報処理装置は、撮像装置のフォーカスレンズの位置を制御する制御手段と、前記フォーカスレンズの位置毎に、前記アドレスイベント信号に基づいた評価値を取得することによって、前記フォーカスレンズの合焦位置を決定する決定手段と、を有することを特徴とする。【選択図】 図5
Description
本発明は、イベントベースセンサのオートフォーカスに関する。
画素ごとの輝度の変化をアドレスイベント信号としてリアルタイムに出力するイベントベースセンサが知られている(特許文献1参照)。
本発明が解決しようとする課題は、イベントベースセンサを用いた撮像装置においてオートフォーカスが可能にすることである。
上記課題を解決する本発明にかかる情報処理装置は、撮像装置のフォーカスレンズの位置を制御する制御手段と、所定の期間において、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する取得手段と、前記フォーカスレンズの位置毎に、前記アドレスイベント信号に基づいた評価値を取得することによって、前記フォーカスレンズの合焦位置を決定する決定手段と、を有することを特徴とする。
本発明によれば、イベントベースセンサを用いた撮像装置においてオートフォーカスが可能になる。
イベントベースセンサをセキュリティ用途のカメラに適用することが期待されている。セキュリティカメラでは、夜間監視など低照度環境での撮影を行う場合があり、このようなシーンではセンサの受光量を上げるために絞り値を小さくして撮影することが多い。絞り値を小さく設定することで被写界深度が浅くなってしまうため、被写体に対するピント合わせが必要になる場合が多い。このため、ユーザーが容易にピント合わせを行えるオートフォーカス(AF)機能が望まれる。
公知のオートフォーカス技術として所謂コントラストAFが存在するが、イベントベースセンサを用いたカメラには次の理由で適用が困難である。コントラストAFでは画像内の特定領域(以下、AF評価枠と呼ぶ)内のコントラストの高さを表すコントラスト評価値をもとに合焦位置を判断する。つまり、コントラスト評価値がピークとなるときが合焦位置であると判断される。コントラスト評価値の代表的な算出方法としては、AF評価枠内の最大輝度と最小輝度の比とする方法や、最大輝度と最小輝度の差とする方法などがある。
ところが、イベントベースセンサでは画素の輝度変化を表す値は3値(例えばプラスの輝度変化を+1、マイナスの輝度変化を-1、輝度変化なしを0)のみである。イベントベースセンサでは照明の明るさや絞り開口径の変更などのように、センサへの入射光が一律に変化する場合を除けば、正負どちらの輝度変化も発生する場合が多い。このため、公知のコントラスト評価値の計算式を適用しても、合焦か否かによらず同じ評価値になってしまうため合焦位置を判断することができない。従って、本発明が解決しようとする課題は、イベントベースセンサを用いた撮像装置においてオートフォーカスを可能にすることである。
以下、図を用いて本発明の実施形態における撮像装置について説明する。その際、全ての図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。
<実施形態1>
<撮像装置100のハードウェア構成:図1>
図1は、撮像装置(情報処理装置)100のハードウェア構成例を示す模式図である。なお、撮像装置100は具体的にはイベントベースセンサを有する撮像装置であるが、画像処理を行う機能と画像に対する解析処理(動き検出)を実行する機能は別々の装置が備えていても良い。撮像装置100は、撮像光学系1010と光電変換素子1011とから成る撮像部101、CPU102、メモリ103、表示部104、操作部105とを有する。光電変換素子1011は、受光した入射光に応じたアドレスイベント信号を出力するイベントベースセンサである。イベントベースセンサは、画素毎に輝度の変化をイベントとして検出し、アドレスイベント信号は、輝度の変化が発生した画素の位置と時刻とを示す。撮像光学系1010は、具体的には受光レンズであって、入射光を受光し、光電変換素子1011に結像する。CPU102は、メモリ103に格納されたOSやその他プログラムを読みだして実行し、接続された各構成を制御して、各種処理の演算や論理判断などを行う。CPU102が実行する処理には、本実施形態にかかる情報処理が含まれる。また、CPU102は、撮像光学系1010のフォーカスの駆動や絞りの駆動、光電変換素子1011の駆動等の制御を行う。メモリ103は、例えば、ハードディスクドライブや外部記憶装置などであり、実施形態の情報処理にかかるプログラムや各種データを記憶する。表示部104は、例えば、CPU102からの指示に従って情報処理装置100の演算結果等を表示する表示装置である。なお、表示装置は液晶表示装置やプロジェクタ、LEDインジケータなど、種類は問わない。操作部105は、例えば、タッチパネルやキーボード、マウス、ロボットコントローラーであり、ユーザーによる入力指示を受け付けるユーザーインターフェースである。なお、情報処理装置100は、ここに挙げたハードウェア構成以外の機構を有していてもよい。
<撮像装置100のハードウェア構成:図1>
図1は、撮像装置(情報処理装置)100のハードウェア構成例を示す模式図である。なお、撮像装置100は具体的にはイベントベースセンサを有する撮像装置であるが、画像処理を行う機能と画像に対する解析処理(動き検出)を実行する機能は別々の装置が備えていても良い。撮像装置100は、撮像光学系1010と光電変換素子1011とから成る撮像部101、CPU102、メモリ103、表示部104、操作部105とを有する。光電変換素子1011は、受光した入射光に応じたアドレスイベント信号を出力するイベントベースセンサである。イベントベースセンサは、画素毎に輝度の変化をイベントとして検出し、アドレスイベント信号は、輝度の変化が発生した画素の位置と時刻とを示す。撮像光学系1010は、具体的には受光レンズであって、入射光を受光し、光電変換素子1011に結像する。CPU102は、メモリ103に格納されたOSやその他プログラムを読みだして実行し、接続された各構成を制御して、各種処理の演算や論理判断などを行う。CPU102が実行する処理には、本実施形態にかかる情報処理が含まれる。また、CPU102は、撮像光学系1010のフォーカスの駆動や絞りの駆動、光電変換素子1011の駆動等の制御を行う。メモリ103は、例えば、ハードディスクドライブや外部記憶装置などであり、実施形態の情報処理にかかるプログラムや各種データを記憶する。表示部104は、例えば、CPU102からの指示に従って情報処理装置100の演算結果等を表示する表示装置である。なお、表示装置は液晶表示装置やプロジェクタ、LEDインジケータなど、種類は問わない。操作部105は、例えば、タッチパネルやキーボード、マウス、ロボットコントローラーであり、ユーザーによる入力指示を受け付けるユーザーインターフェースである。なお、情報処理装置100は、ここに挙げたハードウェア構成以外の機構を有していてもよい。
<光電変換素子:図2>
本実施形態にかかるイベントベースセンサの一例を説明する。イベントベースセンサは、入射した光子の数をカウントし、カウントした光子の数が所定の閾値を超えたタイミングを判定する。またイベントベースセンサは、光子の数が第1の閾値以上になるまでの所要時間(クロック数)を計測しており、その所要時間を比較することによって輝度の変化を検出する。具体的には、前回計測された所要時間をT0、最新の所要時間をTとしたとき、差分T-T0が第2の閾値以上の場合は、マイナス方向の輝度の変化を検出する。差分T0-Tが第2の閾値以上の場合は、プラス方向の輝度の変化を検出する。そして、TとT0の差分が第2の閾値未満であれば輝度の変化を検出しない。なお、第2の閾値はゼロ以上の値で、予め設定された値や他のパラメータに応じて設定される値を用いる。
本実施形態にかかるイベントベースセンサの一例を説明する。イベントベースセンサは、入射した光子の数をカウントし、カウントした光子の数が所定の閾値を超えたタイミングを判定する。またイベントベースセンサは、光子の数が第1の閾値以上になるまでの所要時間(クロック数)を計測しており、その所要時間を比較することによって輝度の変化を検出する。具体的には、前回計測された所要時間をT0、最新の所要時間をTとしたとき、差分T-T0が第2の閾値以上の場合は、マイナス方向の輝度の変化を検出する。差分T0-Tが第2の閾値以上の場合は、プラス方向の輝度の変化を検出する。そして、TとT0の差分が第2の閾値未満であれば輝度の変化を検出しない。なお、第2の閾値はゼロ以上の値で、予め設定された値や他のパラメータに応じて設定される値を用いる。
以下に、詳細な構成を説明する。図2(a)は、光電変換素子1011の構成例を示す図である。光電変換素子1011は、画素部110と周辺回路120から構成される。周辺回路120は、垂直調停回路121、水平読み出し回路122を備える。
図2(b)は、イベントベースセンサを構成する各画素部の構成例を示す図である。画素部110は、光電変換部111、画素カウンタ112、時間カウンタ113、第1の判定回路114、メモリ115、比較器116、第2の判定回路117、応答回路118、選択回路119を備える。光電変換部111は、ガイガーモードで動作するアバランシェフォトダイオード(SPAD)を備えており、光電変換部111に入射した光子の数を、画素カウンタ112でカウントするように構成される。時間カウンタ113では、光子が光電変換部111に入射した時間をカウントしている。SPADを用いてイベントベースセンサを構成することによって、光子1個レベルの輝度変化を検出することができる。光子1個レベルの輝度変化を検出することで、夜間などの暗視状態においても、アドレスイベント信号を取得することができる。
画素カウンタ112でカウントした光子の数が第1の閾値に達すると、第1の判定回路114によって、時間カウンタ113での時間のカウントを止める。メモリ115には、過去の時間カウンタ113のカウント値が記憶されており、比較器116を用いて、現在の時間カウンタ113のカウント値と、過去の時間カウンタ113のカウント値の差分のカウント値を求める。
第2の判定回路117は、差分のカウント値が第2の閾値以上の場合に、応答回路118を介して垂直調停回路121に、リクエスト信号を送る。応答回路118は、垂直調停回路121から、アドレスイベントデータの出力の許可または不許可を表す応答を受ける。差分のカウント値が第2の閾値未満の場合には、リクエスト信号を送付しない。
応答回路118が出力の許可を表す応答を受けると、選択回路119により時間カウンタ回路113のカウント値が、水平出力回路122に出力される。水平出力回路122は、受け取ったカウント値を出力信号として光電変換素子1011から検知部103に出力する。
比較器116によって算出された差分のカウント値は、光子の入射頻度の逆数に相当するため、本実施形態にかかる光電変換素子1011は、「光子の入射頻度の変化」、すなわち輝度の変化を計測する機能を有している。また、第2の判定回路117を用いて、入射した光子の数が第1の閾値に達した時間の間隔の差異が、第2の閾値以上の場合のみ、アドレスイベントを出力している。即ち、入射頻度の差異が第2の閾値以上の場合には入射頻度を出力し、差異が閾値未満の場合には入射頻度を出力しない、光電変換素子となっている。以上のような構成とすることで、画素アドレスごとに、輝度の変化をアドレスイベントとしてリアルタイムに検出する非同期型の光電変換素子が実現できる。
<光電変換素子のバリエーション>
以上では、光電変換部にSPADを用い、光子が入射した時間を計測することで、光子の入射頻度の変化を検出する光電変換素子を使用する場合を示した。しかし、輝度の変化をアドレスイベントとしてリアルタイムに検出する光電変換素子であれば、図2の構成でなくてもよい。例えば、特許文献1に記載されているように、輝度の変化を電圧変化として検出する光電変換素子を使用してもよい。
以上では、光電変換部にSPADを用い、光子が入射した時間を計測することで、光子の入射頻度の変化を検出する光電変換素子を使用する場合を示した。しかし、輝度の変化をアドレスイベントとしてリアルタイムに検出する光電変換素子であれば、図2の構成でなくてもよい。例えば、特許文献1に記載されているように、輝度の変化を電圧変化として検出する光電変換素子を使用してもよい。
<撮像装置100:図3>
本実施形態における撮像装置(情報処理装置)100の機能構成例を図3に示す。まず全体の概要を説明したのちに、各機能の詳細を説明する。図3において、撮像装置100は、撮像部301、評価部302、制御部303、出力部304、操作受付部305を有する。撮像部301は、ピント位置を変更可能なフォーカス制御機構1012を備えた撮像光学系1011と、イベントベースセンサである光電変換素子1011と、を有する。
本実施形態における撮像装置(情報処理装置)100の機能構成例を図3に示す。まず全体の概要を説明したのちに、各機能の詳細を説明する。図3において、撮像装置100は、撮像部301、評価部302、制御部303、出力部304、操作受付部305を有する。撮像部301は、ピント位置を変更可能なフォーカス制御機構1012を備えた撮像光学系1011と、イベントベースセンサである光電変換素子1011と、を有する。
撮像光学系1011は具体的には受光レンズで構成され、フォーカス制御機構1012はフォーカスレンズとレンズを駆動するめのアクチュエータ等で構成されている。本実施形態では駆動パルスによってフォーカスレンズの位置を制御できるステッピングモーターで構成されているとする。撮像光学系1011とフォーカス制御機構1012は光電変換素子1011の像面へ被写体像を結像する。光電変換素子1011は、受光した入射光に応じたアドレスイベント信号を出力する。より具体的には、輝度の変化が発生した画素のアドレスと時刻を示すアドレスイベント信号を出力する。評価部302は、光電変換素子1011から出力されたアドレスイベントの信号を取得し、所定期間において輝度変化が発生した延べ画素数の積算値を所定の閾値(第3の閾値)と比較する。制御部303は、フォーカス制御機構1012を介してフォーカスレンズをウォブリング動作(光軸方向に微小振幅で前後させる振動動作)させる。さらに制御部303は、ウォブリング動作と同時に、光電変換素子1011に対して第2の閾値を所定の変化率で変化(スイープ)させる。第2の閾値は、第2の判定回路117において、入射した光子の数が第1の閾値に達した時間の間隔の差異が十分あるか否かを判定するための閾値で、第2の閾値以上の時間差があった場合に、アドレスイベント信号が出力される。このとき評価部302においては、第2の閾値の変化に伴って輝度変化が発生する画素数が変化する。輝度変化が発生した画素数が第3の閾値を下回ったときの第2の閾値の値を、そのフォーカスレンズ位置における評価値とする。制御部303は、評価部302で評価値が決定されると、所定の距離だけフォーカスレンズを光軸方向に移動させた上で再びウォブリング動作させ、以降前述した内容を繰り返して当該フォーカスレンズ位置における評価値を決定する。最終的にフォーカスレンズの位置毎の評価値が決定され、評価値が最も高い値を取っているレンズ位置が合焦位置と判断される。出力部304は輝度変化が発生した画素のアドレスと輝度変化の方向、およびAF評価枠などの表示を行う。操作受付部305はユーザーからの操作によってAF評価枠の設定や、後述するアドレスイベントの閾値の入力などを受け付ける。なお、出力部304や操作受付部305は撮像装置の外部装置によって実現してもよい。
以下に、各機能の詳細を説明する。
<評価部302>
図3における評価部302の詳細を説明する。まず制御部303がフォーカスレンズをウォブリング動作させつつ、光電変換素子1011の第2の閾値を所定の変化率で変化させる。この間に評価部302は光電変換素子1011の出力信号から、特定の時間範囲において輝度変化が発生した延べ画素数を積算した値と、第3の閾値を比較する。そしてこの延べ画素数が第3の閾値を下回ったときの第2の閾値の値が、当該フォーカスレンズ位置における評価値とされる。ここで、第3の閾値は0より大きい値で、あらかじめ設定された値や他のパラメータに応じて設定される値を用いる。また特定の時間範囲は光電変換素子1011の垂直調停回路121の時間分解能で決まる最小時間幅としてもよいし、それより長い時間範囲で積算してもよい。時間幅が狭いほうが合焦速度が向上するが、時間幅が広いほうがランダムノイズなどによる誤差の影響を低減することができ合焦精度を向上することができる。
図3における評価部302の詳細を説明する。まず制御部303がフォーカスレンズをウォブリング動作させつつ、光電変換素子1011の第2の閾値を所定の変化率で変化させる。この間に評価部302は光電変換素子1011の出力信号から、特定の時間範囲において輝度変化が発生した延べ画素数を積算した値と、第3の閾値を比較する。そしてこの延べ画素数が第3の閾値を下回ったときの第2の閾値の値が、当該フォーカスレンズ位置における評価値とされる。ここで、第3の閾値は0より大きい値で、あらかじめ設定された値や他のパラメータに応じて設定される値を用いる。また特定の時間範囲は光電変換素子1011の垂直調停回路121の時間分解能で決まる最小時間幅としてもよいし、それより長い時間範囲で積算してもよい。時間幅が狭いほうが合焦速度が向上するが、時間幅が広いほうがランダムノイズなどによる誤差の影響を低減することができ合焦精度を向上することができる。
評価部302が輝度変化の発生した延べ画素数を計数する対象領域(AF評価枠)は、撮影範囲全てでもよいし、あらかじめ設定された範囲でもよい。さらには操作受付部305においてユーザーが指定した範囲でもよい。
<制御部303>
制御部303は、評価部302が評価値を算出している間、フォーカスレンズをウォブリング動作させつつ、光電変換素子1011の第2の閾値を所定の変化率で変化(スイープ)させる。フォーカスレンズが停止していると被写体像に変化がなく、光電変換素子1011の撮影データには何も映らなくなるが、ウォブリング動作を行うことによって被写体像のピントの合い具合が常に変化するため、撮影画像に常に被写体が表示されることになる。
制御部303は、評価部302が評価値を算出している間、フォーカスレンズをウォブリング動作させつつ、光電変換素子1011の第2の閾値を所定の変化率で変化(スイープ)させる。フォーカスレンズが停止していると被写体像に変化がなく、光電変換素子1011の撮影データには何も映らなくなるが、ウォブリング動作を行うことによって被写体像のピントの合い具合が常に変化するため、撮影画像に常に被写体が表示されることになる。
次に第2の閾値をスイープすることで発生する輝度変化について説明する。図4は被写体と背景を表した図である。図中400の丸い円が被写体であり、背景に対して輝度が高いとする。次に図5は図4の被写体400を撮像装置100で撮影したときの、光電変換素子1011の像面上に結像される被写体像のイメージと、それを光電変換素子1011が撮影した画像のイメージを、フォーカスレンズのポジション毎に並べた図である。光電変換素子1011が撮影した画像イメージは、第2の閾値が高い場合と低い場合の2通りのイメージを並べている。図5に示した通り、フォーカスレンズのポジションC(合焦位置)以外においては被写体像がボケているため、合焦範囲から離れるほど輝度値の低い被写体像が実際の被写体よりも広く範囲に分布している。この場合は背景との輝度差が小さくなる。これら被写体像をイベントベースセンサである光電変換素子1011が撮影した場合、第2の閾値が十分に低い値の場合には、どのポジションにおいても被写体の輪郭部分が検出されている。一方、第2の閾値を高く設定すると合焦位置であるポジションC以外は被写体が検出されなくなる。実際のオートフォーカスにおいては、各レンズポジションにおいてウォブリング動作を行うと同時に第2の閾値をスイープし、検出される輝度変化の画素数が第3の閾値以下になったときの第2の閾値の値を評価値とする。これをレンズポジション毎に繰り返し、最も高い評価値となったポジションを合焦位置と判断する。または、ある所定の値(第4の閾値)を用意して、評価値が第4の閾値を越えたポジションは合焦範囲であると判断してもよい。ここで第4の閾値は0より大きい値であり、あらかじめ設定した値や、他のパラメータに応じて設定される値を用いる。
次にオートフォーカスにおけるレンズ移動方向の決め方について説明する。
今、仮にポジションBにおいてオートフォーカスを開始したとする。ポジションBでの評価値取得後、ポジションAに移動して評価値を取得した場合、ポジションAでの評価値はポジションBでの評価値よりも低いため、合焦位置はポジションAと反対側であることが推測できる。この場合はフォーカスレンズをFar方向に移動させればよい。
反対に、ポジションEにおいてオートフォーカスを開始し、ポジションEでの評価値取得後にポジションDに移動して評価値を取った場合は評価値が高くなる。従ってNEAR方向に合焦位置が存在することが分かる。このようにして最初のレンズ移動の際の評価値の増減を利用して合焦位置が存在する方向を推測し、オートフォーカスを高速化することが可能になる。
<出力部304>
出力部304は具体的には液晶表示装置やプロジェクタ、LEDインジケータなどで構成され、イベントベースセンサ103の出力信号を受けて、輝度変化のあった画素のアドレスと輝度変化の方向を表示する。図5中に記載した、イベントベースセンサによる撮影画像は出力部304の表示イメージである。輝度変化のあった画素の座標に、当該画素の輝度変化がプラス方向であった場合は白色、マイナス方向であった場合は黒色、輝度変化がなかった場合は灰色を表示している。また、AF評価枠などを撮影画像に重畳表示させてユーザーの利便性を向上するようにしてもよい。さらに、オートフォーカス中はオートフォーカス動作中であるというメッセージを撮影画像に重畳表示ないしポップアップ表示させてユーザーに注意喚起してもよい。さらに、AF枠以外は前フレームの値を表示させておき、ユーザーが、背景に対してどの位置にAF枠があるのかを認識しやすいようにしてもよい。さらに、AF枠の中だけ、輝度変化の表示を白黒以外のカラー表示(例えば正の輝度変化は青、負の輝度変化は赤など)として、ユーザーがAF枠内の輝度変化を認識しやすいようにしてもよい。
出力部304は具体的には液晶表示装置やプロジェクタ、LEDインジケータなどで構成され、イベントベースセンサ103の出力信号を受けて、輝度変化のあった画素のアドレスと輝度変化の方向を表示する。図5中に記載した、イベントベースセンサによる撮影画像は出力部304の表示イメージである。輝度変化のあった画素の座標に、当該画素の輝度変化がプラス方向であった場合は白色、マイナス方向であった場合は黒色、輝度変化がなかった場合は灰色を表示している。また、AF評価枠などを撮影画像に重畳表示させてユーザーの利便性を向上するようにしてもよい。さらに、オートフォーカス中はオートフォーカス動作中であるというメッセージを撮影画像に重畳表示ないしポップアップ表示させてユーザーに注意喚起してもよい。さらに、AF枠以外は前フレームの値を表示させておき、ユーザーが、背景に対してどの位置にAF枠があるのかを認識しやすいようにしてもよい。さらに、AF枠の中だけ、輝度変化の表示を白黒以外のカラー表示(例えば正の輝度変化は青、負の輝度変化は赤など)として、ユーザーがAF枠内の輝度変化を認識しやすいようにしてもよい。
<操作受付部305>
操作受付部305は、ユーザーが撮像装置100の制御を行う部分である。具体的には、オートフォーカスの開始指示や、AF評価枠の設定、前述した第2および第3の閾値の変更などの操作を受け付ける。操作受付部305は例えば、タッチパネルやキーボード、マウス、十字キーや操作ダイヤルなどで構成される。
操作受付部305は、ユーザーが撮像装置100の制御を行う部分である。具体的には、オートフォーカスの開始指示や、AF評価枠の設定、前述した第2および第3の閾値の変更などの操作を受け付ける。操作受付部305は例えば、タッチパネルやキーボード、マウス、十字キーや操作ダイヤルなどで構成される。
なお前述した出力部304や操作受付部305は、ネットワークケーブルや無線伝送などによって撮像装置100と接続された外部機器に設けられていてもよい。
<フローチャート>
以上に説明したオートフォーカスを実行する際の処理の流れを説明する。図6は、撮像装置100が実行する処理を説明するフローチャートである。以下の説明では、各工程(ステップ)について先頭にSを付けて表記することで、工程(ステップ)の表記を省略する。ただし、撮像装置100はこのフローチャートで説明するすべてのステップを必ずしも行わなくても良い。
以上に説明したオートフォーカスを実行する際の処理の流れを説明する。図6は、撮像装置100が実行する処理を説明するフローチャートである。以下の説明では、各工程(ステップ)について先頭にSを付けて表記することで、工程(ステップ)の表記を省略する。ただし、撮像装置100はこのフローチャートで説明するすべてのステップを必ずしも行わなくても良い。
S601では、操作受付部305が、ユーザー入力に基づいて、AF評価領域(位置および大きさ)を設定する。ユーザーからの設定がない場合は、あらかじめ設定されたAF評価枠を設置する。
S602では、制御部303が、フォーカスレンズをウォブリング動作させつつ、光電変換素子1011の第2の閾値をスイープさせながら、評価部302において評価値を取得する。
S603では、制御部303がフォーカスレンズを所定の方向に所定の距離だけ移動させる。
S604では、S602と同様に評価部302が評価値の取得を行い、S602の評価値との比較を行う。S604評価値のほうが低ければS605に移動し、S604評価値のほうが高ければS606に移動する。
S605では、S604評価値がS602評価値よりも低かったため、合焦位置が逆方向にあると判断し、S603とは逆方向にフォーカスレンズを移動させる。
S606では、S604評価値がS602評価値よりも高かったため、合焦位置が同方向にあると判断し、S603と同一方向にフォーカスレンズを移動させる。
S607では評価値の取得を行う。S605からS607にきた場合も、S606からS607にきた場合も、どちらもS607評価値はS604評価値よりも高い値になるはずである。
S608では、S605ないしS606でフォーカスレンズを移動させた方向と同じ方向にフォーカスレンズを移動させる。
S609では、評価部302が評価値の取得を行う。ここでS609評価値がS607評価値よりも高い値だった場合には、S608に戻ってフォーカスレンズを同一方向へさらに移動させる。S609評価値がS607評価値よりも低い値だった場合には、1つ前のレンズポジションが合焦位置であったと判断できるので、S610においてレンズポジションを1つ前に戻してオートフォーカスが完了となる。
<実施形態2;ウォブリングのバリエーション>
実施形態2では、評価値取得において制御部303のフォーカスレンズ制御の方式が実施形態1と異なる。本実施形態の手法によれば、ウォブリング動作を行わないために実施形態1に対して制御が簡易化できるというメリットがある。なお、撮像装置100のハードウェア構成および機能構成について、実施形態1における図1および図3と同様である。
実施形態2では、評価値取得において制御部303のフォーカスレンズ制御の方式が実施形態1と異なる。本実施形態の手法によれば、ウォブリング動作を行わないために実施形態1に対して制御が簡易化できるというメリットがある。なお、撮像装置100のハードウェア構成および機能構成について、実施形態1における図1および図3と同様である。
図7を用いて説明を行う。図7は評価値取得の際の制御部303の制御方式を表している。横軸はフォーカスレンズのポジションを表している。縦軸は光電変換素子1011の第2の閾値の値を表している。本実施形態においては評価部302が評価値を算出する間、フォーカスレンズのウォブリング動作は行わず、一定方向(図ではNearからFar方向)にレンズを移動させ続ける。このとき、第2の閾値をレンズの移動速度に対して十分高速に連続でスイープさせる。つまり、フォーカスレンズの位置がほぼ同じ位置であると見なせる程度の時間で、第2の閾値を低い値から高い値までスイープさせつつ評価値の取得を完了させる。このように制御することでフォーカスレンズのポジション毎の評価値が取得でき、最も高い評価値となったポジションが合焦位置と判断できる。また、実施形態1と同様に取得した評価値と第4の閾値を比較し、第4の閾値を越えた評価値を持つポジションは合焦範囲であるとみなしてもよい。
本実施形態の手法を用いることで、複雑なウォブリング制御を行う必要がなくなるため、システムの設計が容易になるというメリットが得られる。
<実施形態3:GUIのバリエーション>
実施形態3では、ユーザーがマニュアルフォーカスでピントの調整を行う際の、制御部303と出力部304の動作が異なっている。本実施形態の手法によれば、ユーザーがマニュアルフォーカスを簡易に行うことが可能になる。なお、撮像装置100のハードウェア構成および機能構成について、実施形態1における図1および図3と同様である。
実施形態3では、ユーザーがマニュアルフォーカスでピントの調整を行う際の、制御部303と出力部304の動作が異なっている。本実施形態の手法によれば、ユーザーがマニュアルフォーカスを簡易に行うことが可能になる。なお、撮像装置100のハードウェア構成および機能構成について、実施形態1における図1および図3と同様である。
実施形態1ないし2の手法によれば、ユーザーはオートフォーカスを行うことによって被写体へ合焦することが可能ではあるが、特殊な状況においてはマニュアルフォーカスを追加で行う場合がある。図8(a)はAF評価枠の中に被写体700と701が存在している。ここで被写体701は被写体700よりも遠方に存在していて、また被写体700がピントを合わせたい被写体であると仮定する。このような被写体配置に対してオートフォーカスを行うと、撮像装置300からは被写体700と701のどちらにフォーカスを合わせるべきか判断できないため、場合によっては被写体701側にピントが引っ張られてしまう可能性がある。このような場合は、オートフォーカスの後でユーザーがマニュアルフォーカスを実施し、所望の被写体に合焦させることが必要になる。
ここでオートフォーカスの際に、AF枠内にどういった被写体(の輝度変化)が分布していたのか、またいずれの被写体に対して合焦したのかをユーザーに明示するようにしてもよい。例えば、フォーカスレンズのポジション毎に取得した評価値のうち、上から二番目の評価値となったポジションにおいて輝度変化が発生していた画素に、異なる色でマーキングを行い、合焦位置での撮影画像に重畳表示させる。このようにすると、ユーザーは合焦位置での輝度変化と、第二位の評価値となったポジションにおける輝度変化を表示色の違いから把握することが可能になり、意志と異なる被写体に合焦しているか否かの判断が容易になる。
本実施形態では、ユーザーがマニュアルフォーカスを行う際には、操作受付部305を通じてユーザーにマニュアルフォーカスモードを設定してもらう。この時図8(b)のように、オートフォーカスの際のAF評価枠を複数の小さいAF評価枠に分割する。この分割は面積が均一になるように自動で分割してもよいし、被写体の形状に合わせて不均一な分割としてもよい。もしくはユーザーに個々のAF評価枠を設定させてもよい。マニュアルフォーカスモードに入ると、制御部303はフォーカスレンズを常時ウォブリング動作させ、同時に光電変換素子1011の第2の閾値をスイープさせ、評価部302で評価値を取得する。評価部302では分割されたAF評価枠毎に評価値を取得し、図に示したように、表示画面に評価値を重畳表示させる。図8(b)では評価値の数字を重畳表示させているが、合焦具合が分かるようなインジケータなどを重畳表示させてもよい。図8(b)から分かるように被写体700が広く含まれるAF評価枠の評価値が99と、他のエリアよりも高いので被写体700に合焦していることが分かる。もし狙いの被写体の評価値が他のエリアに比べて低いのであれば、狙いのAF評価枠に表示された数値を見ながら、マニュアルでフォーカスレンズを移動させてあげればよい。この手法をとると、ユーザーがピントの合い具合とピント対象を認識しやすいため、容易にマニュアルフォーカスが行えるようになる。
図8(c)はさらにユーザーの視認性を向上した場合の表示部107の表示例を表している。この図では、ある所定の評価値以下のAF評価枠は表示をマスクしてユーザーに被写体を見せないようにする。このとき被写体の代わりに数値だけを重畳表示させておくと、ユーザーがマスクされた裏側に被写体が存在することを認識できるので望ましい。また、ある所定の値よりも大きいな評価値を持つAF評価枠は表示色をそれ以外のAF評価枠と異ならせたり、被写体のアドレスイベントの表示色を他のアドレスイベントと異ならせたりしてもよい。このように表示することによって、ユーザーは狙いの被写体により集中することが可能になり、マニュアルフォーカスがさらに容易になる。
以上説明したように、本実施形態の手法を用いることによってイベントベースセンサを用いた撮像装置においてオートフォーカスが可能になり、ユーザーの利便性を向上させることが可能になる。特に、レンズをウォブリングさせたり、パラメータを高頻度で振動させることによって、評価値の質が上がり、高精度にフォーカスすることができる。
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、データ通信用のネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータが読み取り可能な記録媒体に記録して提供してもよい。
100 撮像装置
101 撮像光学系
102 フォーカスレンズ
103 光電変換素子
104 評価部
105 制御部
106 表示部
101 撮像光学系
102 フォーカスレンズ
103 光電変換素子
104 評価部
105 制御部
106 表示部
Claims (18)
- 撮像装置のフォーカスレンズの位置を制御する制御手段と、
所定の期間において、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する取得手段と、
前記フォーカスレンズの位置毎に、前記アドレスイベント信号に基づいた評価値を取得することによって、前記フォーカスレンズの合焦位置を決定する決定手段と、を有することを特徴とする情報処理装置。 - 前記評価値は、輝度の変化があった画素の数に基づいて決定され、
前記決定手段は、前記評価値が所定の基準値以下である前記フォーカスレンズの位置に基づいて、前記フォーカスレンズの合焦位置を決定することを特徴とする請求項1に記載の情報処理装置。 - 前記決定手段は、前記撮像装置の画角に含まれる部分領域における前記アドレスイベント信号に基づいて、前記評価値を決定することを特徴とする請求項2に記載の情報処理装置。
- 前記決定手段は、前記撮像装置の画角に含まれる複数の領域のそれぞれにおいて前記評価値を決定することを特徴とする請求項3に記載の情報処理装置。
- 第1の閾値を設定する設定手段を更に有し、
前記取得手段は、輝度の変化が前記第1の閾値より大きい画素から前記アドレスイベント信号を取得し、
前記決定手段は、前記第1の閾値以上の輝度の変化があった画素の数が、第2の閾値より少なくなった場合に、前記第1の閾値を前記フォーカスレンズの位置における前記評価値として決定することを特徴とする請求項2乃至4のいずれか1項に記載の情報処理装置。 - 前記制御手段は、前記フォーカスレンズを一定の振幅でウォブリングする制御を実行することを特徴とする請求項5に記載の情報処理装置。
- 前記制御手段は、前記フォーカスレンズを所定の方向に移動させる制御を実行し、
前記設定手段は、前記第1の閾値を変動させることを特徴とする請求項5に記載の情報処理装置。 - 前記アドレスイベント信号に基づいて、前記所定の期間において輝度の変化が発生した画素の位置を示す画像と、前記評価値と、を表示する表示手段を更に有することを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
- 前記決定手段は、前記評価値を取得しない領域については、前記所定の期間より前に取得された前記アドレスイベント信号に基づいて生成された画像を表示することを特徴とする請求項8に記載の情報処理装置。
- 前記表示手段は、前記評価値を取得する領域と、それ以外の領域とで、前記所定の期間において輝度の変化が発生した画素の色を異ならせて表示することを特徴とする請求項8または9に記載の情報処理装置。
- 前記表示手段は、前記撮像装置の画角を分割した領域毎の前記評価値に基づいて、前記所定の期間において輝度の変化が発生した画素の色を異ならせて表示することを特徴とする請求項8乃至10のいずれか1項に記載の情報処理装置。
- 前記評価値が取得されていない前記フォーカスレンズの位置に前記フォーカスレンズを動かすオートフォーカス動作を行う第1のモードと、前記フォーカスレンズの位置をユーザ入力に応じた位置に制御する第2のモードと、を切り替える切替手段を更に有することを特徴とする請求項1乃至11のいずれか1項に記載の情報処理装置。
- 前記制御手段は、前記第2のモードの場合、前記フォーカスレンズをウォブリング動作させ、
前記決定手段は、各画素における輝度の変化を検出するための第1の閾値を変化させ、
輝度の変化が発生した画素数が第2の閾値以下となったときの、前記第1の閾値を前記評価値として決定することを特徴とする請求項12に記載の情報処理装置。 - 前記アドレスイベント信号は、光子の入射に応じて信号を出力する画素を備えた光電変換素子によって出力されることを特徴とする、請求項1乃至13のいずれか1項に記載の情報処理装置。
- コンピュータを、請求項1乃至14のいずれか1項に記載の情報処理装置が有する各手段として機能させるためのプログラム。
- 撮像装置のフォーカスレンズの位置を制御する制御工程と、
所定の期間において、輝度の変化が発生した画素の位置と時刻とを示すアドレスイベント信号を取得する取得工程と、
前記フォーカスレンズの位置毎に、前記アドレスイベント信号に基づいた評価値を取得することによって、前記フォーカスレンズの合焦位置を決定する決定工程と、を有することを特徴とする情報処理方法。 - 第1の閾値を設定する設定工程を更に有し、
前記取得工程は、輝度の変化が前記第1の閾値より大きい画素から前記アドレスイベント信号を取得し、
前記決定工程は、前記フォーカスレンズの位置が第1の位置であるときに、前記第1の閾値以上の輝度の変化があった画素の数が、第2の閾値より少なくなった場合に、前記第1の閾値を前記第1の位置における前記評価値として決定することを特徴とする請求項16に記載の情報処理方法。 - 前記制御工程は、前記所定の期間より長い第1の期間において、前記フォーカスレンズを一定の振幅でウォブリングする制御を実行することを特徴とする請求項17に記載の情報処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021097304A JP2022188985A (ja) | 2021-06-10 | 2021-06-10 | 情報処理装置、情報処理方法およびプログラム |
US17/834,749 US11838627B2 (en) | 2021-06-10 | 2022-06-07 | Imaging apparatus, control method for imaging apparatus, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021097304A JP2022188985A (ja) | 2021-06-10 | 2021-06-10 | 情報処理装置、情報処理方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022188985A true JP2022188985A (ja) | 2022-12-22 |
Family
ID=84390089
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021097304A Pending JP2022188985A (ja) | 2021-06-10 | 2021-06-10 | 情報処理装置、情報処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11838627B2 (ja) |
JP (1) | JP2022188985A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024101034A1 (ja) * | 2022-11-11 | 2024-05-16 | キヤノン株式会社 | オートフォーカス制御装置、撮像装置、オートフォーカス制御方法、およびプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008197829A (ja) * | 2007-02-09 | 2008-08-28 | Sony Corp | 画像処理装置と方法およびプログラムと記録媒体 |
US8508612B2 (en) * | 2010-09-30 | 2013-08-13 | Apple Inc. | Image signal processor line buffer configuration for processing ram image data |
JP2016128890A (ja) * | 2015-01-09 | 2016-07-14 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
JP2019134271A (ja) | 2018-01-31 | 2019-08-08 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 |
JP7012142B2 (ja) * | 2018-03-01 | 2022-01-27 | 富士フイルム株式会社 | 焦点調節操作検出装置、焦点調節操作検出方法及び焦点調節操作検出プログラム、並びに、撮像装置本体及び撮像装置 |
WO2020085881A1 (en) * | 2018-10-26 | 2020-04-30 | Samsung Electronics Co., Ltd. | Method and apparatus for image segmentation using an event sensor |
JP7271188B2 (ja) * | 2019-01-10 | 2023-05-11 | キヤノン株式会社 | 制御装置、撮像装置、制御方法、および、プログラム |
JP2022003376A (ja) * | 2020-06-23 | 2022-01-11 | オリンパス株式会社 | 焦点検出装置および焦点検出方法 |
KR20230028422A (ko) * | 2020-06-26 | 2023-02-28 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | 고체 촬상 장치 |
US11611707B2 (en) * | 2021-05-24 | 2023-03-21 | Anduril Industries, Inc. | Auto-focus tracking for remote flying targets |
-
2021
- 2021-06-10 JP JP2021097304A patent/JP2022188985A/ja active Pending
-
2022
- 2022-06-07 US US17/834,749 patent/US11838627B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024101034A1 (ja) * | 2022-11-11 | 2024-05-16 | キヤノン株式会社 | オートフォーカス制御装置、撮像装置、オートフォーカス制御方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20220400209A1 (en) | 2022-12-15 |
US11838627B2 (en) | 2023-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10306131B2 (en) | Focus detection apparatus and control method therefor | |
US8300137B2 (en) | Image sensing apparatus providing driving direction of focus lens for attaining in-focus state and control method therefor | |
WO2018101092A1 (ja) | 撮像装置およびフリッカ判定方法 | |
JP6548435B2 (ja) | 表示制御装置及びその制御方法、及び撮像装置 | |
JP6808333B2 (ja) | 表示制御装置及び方法、及び撮像装置 | |
KR100941287B1 (ko) | 화면의 동화질 측정 평가 장치 및 방법 | |
JP2016143035A (ja) | 焦点調節装置および焦点調節方法 | |
JP6851854B2 (ja) | 画像処理装置、撮像装置および画像処理装置の制御方法 | |
US11838627B2 (en) | Imaging apparatus, control method for imaging apparatus, and storage medium | |
JP2022188990A (ja) | 情報処理装置、情報処理方法およびプログラム | |
US20220400198A1 (en) | Imaging apparatus, control method for imaging apparatus, and storage medium | |
JP2015014672A (ja) | カメラ制御装置、カメラシステム、カメラ制御方法、及びプログラム | |
WO2019220890A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP2016057546A (ja) | 撮像装置およびその制御方法 | |
JP2020187065A (ja) | 電子機器及びその制御方法、プログラム | |
JP5928016B2 (ja) | 撮像装置及び撮像方法 | |
US11832002B2 (en) | Information processing apparatus, information processing method, and storage medium for displaying a measurement result in accordance with a direction of luminance changes | |
JP2016142924A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2004038114A (ja) | オートフォーカスカメラ | |
JP2017163412A (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム | |
JP7463078B2 (ja) | 撮像装置 | |
JP2943862B2 (ja) | カメラ | |
JP2022188986A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2022188982A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JPS6155619A (ja) | 自動焦点調節装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240605 |