JP2022093912A - 撮像装置、撮像方法およびプログラム - Google Patents
撮像装置、撮像方法およびプログラム Download PDFInfo
- Publication number
- JP2022093912A JP2022093912A JP2020206642A JP2020206642A JP2022093912A JP 2022093912 A JP2022093912 A JP 2022093912A JP 2020206642 A JP2020206642 A JP 2020206642A JP 2020206642 A JP2020206642 A JP 2020206642A JP 2022093912 A JP2022093912 A JP 2022093912A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- information
- region
- time
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Abstract
【課題】パン・チルト・ズーム時等の撮像条件を変更した際においても、撮像センサの領域別に露光条件を適切に制御する。【解決手段】撮像装置は、所定の領域別に露光条件を設定可能な撮像手段と、前記撮像手段が撮像した撮像画像の前記所定の領域別の輝度情報を抽出する抽出手段と、次の撮像時の撮像画像の変化情報を算出する算出手段と、前記算出手段が算出した前記変化情報と、前記抽出手段が抽出した前記所定の領域別の輝度情報に基づいて、次の撮像時の前記撮像手段の前記所定の領域別の露光条件を決定する決定手段と、を備える。【選択図】 図1
Description
本発明は、撮像装置、撮像方法およびプログラムに関する。
一般的に、デジタルカメラやデジタルビデオカメラなどの撮像装置に用いられるCCDやCMOSといった撮像センサのダイナミックレンジは、自然界のダイナミックレンジと比較して狭いことが知られている。このため、広いダイナミックレンジ(ハイダイナミックレンジ)を有するシーンを通常の方法で撮像すると黒潰れや白飛びなどが発生してしまう。CCDはCharge Coupled Deviceの略であり、CMOSはComplementary Metal Oxide Semiconductorの略である。
特許文献1に開示された技術では、予備撮影に基づいて、領域別に露光条件を制御可能な撮像センサの領域毎に最適な露光条件を決定する際に、露光条件の境界において周囲の露光条件の中からより暗い露光条件になるように変更して撮影を行っている。これにより、予備撮影と本撮影との時間差によって、被写体が動いた場合に発生する白飛びを軽減している。
しかしながら、特許文献1の方法では、首振りや画角変更を行わず、予備撮影と本撮影とで画像の位置ずれが無い場合には、変更の必要がないにもかかわらず、境界領域の露光条件を本来よりも暗く変更してしまうため、S/Nが悪化してしまう。また、パン・チルト制御により予備撮影と本撮影とで画像の位置ずれが発生する場合でも、ずれの方向等を考慮していないため、少なくともいずれかの境界において、本来よりも暗い露光条件に変更してしまうため、S/Nが悪化してしまう。さらに、ずれの大きさが分からないため、ずれの大きさが、露光条件を暗く変更した範囲より小さい場合は、本来よりも暗い露光条件の部分が発生し、S/Nが悪化してしまう。逆に、ずれの大きさが、露光条件を暗く変更した範囲より大きい場合は、白飛びや黒つぶれが発生する可能性がある。
本発明は上述の課題に鑑みて成されたものであり、パン・チルト・ズーム等の撮像条件を変更した際においても、撮像センサの領域別に露光条件を適切に制御することを目的とする。
上述の課題を解決するため、本発明に係る撮像装置のある態様によれば、所定の領域別に露光条件を設定可能な撮像手段と、前記撮像手段が撮像した撮像画像の前記所定の領域別の輝度情報を抽出する抽出手段と、次の撮像時の撮像画像の変化情報を算出する算出手段と、前記算出手段が算出した前記変化情報と、前記抽出手段が抽出した前記所定の領域別の輝度情報に基づいて、次の撮像時の前記撮像手段の前記所定の領域別の露光条件を決定する決定手段と、を備える情報処理装置が提供される。
以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は、以下の実施形態に必ずしも限定されるものではない。また、実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
(実施形態1)
(撮像システム構成)
図1は、実施形態1の撮像システムの構成例を示すブロック図である。
この撮像システムは、被写体を撮像するネットワークカメラ1と、ネットワークカメラ1とネットワーク2を介して接続されたパーソナルコンピュータ等の端末装置3と、ネットワークカメラ1の撮像方向をパン・チルト方向に変更する雲台4とを備えている。なお、以下、動画像を撮像する場合を例に説明するが、静止画の予備撮影を行った後に、本撮影を行う場合についても、本発明を適用することができる。
ネットワークカメラ1は、ハイダイナミックレンジで撮像された映像を、ネットワーク2を介してストリーミング配信することができるように構成されている。また、ネットワークカメラ1は、雲台4を制御して撮像方向をパン・チルト方向に制御し、光学系を制御してズームを制御するパン・チルト・ズーム機能を備えている。
(撮像システム構成)
図1は、実施形態1の撮像システムの構成例を示すブロック図である。
この撮像システムは、被写体を撮像するネットワークカメラ1と、ネットワークカメラ1とネットワーク2を介して接続されたパーソナルコンピュータ等の端末装置3と、ネットワークカメラ1の撮像方向をパン・チルト方向に変更する雲台4とを備えている。なお、以下、動画像を撮像する場合を例に説明するが、静止画の予備撮影を行った後に、本撮影を行う場合についても、本発明を適用することができる。
ネットワークカメラ1は、ハイダイナミックレンジで撮像された映像を、ネットワーク2を介してストリーミング配信することができるように構成されている。また、ネットワークカメラ1は、雲台4を制御して撮像方向をパン・チルト方向に制御し、光学系を制御してズームを制御するパン・チルト・ズーム機能を備えている。
ネットワークカメラ1は、露光条件を決定する露光条件決定部11と、撮像画像間の移動量・方向等の移動情報を算出する移動情報算出部12と、被写体の像を結像させる光学系13と、結像された被写体の像を電気信号に変換する撮像センサ14とを備えている。
光学系13は、シャッタ、レンズ13A、絞り13B、光学ローパスフィルタ等を備えており、ズーム機能を有している。
撮像センサ14は、カラーフィルタとCMOS等の撮像素子を備えており、撮像素子の撮像面を複数の領域に分割し、領域別に蓄積時間と読出しゲインといった露光条件を変更して撮像することができるようになっている。
光学系13は、シャッタ、レンズ13A、絞り13B、光学ローパスフィルタ等を備えており、ズーム機能を有している。
撮像センサ14は、カラーフィルタとCMOS等の撮像素子を備えており、撮像素子の撮像面を複数の領域に分割し、領域別に蓄積時間と読出しゲインといった露光条件を変更して撮像することができるようになっている。
また、ネットワークカメラ1は、装置全体の制御を行うCPU17と、撮像センサ14が撮像した画像の所定の領域別に補正処理を行う領域別補正部18と、領域別補正部18が補正処理を行った画像に現像処理を行う現像処理部19とを備えている。なお、CPUは、Central Processing Unitの略である。
さらに、ネットワークカメラ1は、撮像画像の所定の領域別の輝度から輝度情報を生成する領域別輝度情報生成部20と、領域別輝度情報生成部20が生成した輝度情報を記憶する領域別輝度情報記憶部21とを備えている。
また、ネットワークカメラ1は、撮像センサ14の制御を行うセンサ制御部22と、光学系13の制御を行う光学系制御部23と、雲台4の制御を行う雲台制御部24と、ネットワーク2を介して端末装置3と通信を行うインタフェース25を備えている。
さらに、ネットワークカメラ1は、撮像画像の所定の領域別の輝度から輝度情報を生成する領域別輝度情報生成部20と、領域別輝度情報生成部20が生成した輝度情報を記憶する領域別輝度情報記憶部21とを備えている。
また、ネットワークカメラ1は、撮像センサ14の制御を行うセンサ制御部22と、光学系13の制御を行う光学系制御部23と、雲台4の制御を行う雲台制御部24と、ネットワーク2を介して端末装置3と通信を行うインタフェース25を備えている。
(全体動作)
ユーザが、端末装置3を操作し、ネットワークカメラ1のパン・チルト・ズームを含む撮像設定を指示すると、端末装置3は、ネットワーク2を介してユーザからの指示をネットワークカメラ1に送信する。
インタフェース25がユーザからの指示をネットワーク2経由で受信すると、CPU17は、雲台制御部24、光学系制御部23、センサ制御部22の設定とタイミングを制御して、雲台4、光学系13、撮像センサ14を駆動する。
ユーザが、端末装置3を操作し、ネットワークカメラ1のパン・チルト・ズームを含む撮像設定を指示すると、端末装置3は、ネットワーク2を介してユーザからの指示をネットワークカメラ1に送信する。
インタフェース25がユーザからの指示をネットワーク2経由で受信すると、CPU17は、雲台制御部24、光学系制御部23、センサ制御部22の設定とタイミングを制御して、雲台4、光学系13、撮像センサ14を駆動する。
領域別補正部18は、撮像センサ14で撮像した露光条件の異なる領域別の撮像データから、領域別の露光条件に基づき、領域別の補正を行ったハイダイナミックレンジの本画像を生成する。現像処理部19は、領域別の補正を行った本画像に対して、ホワイトバランス、ディベイヤー、ノイズリダクション、シャープネス、ガンマ補正などの現像処理を行う。インタフェース25は、現像処理部19が現像処理を行った画像を、ストリーミング映像としてネットワーク2を介して配信する。
端末装置3は、ネットワーク2を介してネットワークカメラ1からのストリーミング映像を受信すると、これに応じた映像を表示する。これにより、ユーザは、ネットワークカメラ1が撮像したハイダイナミックレンジのストリーミング映像を視聴することができる。
端末装置3は、ネットワーク2を介してネットワークカメラ1からのストリーミング映像を受信すると、これに応じた映像を表示する。これにより、ユーザは、ネットワークカメラ1が撮像したハイダイナミックレンジのストリーミング映像を視聴することができる。
(露光条件の決定)
以下、ネットワークカメラ1で、領域別の露光条件を決定する処理の例について説明する。
領域別輝度情報生成部20は、領域別補正部18からの本画像を入力として、領域別輝度情報を生成する。具体的には、領域別輝度情報生成部20は、動画像の撮像の場合には、例えば現在のフレーム(現撮像時)で撮像された本画像から領域別輝度情報を生成する。
以下、ネットワークカメラ1で、領域別の露光条件を決定する処理の例について説明する。
領域別輝度情報生成部20は、領域別補正部18からの本画像を入力として、領域別輝度情報を生成する。具体的には、領域別輝度情報生成部20は、動画像の撮像の場合には、例えば現在のフレーム(現撮像時)で撮像された本画像から領域別輝度情報を生成する。
図2(A)は、撮像センサ14で撮像し、領域別補正部18により本画像となった現撮像(現在のフレームの撮像)による取得済み撮像画像31の例を示している。この取得済み撮像画像31は、両側のビルに挟まれた道路が縦に伸び、ビルの奥に太陽があるという逆光条件で撮像された輝度差が大きな画像である。領域別輝度情報生成部20は、取得済み撮像画像31を入力とし、図2(B)に示す領域別輝度情報32を生成し、領域別輝度情報記憶部21に格納する。
この領域別輝度情報32は、領域別輝度情報生成部20により、撮像画像31を横12・縦8の領域に分け、それぞれの領域の輝度値に応じて3段階にレベル分けした例を示している。横12・縦8の領域分割は、撮像センサ14の領域分割と同じである。すなわち、ネットワークカメラ1は、撮像センサ14を横12・縦8の計96領域に分割し、各領域で異なる露光条件で、撮像することができるカメラである。輝度レベルは、2つの境界条件を設けることで、3段階に分け、図2(C)に示すように、35から36、37の順に従って、暗いレベルから明るいレベルとしている。この領域別輝度情報32の例では、ビルの前面部分の領域33は、太陽の陰になるため、暗いレベル(35)となり、太陽のある領域34は、明るいレベル(37)となる。
(移動情報の算出)
上述の移動情報算出部12は、内部に、現撮像時の撮像条件の設定情報である焦点距離とパン・チルトの角度等の情報を保持している。CPU17から、次撮像時の設定情報を含む制御情報を受け取ると、移動情報算出部12は、保持している現撮像時の設定情報から、取得済み撮像画像と次撮像時の撮像画像との間の移動量と方向等の情報を算出する。そして、移動情報算出部12は、算出した情報を移動情報として露光条件決定部11に供給する。なお、移動情報算出部12が算出する情報は、移動情報だけでなく、撮像画像全体の輝度の変化等を含む画像の変化情報であってもよい。
CPU17は、雲台制御部24、光学系制御部23、センサ制御部22の設定とタイミングを制御しているため、移動情報算出部12に次撮像時での設定情報を含む制御情報を渡すことができる。
上述の移動情報算出部12は、内部に、現撮像時の撮像条件の設定情報である焦点距離とパン・チルトの角度等の情報を保持している。CPU17から、次撮像時の設定情報を含む制御情報を受け取ると、移動情報算出部12は、保持している現撮像時の設定情報から、取得済み撮像画像と次撮像時の撮像画像との間の移動量と方向等の情報を算出する。そして、移動情報算出部12は、算出した情報を移動情報として露光条件決定部11に供給する。なお、移動情報算出部12が算出する情報は、移動情報だけでなく、撮像画像全体の輝度の変化等を含む画像の変化情報であってもよい。
CPU17は、雲台制御部24、光学系制御部23、センサ制御部22の設定とタイミングを制御しているため、移動情報算出部12に次撮像時での設定情報を含む制御情報を渡すことができる。
移動情報とは、例えば図3や図4に示すように、画像内の領域別の移動方向の向きと、移動量を示す情報である。
図3は、右方向へのパン制御により、次撮像時には、撮像画像が、全体的に左に移動する状態を示している。各矢印38a~38eの向きと長さが、移動の方向と移動量を示す。
図4は、ズームイン制御により、次撮像時には、撮像画像が、中央部分39aは変化ないが、周辺が、矢印39b~39eの向きと長さが示すように拡大することを示している。
図3は、右方向へのパン制御により、次撮像時には、撮像画像が、全体的に左に移動する状態を示している。各矢印38a~38eの向きと長さが、移動の方向と移動量を示す。
図4は、ズームイン制御により、次撮像時には、撮像画像が、中央部分39aは変化ないが、周辺が、矢印39b~39eの向きと長さが示すように拡大することを示している。
図5は、ズームイン制御での移動量の算出方法の例を示す図である。
図5(A)の符号40は、ネットワークカメラ1を示している。また、符号41は撮像センサ14を、符号42は光学系13を、符号43は撮像対象を、それぞれ示している。さらに、符号44は撮像センサ14の撮像面のサイズAを、符号45は現撮像時の焦点距離Bを、符号46は現撮像時の画角αを、それぞれ示している。CPU17からのズームイン制御により、光学系13が移動することで、次撮像時には、同図(B)に符号47で示す焦点距離C、符号48で示す画角βに変化する場合について考える。なお、撮像センサ14の撮像面のサイズA44は一定である。
図5(A)の符号40は、ネットワークカメラ1を示している。また、符号41は撮像センサ14を、符号42は光学系13を、符号43は撮像対象を、それぞれ示している。さらに、符号44は撮像センサ14の撮像面のサイズAを、符号45は現撮像時の焦点距離Bを、符号46は現撮像時の画角αを、それぞれ示している。CPU17からのズームイン制御により、光学系13が移動することで、次撮像時には、同図(B)に符号47で示す焦点距離C、符号48で示す画角βに変化する場合について考える。なお、撮像センサ14の撮像面のサイズA44は一定である。
現撮像時と次撮像時の画角α46と画角β48は、それぞれ以下の式で求めることができる。
また、移動量は、以下の式により、画角α46と画角β48の差と、撮像面のサイズA44から求めることができる。
図6は、パン制御での移動量の算出方法の例を示す図である。
なお、チルト制御での移動量も同様の算出方法で求めることができる。
図6(A)の符号50は、ネットワークカメラ1を示している。また、符号51は、撮像センサ14、符号52は、光学系13、符号53は撮像対象を示している。なお、撮像センサ14の撮像面のサイズDは一定である。また、パン制御であるため、焦点距離であるEと、画角γ54も一定である。現撮像時と次撮像時で変化するのは、同図(B)のカメラの角度δ55である。
画角γ54は、以下の式で求めることができる。
なお、チルト制御での移動量も同様の算出方法で求めることができる。
図6(A)の符号50は、ネットワークカメラ1を示している。また、符号51は、撮像センサ14、符号52は、光学系13、符号53は撮像対象を示している。なお、撮像センサ14の撮像面のサイズDは一定である。また、パン制御であるため、焦点距離であるEと、画角γ54も一定である。現撮像時と次撮像時で変化するのは、同図(B)のカメラの角度δ55である。
画角γ54は、以下の式で求めることができる。
また、角度δ55は、例えば、30fpsの撮像設定において、3秒間で20度パン制御を行う場合、角度δは、以下の式で求めることができる。fpsはframes per secondの略である。
また、移動量は、以下の式により、画角γ54と現撮像時と次撮像時の角度の差δ55と、撮像面のサイズDから求めることができる。
(露光条件の決定の詳細)
このネットワークカメラ1では、現在のフレームの撮像画像(現画像)から次に撮像するフレームの画像(次画像)を予測し、予測した画像に基づいて、撮像センサ14の領域別に適切な露光条件を決定するようになっている。
露光条件決定部11は、移動情報算出部12からの取得済み撮像画像と次撮像時の撮像画像との間の移動量と方向である移動情報を取得し、領域別輝度情報記憶部21から取得済み撮像画像の領域別輝度情報とを取得する。さらに、露光条件決定部11は、取得した移動情報と領域別輝度情報に基づいて、次撮像時の露光条件を決定し、決定した露光条件をセンサ制御部22に供給する。
このネットワークカメラ1では、現在のフレームの撮像画像(現画像)から次に撮像するフレームの画像(次画像)を予測し、予測した画像に基づいて、撮像センサ14の領域別に適切な露光条件を決定するようになっている。
露光条件決定部11は、移動情報算出部12からの取得済み撮像画像と次撮像時の撮像画像との間の移動量と方向である移動情報を取得し、領域別輝度情報記憶部21から取得済み撮像画像の領域別輝度情報とを取得する。さらに、露光条件決定部11は、取得した移動情報と領域別輝度情報に基づいて、次撮像時の露光条件を決定し、決定した露光条件をセンサ制御部22に供給する。
上述のパン制御の場合、露光条件決定部11は、図3に示す移動情報と、図2に示す領域別輝度情報32を取得し、移動情報を基に、領域別輝度情報32をシフトさせることで、次撮像時の領域別輝度情報を生成する。
図7は、パン制御での次撮像に適用する領域別の輝度情報の例を示す図である。図7(A)については後述する。
図7(B)の符号62は、シフトさせた次撮像時の領域別輝度情報の例を示している。この領域別輝度情報62は、図2(B)の領域別輝度情報32を、図3の移動情報に従って、全体的に、左にシフトさせた領域別輝度情報となっている。移動量によっては、シフトさせた次撮像時の領域別輝度情報62が必ずしも横12・縦8の分割した領域にぴたりと収まるとは限らないため、平均化などを用いて、横12・縦8に分割した領域別輝度情報を算出する。また、領域別輝度情報62の右端部分63は、図2(A)の取得済み撮像画像31には存在しない領域であり、シフトさせた領域別輝度情報32には、この領域の輝度情報が不足している場合がある。この場合は、隣接する領域の輝度情報をコピーする等の方法により、不足している輝度情報を補完し、次撮像時の輝度情報を生成する。
図7は、パン制御での次撮像に適用する領域別の輝度情報の例を示す図である。図7(A)については後述する。
図7(B)の符号62は、シフトさせた次撮像時の領域別輝度情報の例を示している。この領域別輝度情報62は、図2(B)の領域別輝度情報32を、図3の移動情報に従って、全体的に、左にシフトさせた領域別輝度情報となっている。移動量によっては、シフトさせた次撮像時の領域別輝度情報62が必ずしも横12・縦8の分割した領域にぴたりと収まるとは限らないため、平均化などを用いて、横12・縦8に分割した領域別輝度情報を算出する。また、領域別輝度情報62の右端部分63は、図2(A)の取得済み撮像画像31には存在しない領域であり、シフトさせた領域別輝度情報32には、この領域の輝度情報が不足している場合がある。この場合は、隣接する領域の輝度情報をコピーする等の方法により、不足している輝度情報を補完し、次撮像時の輝度情報を生成する。
この後、露光条件決定部11は、例えば図8に示すような露光条件を決定するテーブル70と、領域別輝度情報62から、各領域の露光条件(例えばEV値)を決定することで、次撮像時の各領域の露光条件を決定する。
図1のセンサ制御部22は、露光条件決定部11からの領域別の露光条件と、CPU17からのタイミングに従って、撮像センサ14を制御し、次のフレームの撮像を行う。
図7(A)の符号61は、次撮像によって得られる予測画像である。算出した次撮像時の領域別輝度情報62を基づいて、露光条件決定部11が露光条件を決定することで、現撮像と次撮像とで画像がずれる場合でも、白飛びや黒つぶれのない撮像が可能となる。
図1のセンサ制御部22は、露光条件決定部11からの領域別の露光条件と、CPU17からのタイミングに従って、撮像センサ14を制御し、次のフレームの撮像を行う。
図7(A)の符号61は、次撮像によって得られる予測画像である。算出した次撮像時の領域別輝度情報62を基づいて、露光条件決定部11が露光条件を決定することで、現撮像と次撮像とで画像がずれる場合でも、白飛びや黒つぶれのない撮像が可能となる。
上述のズームイン制御の場合も同様に、露光条件決定部11は、図4に示す移動情報と、図3に示す領域別輝度情報32を取得し、移動情報を基に、領域別輝度情報32をシフトさせることで、次撮像時の領域別輝度情報を生成する。
図9(B)の符号82は、シフトさせた次撮像時の領域別輝度情報の例を示している。
この領域別輝度情報82は、図2(B)の領域別輝度情報32を、図4の移動情報に従って、全体的に、拡大した領域別輝度情報となる。この後、露光条件決定部11は、図8に示す露光条件を決定するテーブルと、領域別輝度情報82から、各領域の露光条件(例えばEV値)を決定することで、次撮像時の各領域の露光条件を決定する。
図9(A)の81は、次撮像によって得られる予測画像である。上述のズーム制御の場合と同様に、算出した次撮像時の領域別輝度情報82に基づいて、露光条件決定部11が領域別の露光条件を決定することで、現撮像と次撮像とで画像がずれる場合でも、白飛びや黒つぶれのない撮像が可能となる。
図9(B)の符号82は、シフトさせた次撮像時の領域別輝度情報の例を示している。
この領域別輝度情報82は、図2(B)の領域別輝度情報32を、図4の移動情報に従って、全体的に、拡大した領域別輝度情報となる。この後、露光条件決定部11は、図8に示す露光条件を決定するテーブルと、領域別輝度情報82から、各領域の露光条件(例えばEV値)を決定することで、次撮像時の各領域の露光条件を決定する。
図9(A)の81は、次撮像によって得られる予測画像である。上述のズーム制御の場合と同様に、算出した次撮像時の領域別輝度情報82に基づいて、露光条件決定部11が領域別の露光条件を決定することで、現撮像と次撮像とで画像がずれる場合でも、白飛びや黒つぶれのない撮像が可能となる。
(露光条件処理フロー)
図10は、次撮像の露光条件を決定する処理の流れを説明するフローチャートである。
まず、S1において、ネットワークカメラ1は、撮像を行う。
続くS2において、領域別輝度情報生成部20は、領域別輝度情報を生成する。
S3において、CPU17は、次撮像時に、パン・チルト・ズーム制御があるか否かを判定する。パン・チルト・ズーム制御がある場合は、CPU17は、制御情報を移動情報算出部12に供給する。パン・チルト・ズーム制御がない場合は、CPU17は、S6に進む。
図10は、次撮像の露光条件を決定する処理の流れを説明するフローチャートである。
まず、S1において、ネットワークカメラ1は、撮像を行う。
続くS2において、領域別輝度情報生成部20は、領域別輝度情報を生成する。
S3において、CPU17は、次撮像時に、パン・チルト・ズーム制御があるか否かを判定する。パン・チルト・ズーム制御がある場合は、CPU17は、制御情報を移動情報算出部12に供給する。パン・チルト・ズーム制御がない場合は、CPU17は、S6に進む。
S4において、移動情報算出部12は、CPU17からの制御情報と、保持している現撮像時の設定情報とから、取得済み撮像画像と次撮像時の撮像画像との間の移動量と方向の情報(移動情報)を算出し、露光条件決定部11に供給する。
S5において、露光条件決定部11は、移動情報算出部12からの移動情報と、領域別輝度情報記憶部21からの取得済み撮像画像の領域別輝度情報とを取得し、領域別輝度情報シフトさせることで、次撮像時の領域別輝度情報を算出する。
S6において、露光条件決定部11は、算出した次撮像時の領域別輝度情報と、図8に示す露光条件を決定するテーブルから、次撮像時の領域別の露光条件を決定する。また、S3において、パン・チルト・ズーム制御がない場合は、露光条件決定部11は、領域別輝度情報記憶部21からの取得済み撮像画像の領域別輝度情報を次撮像時の領域別輝度情報とし、次撮像時の領域別の露光条件を決定する。
S7において、露光条件決定部11は、決定した露光条件をセンサ制御部22に設定し、次撮像を行わせる。
S5において、露光条件決定部11は、移動情報算出部12からの移動情報と、領域別輝度情報記憶部21からの取得済み撮像画像の領域別輝度情報とを取得し、領域別輝度情報シフトさせることで、次撮像時の領域別輝度情報を算出する。
S6において、露光条件決定部11は、算出した次撮像時の領域別輝度情報と、図8に示す露光条件を決定するテーブルから、次撮像時の領域別の露光条件を決定する。また、S3において、パン・チルト・ズーム制御がない場合は、露光条件決定部11は、領域別輝度情報記憶部21からの取得済み撮像画像の領域別輝度情報を次撮像時の領域別輝度情報とし、次撮像時の領域別の露光条件を決定する。
S7において、露光条件決定部11は、決定した露光条件をセンサ制御部22に設定し、次撮像を行わせる。
以上説明したように、本実施形態では、移動情報に基づいて、現撮像時の輝度情報をシフトし、次撮像時の露光条件を決定することで、現撮像時と次撮像時とで画像がずれる場合でも、白飛びや黒つぶれのない撮像が可能となる。すなわち、本実施形態では、パン・チルト・ズーム等の撮像条件を変更した際においても、撮像センサの領域別に露光条件を適切に制御することができる。また、本実施形態では、現撮像時の領域別輝度情報に基づいて、次撮像時の露光条件を決定しているため、予備撮影を行って露光条件を決定する場合に比較して、露光条件を決めるための遅延を短縮することができる。
(実施形態2)
実施形態1では、移動情報に基づいてシフトした輝度情報に基づいて、露光条件を決定していたが、実施形態2では、シフト前の領域別輝度情報から求めた領域別の露光条件を、移動情報に基づいて、シフトすることで、次撮像時の露光条件を決定する。
本実施形態の撮像システムは、実施形態1の撮像システムと同様に構成されている。
実施形態1では、移動情報に基づいてシフトした輝度情報に基づいて、露光条件を決定していたが、実施形態2では、シフト前の領域別輝度情報から求めた領域別の露光条件を、移動情報に基づいて、シフトすることで、次撮像時の露光条件を決定する。
本実施形態の撮像システムは、実施形態1の撮像システムと同様に構成されている。
以下、図11のフローチャートを用いて、実施形態2のネットワークカメラ1が次撮像の露光条件を決定する処理を説明する。
まず、S21において、ネットワークカメラ1は、撮像を行う。
続くS22において、領域別輝度情報生成部20は、領域別輝度情報を生成する。
S23において、露光条件決定部11は、領域別輝度情報記憶部21からの取得済み撮像画像の領域別輝度情報を取得し、上述の図8に示す露光条件を決定するテーブルから、領域別の露光条件を決定する。
まず、S21において、ネットワークカメラ1は、撮像を行う。
続くS22において、領域別輝度情報生成部20は、領域別輝度情報を生成する。
S23において、露光条件決定部11は、領域別輝度情報記憶部21からの取得済み撮像画像の領域別輝度情報を取得し、上述の図8に示す露光条件を決定するテーブルから、領域別の露光条件を決定する。
S24において、CPU17は、次撮像時に、パン・チルト・ズーム制御があるか否かを判定する。パン・チルト・ズーム制御がある場合は、CPU17は、制御情報を移動情報算出部12に送信する。パン・チルト・ズーム制御がない場合は、CPU17は、S27に移行する。
S25において、移動情報算出部12は、CPU17からの制御情報と、保持している現撮像時の設定情報とから、取得済み撮像画像と次撮像時の撮像画像との間の移動量と方向の情報(移動情報)を算出し、露光条件決定部11に供給する。
S25において、移動情報算出部12は、CPU17からの制御情報と、保持している現撮像時の設定情報とから、取得済み撮像画像と次撮像時の撮像画像との間の移動量と方向の情報(移動情報)を算出し、露光条件決定部11に供給する。
S26において、露光条件決定部11は、移動情報算出部12からの移動情報に基づいて、S23で決定した領域別の露光条件をシフトさせることで、次撮像時の露光条件を決定する。なお、露光条件をシフトさせる際に、露光条件が不足している領域に関しては、露光条件決定部11は、周辺の領域の露光条件から当該不足している領域の露光条件を補完する。
S27において、露光条件決定部11は、決定した露光条件をセンサ制御部22に設定し、次撮像を行う。また、S24で、パン・チルト・ズーム制御がない場合は、露光条件決定部11は、S23で算出(決定)した露光条件を次撮像時の露光条件として設定し、次撮像を行う。
S27において、露光条件決定部11は、決定した露光条件をセンサ制御部22に設定し、次撮像を行う。また、S24で、パン・チルト・ズーム制御がない場合は、露光条件決定部11は、S23で算出(決定)した露光条件を次撮像時の露光条件として設定し、次撮像を行う。
以上説明したように、本実施形態では、撮像システムに対する制御情報と、現撮像時の領域別の輝度情報から、本撮像時の画像のずれを考慮した領域別の露光条件を決定することができる。このため、現撮像時と次撮像時とで画像がずれる場合でも、白飛びや黒つぶれのない撮像が可能となる。すなわち、本実施形態では、パン・チルト・ズーム時においても、撮像センサの領域別に露光条件を適切に制御することができる。
(変形例)
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。例えば、上述の実施形態では、動画像を撮像する場合を例に説明したが、静止画の予備撮影を行った後に、本撮影を行う場合についても、本発明を適用することができる。あるいは、ネットワークカメラ1の各機能を複数の装置に分散して実装してもよい。また、本発明は、例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。例えば、上述の実施形態では、動画像を撮像する場合を例に説明したが、静止画の予備撮影を行った後に、本撮影を行う場合についても、本発明を適用することができる。あるいは、ネットワークカメラ1の各機能を複数の装置に分散して実装してもよい。また、本発明は、例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。ASICはApplication Specific Integrated Circuitの略である。
1…ネットワークカメラ、2…ネットワーク、3…端末装置、11…露光条件決定部、12…移動情報算出部、12A…設定値保持部、13…光学系、14…撮像センサ、17…CPU、18…領域別補正部、19…現像処理部、20…領域別輝度情報生成部、21…領域別輝度情報記憶部、22…センサ制御部、23…光学系制御部、24…雲台制御部
Claims (10)
- 所定の領域別に露光条件を設定可能な撮像手段と、
前記撮像手段が撮像した撮像画像の前記所定の領域別の輝度情報を抽出する抽出手段と、
次の撮像時の撮像画像の変化情報を算出する算出手段と、
前記算出手段が算出した前記変化情報と、前記抽出手段が抽出した前記所定の領域別の輝度情報に基づいて、次の撮像時の前記撮像手段の前記所定の領域別の露光条件を決定する決定手段と、
を備えることを特徴とする撮像装置。 - 前記算出手段は、
前記次の撮像時の撮像画像の移動量と方向の情報を算出する、
ことを特徴とする請求項1記載の撮像装置。 - 前記算出手段は、
前記撮像手段の撮像条件に基づいて、前記次の撮像時の撮像画像の変化情報を算出する、
ことを特徴とする請求項1または請求項2記載の撮像装置。 - 前記算出手段は、
少なくとも、前記撮像手段のパン、チルト、ズームのいずれか1つの情報に基づいて、前記変化情報を算出することを特徴とする、
ことを特徴とする請求項3記載の撮像装置。 - 前記決定手段は、
前記算出手段からの前記変化情報に基づいて、前記抽出手段が抽出した前記所定の領域別の輝度情報をシフトさせた輝度情報を算出し、
前記シフトさせた前記輝度情報に基づいて、前記次の撮像時の前記撮像手段の前記所定の領域別の露光条件を決定する、
ことを特徴とする請求項1から請求項4のいずれか1項に記載の撮像装置。 - 前記決定手段は、
前記シフトの結果、前記輝度情報がない領域の輝度情報を、当該領域の周辺の領域の輝度情報から補完し、
前記補完した前記輝度情報に基づいて、前記次の撮像時の前記撮像手段の前記所定の領域別の露光条件を決定する、
ことを特徴とする請求項5記載の撮像装置。 - 前記決定手段は、
前記抽出手段が抽出した輝度情報に基づいて、前記所定の領域別の露光条件を算出し、
前記算出した前記所定の領域別の露光条件を前記算出手段が算出した変化情報に基づいてシフトさせた露光条件を算出し、
前記シフトさせた前記露光条件に基づいて、前記次の撮像時の前記撮像手段の前記所定の領域別の露光条件を決定する、
ことを特徴とする請求項1から請求項4のいずれか1項に記載の撮像装置。 - 前記決定手段は、
前記シフトの結果、前記露光条件がない領域の露光条件を、当該領域の周辺の領域の露光条件から補完し、
前記補完した前記露光条件に基づいて、前記次の撮像時の前記撮像手段の前記所定の領域別の露光条件を決定する、
ことを特徴とする請求項7記載の撮像装置。 - 所定の領域別に露光条件を設定して撮像を行うステップと、
前記撮像による撮像画像の前記所定の領域別の輝度情報を抽出するステップと、
次の撮像時の撮像画像の変化情報を算出するステップと、
前記算出した前記変化情報と、前記抽出した前記所定の領域別の輝度情報に基づいて、次の撮像時の前記所定の領域別の露光条件を決定するステップと、
を有することを特徴とする撮像方法。 - コンピュータを、請求項1から請求項8のいずれか1項に記載の撮像装置の各手段として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020206642A JP2022093912A (ja) | 2020-12-14 | 2020-12-14 | 撮像装置、撮像方法およびプログラム |
EP21209052.6A EP4013035A1 (en) | 2020-12-14 | 2021-11-18 | Image capturing apparatus, control method, and program |
US17/542,234 US11800234B2 (en) | 2020-12-14 | 2021-12-03 | Image capturing apparatus, control method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020206642A JP2022093912A (ja) | 2020-12-14 | 2020-12-14 | 撮像装置、撮像方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022093912A true JP2022093912A (ja) | 2022-06-24 |
Family
ID=78695603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020206642A Pending JP2022093912A (ja) | 2020-12-14 | 2020-12-14 | 撮像装置、撮像方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11800234B2 (ja) |
EP (1) | EP4013035A1 (ja) |
JP (1) | JP2022093912A (ja) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4451707B2 (ja) * | 2004-04-30 | 2010-04-14 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
JP5219934B2 (ja) | 2009-06-17 | 2013-06-26 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP2012235332A (ja) * | 2011-05-02 | 2012-11-29 | Sony Corp | 撮像装置、および撮像装置制御方法、並びにプログラム |
JP5825851B2 (ja) * | 2011-05-27 | 2015-12-02 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP5738080B2 (ja) * | 2011-06-09 | 2015-06-17 | キヤノン株式会社 | 撮像装置及びその制御方法 |
CN104137529B (zh) * | 2012-02-13 | 2018-05-01 | 诺基亚技术有限公司 | 用于数字摄影的焦点、曝光和白平衡的增强型自动调节的方法和装置 |
US9832378B2 (en) * | 2013-06-06 | 2017-11-28 | Apple Inc. | Exposure mapping and dynamic thresholding for blending of multiple images using floating exposure |
JP6661493B2 (ja) * | 2016-08-30 | 2020-03-11 | キヤノン株式会社 | 像ブレ制御装置、撮像装置および制御方法 |
US20180241927A1 (en) * | 2017-02-23 | 2018-08-23 | Motorola Mobility Llc | Exposure Metering Based On Depth Map |
-
2020
- 2020-12-14 JP JP2020206642A patent/JP2022093912A/ja active Pending
-
2021
- 2021-11-18 EP EP21209052.6A patent/EP4013035A1/en active Pending
- 2021-12-03 US US17/542,234 patent/US11800234B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20220191377A1 (en) | 2022-06-16 |
US11800234B2 (en) | 2023-10-24 |
EP4013035A1 (en) | 2022-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6223028B2 (ja) | 撮像装置、制御方法及びそのプログラム | |
US9241109B2 (en) | Image capturing apparatus, control method, and recording medium for moving image generation | |
JP4985251B2 (ja) | 撮像装置、フォーカス制御方法、フォーカス制御プログラム | |
JP2008288975A (ja) | 撮像装置、撮像方法および撮像プログラム | |
JP2011040902A (ja) | 撮像装置及び撮像装置用制御装置 | |
JP2014123915A (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP2010178164A (ja) | 撮像装置 | |
JP4360318B2 (ja) | デジタルスチルカメラ | |
US11190704B2 (en) | Imaging apparatus and control method for performing live view display of a tracked object | |
JP6758950B2 (ja) | 撮像装置、その制御方法とプログラム | |
WO2014188647A1 (ja) | 画像調整装置、画像調整方法、画像調整プログラムおよび撮像装置 | |
JP2006287814A (ja) | 撮像装置及び動きベクトル決定方法 | |
JP2015019397A (ja) | 画像合成装置、画像合成方法、及びプログラム | |
JP4844220B2 (ja) | 露出補正装置、撮影装置、露出値設定装置、露出補正値算出方法および制御プログラム | |
JP2009017427A (ja) | 撮像装置 | |
JP2007306436A (ja) | 撮像装置 | |
JP7442989B2 (ja) | 撮像装置、該撮像装置の制御方法、及びプログラム | |
JP2019080261A (ja) | 撮像装置 | |
JP2015050733A (ja) | 露出制御装置、その制御方法、および制御プログラム、並びに撮像装置 | |
JP2018181070A (ja) | 画像処理装置および画像処理方法 | |
JP6294607B2 (ja) | 撮像装置およびその制御方法、プログラム並びに記憶媒体 | |
JP2022093912A (ja) | 撮像装置、撮像方法およびプログラム | |
JP2022083147A (ja) | 撮像装置、撮像方法、プログラムおよび記録媒体 | |
JP6351255B2 (ja) | 撮像装置及び撮像方法、プログラム、記憶媒体 | |
JP2006157342A (ja) | カメラモジュール |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230824 |