JP2023067250A - 制御装置、制御方法、プログラム及び記憶媒体 - Google Patents

Abstract

【課題】 画像のぶれを補正しつつ、明暗差の大きい環境でも適正な露出で撮像する。
【解決手段】 撮像面における複数の画素からなる画素領域ごとに露出パラメータを設定可能な撮像部１０１と、撮像部１０１が撮像した画像における第１の画像領域を決定する決定部３０３と、前記第１の画像領域に対応する第１の画素領域の露出パラメータを制御する制御部３０４と、撮像部３０１が撮像した画像から所定の領域の画像を切り出すことで前記被写体の像ぶれを補正する補正部３０２と、前記所定の領域の画像の大きさに基づいて、前記第１の画素領域を拡大する拡大部３０５と、を有する撮像装置。
【選択図】 図１

Description

制御装置、制御方法、プログラム及び記憶媒体に関する。

監視カメラを始めとする撮像装置には、輝度の高い領域と輝度の低い領域とが混在するような明暗差の大きい環境でもそれぞれの領域に対して適正な露出で撮影することが求められている。特許文献１では、複数の画素からなる画素ブロック（露光領域）ごとに露光時間やゲインなどの露光パラメータを設定可能なイメージセンサを備え、輝度の高い領域と輝度の低い領域とに対してそれぞれ適正な露出で撮影する撮像装置が開示されている。

また、屋外に設置された撮像装置には、風の影響等で設置台が揺れることで生じる画像のぶれを補正し、視認性を低下させないことが求められている。特許文献２では、検出された揺れに関する情報に基づいて画像を切り取り、見た目上の揺れを軽減する電子式のぶれ補正技術が開示されている。

特開２０１９－１６１３２９ 特開２０１９－１９３０７０

本発明が解決しようとする課題は、画像のぶれを補正しつつ、明暗差の大きい環境でも適正な露出で撮像することである。

上記課題を解決するために、本発明の一態様に係る撮像装置は、撮像面における複数の画素からなる画素領域ごとに露出パラメータを設定可能な撮像部と、前記撮像部が撮像した画像における第１の画像領域を決定する決定部と、前記第１の画像領域に対応する第１の画素領域の露出パラメータを制御する制御部と、前記撮像部が撮像した画像から所定の領域の画像を切り出すことで前記被写体の像ぶれを補正する補正部と、前記所定の領域の画像の大きさに基づいて、前記第１の画素領域を拡大する拡大部と、を有する。

本発明によれば、被写体のぶれを補正しつつ、明暗差の大きい環境でも適正な露出で撮像することができる。

第１の実施形態に係る撮像システムの構成の一例を示す図。 第１の実施形態に係る撮像装置の装置構成の一例を示す図。 第１の実施形態に係る撮像装置の機能構成の一例を示す図。 第１の実施形態に係る撮像装置の動作の一例を示すフローチャート。 第１の実施形態に係る撮像装置の撮像環境、撮像画像、切り出し範囲及び第１の画素領域の一例を示す図。 第１の実施形態に係る撮像装置の撮像画像、切り出し範囲、第１の画素領域および第２の画素領域の一例を示す図。 第１の実施形態に係る撮像装置の撮像画像、切り出し範囲、拡大後の第１の画素領域および拡大後の第２の画素領域の一例を示す図。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

＜実施形態１＞
（システム構成）
図１は本実施形態に係る撮像システムの構成の一例を示す図である。撮像システム１００は撮像装置１０１、ネットワーク１０２、クライアント装置１０３、表示装置１０４及び入力装置１０５を有する。

撮像装置１０１はクライアント装置１０３とネットワーク１０２を介して通信可能である。撮像装置１０１は被写体を撮像して画像データを生成し、ネットワーク１０２を介してクライアント装置１０３へと画像データを送信する。

クライアント装置１０３には表示装置１０４及び入力装置１０５が接続されており、撮像装置１０１から受信した画像データはクライアント装置１０３を介して表示装置１０４へと出力され、撮像装置１０３が撮像した画像が表示装置１０４の表示部に表示される。また、入力装置１０５はキーボードやマウス等であり、クライアント装置１０３あるいは撮像装置１０１の操作情報を入力するためのインターフェースである。操作情報とは、例えば撮像装置１０１の撮像条件の指示やＰＴＺ（Ｐａｎ Ｔｉｌｔ Ｚｏｏｍ）の操作の指示などを含む。

本実施形態では、クライアント装置１０３、表示装置１０４及び入力装置１０５が別体としているが、タッチパネルディスプレイを有するノートＰＣのようにクライアント装置１０３、表示装置１０４及び入力装置１０５が一体となった構成でもよい。また、ネットワーク１０２を介して接続されている必要はなく、監視カメラ１０１とクライアント装置１０３が直接接続される構成でもよい。さらに言えば、タッチパネルディスプレイを有するコンシューマカメラのように撮像装置１０１、クライアント装置１０３、表示装置１０４及び入力装置１０５の全てが一体となった構成でもよい。

（装置構成）
図２は本実施形態に係る撮像装置の構成の一例を示す図である。撮像装置１０１は、撮像素子２０１、Ａ／Ｄ変換部２０２、画像処理部２０３、エンコーダ２０４、ネットワークＩ／Ｆ２０５、慣性センサ２０６、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０７、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０８及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０９を有する。

撮像光学系２００は被写体からの光を撮像素子２０１の撮像面に集光するレンズであり、例えばズームレンズ、フォーカルレンズ及びぶれ補正レンズ等で構成される。本実施形態において、撮像光学系２００は撮像装置１０１と別体であり、着脱可能に設けられている。一方で、撮像光学系２００と撮像装置１０１とが一体となった構成でもよい。

撮像素子２０１は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等である。撮像素子２０１の撮像面には光電変換素子からなる画素が二次元状に配置され、撮像光学系２００によって撮像面に集光された光を電気信号に変換・増幅して出力する。また、複数の画素（例えば全画素が１２８×１２８の画素）からなる画素領域ごとに露出パラメータを設定可能である。露出パラメータとは、露光時間やゲインなどの露出に関するパラメータである。

Ａ／Ｄ変換部２０２は、撮像素子２０１から出力された電気信号である画像信号をデジタル信号である画像データに変換して出力する。

画像処理部２０３は、Ａ／Ｄ変換部２０２から出力された画像データに対して、デモザイキング処理、ホワイトバランス処理、ガンマ処理などを含む画像処理を行う。画像処理部２０３は撮像素子２０１から各画素領域の露出パラメータに基づいて、各画素領域に対応する画像データのデジタル値を補正することで、画像データの明るさ補正を行う。また、画像処理部２０３は後述する慣性センサ２０６から出力される撮像装置１０１の揺れに関する情報に基づいて、画像を切り出すことによって被写体の像ぶれを補正する処理も行う（一般に、電子式ぶれ補正と呼ぶ）。本実施形態では、慣性センサ２０６から出力される揺れに関する情報に基づいて補正する場合について説明するが、不図示の算出部が複数の画像間から移動ベクトルを算出し、移動ベクトルに基づいて画像を切り出し、被写体の像ぶれを補正してもよい。

エンコーダ２０４は、画像処理部２０５から出力された画像データをＭｏｔｉｏｎ ＪｐｅｇやＨ２６４、Ｈ２６５などのファイルフォーマットに符号化処理して出力する。

ネットワークＩ／Ｆ２０５は、エンコーダ２０４から出力された画像データを、ネットワーク１０２を介してクライアント装置１０３へと送信するインターフェースである。本実施形態では、符号化処理された画像データはクライアント装置１０３へと送信しているが、ＳＤカードのような着脱可能な記憶媒体やＲＯＭ２０６のような記憶部に記憶されてもよい。

慣性センサ２０６は、ジャイロセンサ（角速度センサ）や加速度センサであって、撮像装置１０１に対する揺れを検出し、揺れの大きさや方向を含む揺れに関する情報を出力するセンサである。慣性センサ２０６から出力された揺れに関する情報は画像処理部２０３に必要に応じて出力される。

ＣＰＵ２０７は撮像装置１０１を統括制御する中央処理装置である。

ＲＡＭ２０８はＣＰＵ２０７が処理を実行する際に使用するワークエリアを提供する。またＲＡＭ２０８は、フレームメモリとして機能したり、バッファメモリとして機能したりする。

ＲＯＭ２０９は、ＣＰＵ２０７が撮像装置１０１を制御するためのプログラムなどを記憶する。

（機能説明）
図３は本実施形態に係る撮像装置１０１の機能の構成の一例を示すブロック図である。図３に示す各機能ブロックのうち、ソフトウェアにより実現される機能については、各機能ブロックの機能提供するためのプログラムがＲＯＭ２０９等のメモリに記憶される。そして、そのプログラムをＲＡＭ２０８に読み出してＣＰＵ２０７が実行することにより実現される。ハードウェアにより実現される機能については、例えば、所定のコンパイラを用いることで、各機能ブロックの機能を実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてゲートアレイ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。なお、図３に示した機能ブロックの構成は一例であり、複数の機能ブロックが１つの機能ブロックを構成するようにしてもよいし、いずれかの機能ブロックが複数の機能を行うブロックに分かれてもよい。

撮像装置１０１は撮像部３０１、補正部３０２、決定部３０３、制御部３０４、拡大部３０５及び通信部３０６を有する。

撮像部３０１は、撮像素子２０１、Ａ／Ｄ変換部２０２及び画像処理部２０３で構成され、被写体の像を撮像して画像を生成する。

補正部３０２は、慣性センサ２０６から出力された揺れに関する情報、あるいは不図示の算出部が撮像画像から算出した移動ベクトルを取得し、揺れに関する情報や移動ベクトルの少なく１つに基づいて画像を切り出すことで被写体の像ぶれを補正する。補正部３０２は撮像部３０１が撮像した画像から所定の領域の画像を切り出す処理を行う。所定の領域のサイズは、ユーザまたは設計者によって設定される。所定の領域のサイズは、補正部３０２が揺れの大きさや移動ベクトルに基づいて算出して設定してもよいし、不図示の記憶部に予め記憶された所定の領域のサイズを読み出すことによって設定してもよい。

決定部３０３は、撮像部３０１が撮像した画像における第１の画像領域を決定する。例えばユーザがクライアント装置１０３を介して指定したＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）を第１の画像領域として決定する。また、ユーザ指定する以外にも、不図示の検出部が人体を検出した場合に人体の領域に第１の画像領域として設定するなどの決定方法がある。決定部３０３は複数の画像領域を決定可能である。具体的には、決定部３０３は第１の画像領域と第２の画像領域とを車のナンバープレートとフロントガラスとに決定する。人体の例で言えば、不図示の検出部が人体と顔を検出した場合に、画像における顔の領域と人体の領域とで第１の画像領域と第２の画像領域とを決定する。第１の画像領域（第２の画像領域）の決定方法は上述の例に限定されず所望の領域を決定可能である。また、第１の画像領域とは重畳しない第２の画像領域を決定し得る。

制御部３０４は、撮像部３０１（撮像素子２０１）の撮像面における画素領域ごとに露出パラメータを制御する。具体的には各画素領域から出力される画像の輝度や画像の動き情報にもとづいて、所定の目標露出となるように露出パラメータを算出して制御する。決定部３０３によって第１の画像領域（第２の画像領域）が決定されている場合には、制御部３０４は第１の画像領域（第２の画像領域）に対応する撮像面上の第１の画素領域（第２の画素領域）の露出パラメータを制御する。

拡大部３０５は、補正部３０２が切り出す所定の領域の画像の大きさを取得し、所定領域の画像の大きさに基づいて、第１画素領域（第２の領域）を拡大する。より具体的な拡大方法については後述する動作説明で説明する。

通信部３０６は、ネットワーク１０２を介してクライアント装置１０３との通信を統括的に制御する。

（動作説明）
以下、図４、図５、図６及び図７を参照して、本実施形態に係る撮像装置の画素領域の拡大動作について説明する。図４は、本実施形態に係る撮像装置の動作の一例を示すフローチャートである。このフローチャートの動作は、ＣＰＵ２０７がＲＡＭ２０８やＲＯＭ２０９に格納されたプログラムを読み込み、実行することで動作を開始する。

ステップＳ４００では、拡大部３０５が、所定の領域の画像の大きさを取得する。前述したように、所定の領域の画像の大きさは、ユーザや設計者が設定するか、あるいは補正部３０２が揺れに関する情報や移動ベクトルの大きさに基づいて算出して設定する。本実施形態では、ＲＯＭ２０９などに記憶された大きさを読みこむことを前提とする。

ステップＳ４０１では、画角内において領域別に露光時間を設定しているか否かを判定する。換言すれば、撮像面における画素領域毎に設定された露出パラメータが異なっているかを判定する。全ての画素領域で一様に露出パラメータが設定されている場合は、従来技術同様に電子式ぶれ補正を行うため、ステップ４０３へと進む。この判定は不図示の判定部が行う。

ステップＳ４０２では、ステップＳ４００で取得した所定の領域の画像の大きさに基づいて、第１の画素領域を拡大する。図５は、本実施形態に係る撮像装置の撮像環境と撮像画像と所定の領域と第１の画素領域とを示す図である。取り付け部５０１に撮像装置１０１が設置されている。図５（ａ）は１フレーム目、図５（ｂ）は２フレーム目、図５（ｃ）は３フレーム目をそれぞれ示している。ここで、具体的な例として、２Ｋの撮像画像５０２に対して、切り出し画像（所定の領域の画像）５０４を補正部３０２が切り出す場合を考える。この時、撮像画像５０２は１９２０×１０８０の大きさで、切り出し画像５０４の大きさは１５３０×８６０となる。従って、撮像画像５０２の水平方向に３９０画素、垂直方向に２２０画素分の揺れであれば、揺れに関する情報に基づいて補正部３０２が切り出すことで、被写体を一定位置に保つ（像ぶれを減らす）ように補正できる。なお、第１の画素領域５０３は拡大部３０５による拡大前の領域を示している。ステップＳ４０２では、撮像画像５０２と切り出し画像５０４の差である水平方向に３９０画素、垂直方向に２２０画素の分だけ、第１の画素領域５０３を拡大する。５０５は拡大部３０５によって拡大された第１の画素領域を示している。

ただし、画素領域を切出し画像の大きさに応じて拡大する方法に限らず、ある固定量もしくは固定割合で拡大してもよい。実際の撮像方向の変動量を測定し、その変動量からどれくらい画素領域を拡大するかを算出する方法であってもよいものとする。

ステップＳ４０３では、撮像部３０１が被写体の像を撮像し、画像データを出力する。

ステップＳ４０４では、補正部３０２が揺れに関する情報を慣性センサ２０６から取得する。なお、不図示の算出部が撮像画像から算出した移動ベクトルを取得してもよい。

ステップＳ４０５は、補正部３０２が、取得された揺れに関する情報（あるいは移動ベクトル）の大きさや方向に基づいて、被写体の像ぶれを補正するように画像を切り出す処理を行う。図５（ｂ）では、取り付け部５０１が揺れたことによって撮像画像５０２の画角が変わっている。それに応じて、切り出し画像５０４の切り出し位置が変わっている。図５（ｃ）は揺れの方向が変わった場合の図を示しているが、図４が示すフローチャートの処理は変わらない。

ステップＳ４０６では、電子式ぶれ補正による撮影を終了するか否かを判定し、終了する場合は動作を終了する。終了しない場合は、ステップＳ４０３へと戻り、撮影を続ける。本実施形態では、電子式ぶれ補正による撮影中に切り出し画像の大きさを変更しない場合について説明した。途中で切り出し画像の大きさを変更する場合には、ステップＳ４００に戻り、再度切り出し画像の大きさを取得する動作から始めるように動作する。

本実施形態における撮像装置によれば、図５（ｂ）または図５（ｃ）のように、電子式ぶれ補正によって画像の切り出し範囲に応じて、第１の画素領域の大きさを拡大している。拡大しない場合、撮像装置１０１の揺れによって第１の画素領域で適正な露出で撮像されていた被写体が、第１の画素領域から外れてしまい、適正な露出で撮像できない可能性がある。以上の撮像装置の構成によって、像ぶれを抑制しつつ、拡大前の第１の画素領域で撮像される被写体については適正な露出で撮像することが可能となる。

更に、第１の画素領域の変更処理について、図６、図７を用いて説明する。

図６は、決定部３０３によって第１の画像領域と第２の画像領域とが重畳しないように決定されている。第１の画像領域に対応する第１の画素領域５０３は車の前方部を、第２の画像領域に対応する第２の画素領域６０１は車内を撮像するように設定されている。第１の画素領域５０３と第２の画素領域６０１は隣接しているため、図５で示したように、画素領域を拡大すると、設定された画素領域同士が重複してしまう。このような場合の処理の一例を、図７に示す。

図７（ａ）は、初めのフレーム画像で、図５と同様に、第１の画素領域５０３に対してのみ、拡大した第１の画素領域５０５を設定したときの図である。一方、図７（ｂ）は、次のフレーム画像で、第２の画素領域６０１に対してのみ、拡大した第１の画素領域７０１を設定したときの図である。

このように、拡大対象とする画素領域が隣接する場合（第１の画素領域と第２の画素領域とが隣接する場合）、フレーム毎に拡大対象とする画素領域を切り替えて拡大する。撮像データはそれぞれ別の映像ファイルとして記録したり、異なるストリームで配信したりして、拡大対象とする画素領域が重複することで被写体を適正露光時間で撮像できなくなることを避けることができる。

このように、領域別に露光時間を設定する撮像範囲が複数かつ隣接して存在する場合は、図５で示した方法に限らず、隣接する方向に対して撮像範囲の拡大を制限する方法でもよいものとする。例えば、第１の画素領域と第２の画素領域とが水平方向（第１の方向）に隣接する場合には、第１の画素領域と第２の画素領域とを水平方向には拡大せずに垂直方向（第２方向）に拡大する。また、第１の画素領域と第２の画素領域とが垂直方向に隣接する場合には、第１の画素領域と第２の画素領域とを垂直方向には拡大せずに水平方向に拡大する。その場合は、フレーム画像毎に対象とする被写体を切り替える必要はない。

＜その他の実施形態＞
本発明は、上述の実施形態１の１以上の機能を実現するプログラムを読み出し実行する処理によって実現可能である。このプログラムは、ネットワークまたは記憶媒体を介してシステム又は装置に供給され、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサによって読み出され、実行される。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 撮像装置
３０１ 撮像部
３０２ 補正部
３０３ 決定部
３０４ 制御部
３０５ 拡大部
３０６ 通信部

Claims (12)

1. 撮像面における複数の画素からなる画素領域ごとに露出パラメータを設定可能な撮像部と、
   前記撮像部が撮像した画像における第１の画像領域を決定する決定部と、
   前記第１の画像領域に対応する第１の画素領域の露出パラメータを制御する制御部と、
   前記撮像部が撮像した画像から所定の領域の画像を切り出すことで前記被写体の像ぶれを補正する補正部と、
   前記所定の領域の画像の大きさに基づいて、前記第１の画素領域を拡大する拡大部と、
   を有する撮像装置。
2. 前記拡大部は、前記画像の大きさと前記所定の領域の画像の大きさとの差に基づいて、前記第１の画素領域を拡大することを特徴とする請求項１に記載の撮像装置。
3. 前記拡大部は、前記所定の領域の画像の第１方向の大きさに基づいて、前記第１の画素領域と前記第２の画素領域とを前記第１方向に拡大することを特徴とする請求項１または２に記載の撮像装置。
4. 前記決定部は、前記画像における第１の画像領域とは重畳しない第２の画像領域を決定し、
   前記制御部は、前記第２の画像領域に対応する第２の画素領域の露出パラメータを制御し、
   前記拡大部は、前記第１の画素領域と前記第２の画素領域とが前記第１の方向に隣接する場合には、前記第１の画素領域と前記第２の画素領域とを前記第１の方向には拡大せずに前記第２方向に拡大し、前記第１の画素領域と前記第２の画素領域とが前記第２の方向に隣接する場合には、前記第１の画素領域と前記第２の画素領域とを前記第２の方向には拡大せずに前記第１方向に拡大することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記拡大部は、前記第１の画素領域と前記第２の画素領域とが隣接している場合は、フレーム毎に拡大対象となる画素領域を切り替えて拡大することを特徴とする請求項４に記載の撮像装置。
6. 撮像面における複数の画素からなる画素領域ごとに露出パラメータを設定可能な撮像工程と、
   前記撮像工程で撮像した画像における第１の画像領域を決定する決定工程と、
   前記第１の画像領域に対応する第１の画素領域の露出パラメータを制御する制御工程と、
   前記撮像工程で撮像した画像から所定の領域の画像を切り出すことで前記被写体の像ぶれを補正する補正工程と、
   前記所定の領域の画像の大きさに基づいて、前記第１の画素領域を拡大する拡大工程と、
   を有する撮像装置の制御方法。
7. 前記拡大工程では、前記画像の大きさと前記所定の領域の画像の大きさとの差に基づいて、前記第１の画素領域を拡大することを特徴とする請求項６に記載の撮像装置の制御方法。
8. 前記拡大工程は、前記所定の領域の画像の第１方向の大きさに基づいて、前記第１の画素領域と前記第２の画素領域とを前記第１方向に拡大することを特徴とする請求項６または７に記載の撮像装置の制御方法。
9. 前記決定工程では、前記画像における第１の画像領域とは重畳しない第２の画像領域を決定し、
   前記制御工程では、前記第２の画像領域に対応する第２の画素領域の露出パラメータを制御し、
   前記拡大工程は、前記第１の画素領域と前記第２の画素領域とが前記第１の方向に隣接する場合には、前記第１の画素領域と前記第２の画素領域とを前記第１の方向には拡大せずに前記第２方向に拡大し、前記第１の画素領域と前記第２の画素領域とが前記第２の方向に隣接する場合には、前記第１の画素領域と前記第２の画素領域とを前記第２の方向には拡大せずに前記第１方向に拡大することを特徴とする請求項６から８のいずれか１項に記載の撮像装置の制御方法。
10. 前記拡大工程では、前記第１の画素領域と前記第２の画素領域とが隣接している場合は、フレーム毎に拡大対象となる画素領域を切り替えて拡大することを特徴とする請求項９に記載の撮像装置の制御方法。
11. 請求項６から１０のいずれか１項に記載の撮像装置の制御方法をコンピュータに実行させるためのプログラム。
12. 請求項１１に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images