JP2014225868A - 撮像装置 - Google Patents

Abstract

【課題】 部分読出し可能な撮像装置において、部分読み出し実施時に出力画像データのブランク領域を少なくすると共に部分読み出しした領域がわかりやすい画像信号を生成する。【解決手段】 イメージセンサの撮像領域内に複数の関心領域を設定するための信号を入力する関心領域設定入力手段と、出力される画像信号で形成される画像において前記関心領域それぞれの形状を維持するように、前記イメージセンサから画像信号を読み出す読出し領域を設定する読出し領域設定手段と、前記イメージセンサからの前記読出し領域の画素信号の読み出しを制御するセンサ読出し制御手段と、前記センサ読出し制御手段によって読み出された画素信号に基づき、出力する画像信号を生成する出力信号生成手段と、を有することを特徴とする。【選択図】 図１

Description

本発明は、撮像装置に関するものであり、特に部分読み出し機能を有する撮像装置に関するものである。

工場の製造ラインで人間の検査者が行う目視検査の代わりに、画像入力用の撮像装置が用いられてきている。これらの撮像装置は、マシンビジョンカメラとも呼ばれ、各種部品や製品をコンピュータやデジタル入出力機器とともに検査するために用いられている。近年では、検査精度を向上させるために、１０００万以上の画素を有する撮像装置が使用されるようになってきた。

このような撮像装置で動画を撮像し、画素配列の全画素から信号を読み出す場合、画素数が多いため、画素配列から信号を読み出すための時間が長くなる。これにより、１秒あたりの撮像枚数が減少する。また、撮像した映像を外部に出力するデータ量が多くなるため、フレームレートが低下する。このように、マシンビジョンカメラでは、撮像する画素数に伴って、読み出し時間の合計時間が変化するとともに、映像として撮像装置外部に送出する画素数に伴って、フレームレートが変化することとなる。

そこで、特許文献１では、画素配列の一部を関心領域として指定し、該関心領域のみを読み出しする、所謂間引き読み出しを行うことにより、画素配列から信号を読み出すための時間を短縮する技術が提案されている。この技術によれば、１秒あたりの撮像枚数が増加する。また、撮像した映像を外部に出力するデータ量少なくなり、フレームレートが増加する。このような間引き読み出しの設定は動的に行うことができ、読み出した画素数や外部に出力するデータ量にしたがって、フレームレートが変化する。

また、特許文献２では、関心領域が複数存在する場合には、それぞれの画素配列の間引き読み出しを行っている。この技術によれば、指定された関心領域のみが読みだされることになり、ユーザが所望する画像を効率的に取得することができる。

特開平９−２１４８３６号公報 特開２００９−２７５５９号公報

しかしながら、上述の従来技術では関心領域の箇所が１か所の開示となっている。また、関心領域の指定可能領域を任意とした場合、複数の関心領域が設定された場合は、その関心領域が結合された映像が外部に出力されることとなる。特に、関心領域が複数あり、かつ、各関心領域の水平、垂直位置が異なる場合は、出力映像中の関心領域の連続性が損なわれることがあった。この出力映像はシリアル化されたデータとなるため、特許文献１および２で開示されている従来技術では、ユーザは各関心領域の連続性が損なわれた状態の映像を受信することとなる。そのため、画像データ受信後に画像復元することが困難となる。

そこで、本発明の目的は、部分読み出し可能な撮像装置において、部分読み出し領域が指定された時に出力画像データのブランク領域をなるべく少なくすると共に、部分読み出しした領域がわかりやすい画像信号を生成することである。

本発明の撮像装置は、イメージセンサの撮像領域内に複数の関心領域を設定するための信号を入力する関心領域設定入力手段と、出力される画像信号で形成される画像において前記関心領域それぞれの形状を維持するように、前記イメージセンサから画像信号を読み出す読出し領域を設定する読出し領域設定手段と、前記イメージセンサからの前記読出し領域の画素信号の読み出しを制御するセンサ読出し制御手段と、前記センサ読出し制御手段によって読み出された画素信号に基づき、出力する画像信号を生成する出力信号生成手段と、を有することを特徴とする。

本発明によれば、部分読み出し可能な撮像装置において、出力画像データのブランク領域をなるべく少なくして撮像装置から外部へ送信するデータレートの低下を最小限に抑え、複数の関心領域から読み出す画像の形状を維持して部分読み出しした領域がわかりやすい画像信号を生成することができる。

実施例１における構成図 実施例１におけるイメージセンサ 実施例１における撮影構図 実施例１における撮影映像 実施例１における関心領域の設定例 センサの蓄積制御と読み出し制御の説明図 実施例１におけるタイミングチャート（ラインＶ１０１） 実施例１におけるタイミングチャート（ラインＶ２０１） 実施例１におけるタイミングチャート（ラインＶ４０１） 実施例１におけるタイミングチャート（ラインＶ９０１） 実施例１における読み出しデータ 実施例１におけるタイミングチャート（水平方向読み飛ばし） 実施例１におけるカメラリンク規格への適用例 実施例１におけるタイミングチャート（カメラリンク適用例） 関心領域の読み出しデータの位置関係が整合していない例 実施例２における構成図 実施例２におけるタイミングチャート（ラインＶ１０１） 実施例２におけるタイミングチャート（ラインＶ２０１） 実施例２におけるタイミングチャート（ラインＶ３０１） 実施例２におけるタイミングチャート（ラインＶ５０１） 実施例２におけるタイミングチャート（ラインＶ６０１） 実施例２におけるタイミングチャート（ラインＶ８０１） 実施例２における画像信号 実施例３における構成図 実施例３におけるフローチャート 実施例３における画像信号 実施例３における関心領域 実施例３における画像信号２ 実施例３における画像信号３

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態にかかわる構成図である。

図１に本発明の第１の実施例の撮像装置の構成図を示す。
撮像装置１００は、イメージセンサ１０１を含む撮像系を有し、センサ駆動制御部１０２およびＡＤ部１０３、アドレス変換部１０４によって撮像処理を行う。レンズ２００は、撮像装置１００の外部に構成され、レンズ２００を通った光束は、撮像装置１００のイメージセンサ１０１に結像する。レンズ２００は、不図示の絞り群、フォーカスレンズ群などの要素から構成される。また、レンズ２００に構成されるズームレンズ群は、焦点距離が可変でも固定でも良い。

センサ駆動制御部１０２は、イメージセンサ１０１の電荷の蓄積動作や読み出し動作の制御を行う。センサ駆動制御部１０２によってイメージセンサ１０１の撮像処理を行うと、イメージセンサ１０１からは撮像信号が出力され、ＡＤ部１０３にてＡＤ変換される。アドレス変換部（読出し領域設定手段）１０４は、後述する選択部１０６からの設定データに基づき、センサ駆動制御部（センサ読出し制御手段）１０２がイメージセンサ１０１に対して蓄積制御と読み出し制御を行う対象画素となるアドレスを算出する。イメージセンサ１０１から全画素から読出さず読み出す画素を選択して読み出す、所謂、間引き読み出し、を行う場合は、イメージセンサ１０１の全画素のうち、読み出しを行う画素を対象画素としてアドレス出力し、読み出し対象とならないアドレスはスキップする。画像信号加工部１０５は、ＡＤ部１０３からの撮像信号データと、アドレス変換部１０４からの信号を入力し、撮像信号データに対し、フレーム同期信号や垂直同期信号、水平同期信号などを付与する。

切り出し位置設定部（関心領域設定入力手段）３００は、撮像装置１００の外部から、イメージセンサの撮像領域内で必要な画像データを含む領域（以後、「関心領域」と記載する）の座標データを入力し設定する。たとえば、ＰＣなどから通信手段を用いて切り出し位置設定部３００に切り出し位置を設定する。

切り出し位置設定保持部１０７は、切り出し位置設定部３００で入力された設定データを保持する。読み出し設定保持部１０８は、イメージセンサ１０１の全画素を蓄積、読み出しするための範囲設定値を保持する。

選択部１０６は、切り出し位置設定保持部１０７と読み出し設定保持部１０８からの設定データを入力し、いずれかの設定データを選択する。選択部１０６で選択された設定データは、アドレス変換部１０４へ渡される。

画像信号合成部１０９は、画像信号加工部１０５から出力される撮像信号データにおいて、選択部１０６で選択された読み出し領域と、撮像信号の各関心領域の座標の整合性が取れるように、必要な画像データを加え、出力画像信号を生成する。画像信号出力部１１０は、画像信号合成部１０９で生成された出力画像信号を撮像装置１００の外部へ出力する。

画像信号加工部１０５と画像信号合成部１０９で出力信号生成手段を構成し、イメージセンサ１０１から読み出された画素データ、及び、読出し領域、関心領域、上記の各種同期信号等の情報に基づき、撮像装置１００の外部へ出力する出力画像信号を生成する。

図２に、イメージセンサ１０１の構造を示す。図２のＩｍｇは撮像素子を示す。図２中の１１から３３までは、Ｉｍｇに構成される画素配列の一部を示している。Ｉｍｇ中の各画素には、Ｖ１、Ｖ２、Ｖ３、…およびＨ１、Ｈ２、Ｈ３を通じて、垂直回路１０１１および水平回路１０１２に接続されている。垂直回路１０１１へは、Ｉｍｇ中の各ラインの蓄積開始対象および蓄積終了対象を選択するためのＶｓｔｓｅｌおよびＶｅｎｄｓｅｌ、蓄積開始および終了のトリガを与えるためのＶｓｔおよびＶｅｎｄが接続されている。ＶｓｔｓｅｌおよびＶｅｎｄｓｅｌにトリガが入力されると、イメージセンサ１０１の参照するライン（Ｖ１、Ｖ２、Ｖ３、・・・）をインクリメントする。また、同様にして、水平回路１０１２には、Ｖｅｎｄｓｅｌで選択されたラインの水平方向の画素を選択するためのＨｓｅｌと、読み出しパルスを与えるためのＨｐｌｓが接続されている。ＨｓｅｌやＨｐｌｓもＶｓｔｓｅｌやＶｅｎｄｓｅｌと同様に、トリガを与えることで、Ｖｓｔｓｅｌで選択中のライン（Ｖ１、Ｖ２、Ｖ３、・・・）内の参照画素をインクリメントしていく。これらＶｓｔｓｅｌ、Ｖｅｎｄｓｅｌ、Ｖｓｔ、Ｖｅｎｄ、Ｈｓｅｌ、Ｈｐｌｓは、図１のセンサ駆動制御部１０２から入力される制御信号である。Ｈｐｌｓに読み出し制御のためのパルスが入力されると、図２のアンプ１０１３を通じて、ｏｕｔから撮像信号がアナログ出力される。この撮像信号は、図１のＡＤ部１０３に接続されている。ＡＤ部１０３は、Ｈｐｌｓに同期して、ＡＤ部１０３に入力された撮像信号をＡＤ変換する。

図３は、本発明の撮像装置１００を用いて、撮影対象物Ｔａ、Ｔｂ、Ｔｃ、Ｔｄを撮影している構図を示している。図３の点線部分は、撮像装置１００の画角を示している。このときの撮影映像を図４に示す。本実施例では、図３および図４で示す撮影映像において、撮影対象物Ｔａ、Ｔｂ、Ｔｃ、Ｔｄを含めた４つのエリアを関心領域として間引き読み出しを行う例について説明する。関心領域の数として４つの場合を例示するが、本発明は複数の関心領域を設定する場合に同様に適用できる。なお、本実施例では、撮影映像の画素数が横１０００×縦１０００を説明のために例示するが、撮影映像の画素数についてはこれに限定されない。以後、説明を容易にするため、撮影映像内の位置を直交ＸＹ座標（Ｘ、Ｙ）で示し、図中、左右（水平）方向を右方向にＸ方向、上下（垂直）方向を下方向にＹ方向とする。本実施例では、撮影映像の左上の座標を（１，１）とし、右下の座標を（１０００，１０００）として説明する。

本実施例では、図５に示すように、Ｔａ、Ｔｂ、Ｔｃ、Ｔｄの４つの撮影対象物に対し、図１の切り出し位置設定部３００によって、４つの関心領域（ＩｍｇＡ、ＩｍｇＢ，ＩｍｇＣ、ＩｍｇＤ）が設定された場合の部分読み出し方法（選択的読み出し方法）について説明する。

関心領域ＩｍｇＡ、ＩｍｇＢ、ＩｍｇＣ、ＩｍｇＤは、それぞれ撮影対象物Ｔａ、Ｔｂ、Ｔｃ、Ｔｄを含む領域であり、それぞれの領域の左上と右下の座標を与えることで、関心領域を定義する。図５では、関心領域ＩｍｇＡは、左上（１０１，１０１）、右下（４００，３００）で囲まれた矩形領域である。関心領域ＩｍｇＢは、左上（７０１，２０１）、右下（８００，４００）で囲まれた矩形領域である。関心領域ＩｍｇＣは、左上（２０１，６０１）、右下（５００，９００）で囲まれた矩形領域である。関心領域ＩｍｇＤは、左上（６０１，５０１）、右下（９００，８００）で囲まれた矩形領域である。切り出し位置設定部３００は、不図示のコンピュータや設定手段などから設定しても良く、例えば、撮像装置に接続されたマウス、ジョイスティック、その他の入力手段を含む設定手段によって構成しても良い。

本実施例では、図５のように設定された関心領域については画素データの読み出しを行い、関心領域以外の部分に関しては、読み飛ばしを行うことで、画素データの読み出し時間を短縮する。ただし、関心領域以外のすべての領域で読み飛ばしを行い、最小限まで読み出し画素を最適化してしまうと、各関心領域の画像信号として整合性が取れなくなってしまう。つまり、出力された水平方向１ライン毎の画像信号を１枚の画像として再構成した時に、もとの個々の関心領域の形状が維持されない画像が形成されてしまう可能性がある。以後の記載において、「関心領域の画像信号の整合が取れない」とは、出力された画像信号に基づき再構成された画像において、関心領域の形状が変化してしまうことを指すものとする。そこで、本実施例では、各関心領域の画像信号の整合性を取りつつ、読み飛ばし可能な画素はなるべく読み飛ばすことで、フレームレートを向上させる例を示す。具体的には、本実施例では、関心領域ＩｍｇＡからＩｍｇＤそれぞれの形状を維持し、関心領域ＩｍｇＡからＩｍｇＤ以外の領域での読み出し量を削減する例について説明する。

図５の説明に戻る。図１の切り出し位置設定部３００によって、図５に示すような関心領域ＩｍｇＡ、ＩｍｇＢ、ＩｍｇＣ、ＩｍｇＤの座標がそれぞれ設定されると、切り出し位置設定保持部１０７が、各関心領域の設定座標を保持する。

選択部１０６は、切り出し位置設定保持部１０７の設定値か、読み出し設定保持部１０８の設定値かのいずれかを選択する。切り出し位置設定部３００により関心領域が設定されていない場合は、選択部１０６は読み出し設定保持部１０８で保持されている設定値が選択され、全画素読み出しモードとして動作する。また、切り出し位置設定部３００にて関心領域が設定されている場合は、選択部１０６は切り出し位置設定保持部１０７で保持されている関心領域の設定値が選択され、部分読み出しモードとして動作する。ここでは、図５に示したように、切り出し位置設定部３００によって、関心領域ＩｍｇＡからＩｍｇＤが設定されているため、選択部１０６は切り出し位置設定保持部１０７での設定値を選択し部分読み出しモードとして動作する。

次に、アドレス変換部１０４は、選択部１０６で選択された関心領域の情報をもとに、イメージセンサ１０１の蓄積および読み出しを行うためのアドレス情報であるラインや画素ナンバーをセンサ駆動制御部１０２に対して出力する。アドレス変換部１０４は、関心領域ＩｍｇＡからＩｍｇＤの全座標から、Ｘ座標、Ｙ座標の最小値の点（Ｘｍｉｎ，Ｙｍｉｎ）、Ｘ座標、Ｙ座標の最大値の点（Ｘｍａｘ、Ｙｍａｘ）を求める。すなわち、図５より、以下のように算出できる。
（Ｘｍｉｎ、Ｙｍｉｎ）＝（１０１、１０１）
（Ｘｍａｘ、Ｙｍａｘ）＝（９００、９００）

また、水平方向および垂直方向において、関心領域が存在しない部分を間引くアドレスを算出する。すなわち、Ｘ座標値がいずれの関心領域のＸ座標の範囲にも含まれない領域とＹ座標値がいずれの関心領域のＹ座標の範囲にも含まれない領域、を間引くアドレスとして算出する。上記の範囲から、全画面（１，１）〜（１０００，１０００）において、間引き可能な水平ライン（垂直方向（Ｙ方向）位置）は、ラインＶ１からＶ１００、ラインＶ４０１からＶ５００、ラインＶ９０１からＶ１０００である。さらに、間引き可能な画素（水平方向（Ｘ方向）位置）は、１画素目から１００画素目、５０１画素目から６００画素目、９０１画素目から１０００画素目である。これらのラインおよび水平方向の画素（アドレス）は間引いて読み出す（読み飛ばして他の画素を読み出す）こととする。

図１のアドレス変換部１０４が行うアドレス発行処理は、センサ駆動制御部１０２のイメージセンサ１０１に対するライン制御と同期して行われる。センサ駆動制御部１０２によるライン制御が完了すると、次のラインを制御するためのアドレス情報を更新して出力する。

ここで、図１のセンサ駆動制御部１０２によるイメージセンサ１０１の制御方法の詳細について説明する。

関心領域の情報に基づき、アドレス変換部１０４はイメージセンサ１０１の蓄積および読み出しを行うためのラインや画素ナンバーがセンサ駆動制御部１０２に出力する。センサ駆動制御部１０２は、アドレス変換部１０４から入力された制御対象ラインと画素のアドレス情報から、イメージセンサ１０１およびＡＤ部１０３を制御する。センサ駆動制御部１０２によるイメージセンサ１０１の第１のラインＶ１０１（以下、ラインＶ１０１と記載する）の蓄積制御と読み出し制御の例を示したタイミングチャートを図６に示す。図２で示したように、Ｖｓｔｓｅｌ、Ｖｅｎｄｓｅｌ、Ｖｓｔ、Ｖｅｎｄ、Ｈｓｅｌ、Ｈｐｌｓの各制御線が、センサ駆動制御部１０２からイメージセンサ１０１の垂直回路１０１１および水平回路１０１２に接続されている。

図５に示した関心領域が設定されているので、図６のＴ１において、Ｖｓｔｓｅｌをハイ（以下、Ｈｉとする）とすることで、垂直回路１０１１はイメージセンサ１０１のラインＶ１０１を蓄積開始対象として選択する。なお、Ｙｍｉｎが１０１であるので、ラインＶ１からＶ１００までは画素データ読出し対象外の画素ラインである。従って、Ｔ１の前に、Ｖｓｔｓｅｌにはセンサ駆動制御部１０２から必要回数のパルスが出力されて、既に対象ライン番号がインクリメントされており、ラインＶ１０１が選択されるものとする。

次に、Ｔ２において、ＶｓｔをＨｉにすることで、垂直回路１０１１はイメージセンサ１０１のラインＶ１０１の蓄積動作を開始する。Ｔ３においては、ＶｅｎｄｓｅｌをＨｉにすることで、垂直回路１０１１はイメージセンサ１０１のラインＶ１０１を蓄積終了対象として選択する。次に、Ｔ４において、ＶｅｎｄをＨｉにすることで垂直回路１０１１はラインＶ１０１の蓄積動作を終了する。このとき、ラインＶ１０１で蓄積された電荷は、図２のＨ１、Ｈ２、Ｈ３・・・を通じて、水平回路１０１２へ出力される。次にＴ５において、ＨｓｅｌをＨｉにし、ラインＶ１０１の１０１画素目を選択する。また、同時にＨｐｌｓへパルスを入力する。水平回路１０１２からは、Ｈｐｌｓの立ち上がりエッジに同期して、ラインＶ１０１の１０１画素目からの画素信号がアンプ１０１３を通じて出力される。このとき、センサ駆動制御部１０２から出力されるＨｐｌｓは、図２のＡＤ部１０３へ入力されている。Ｈｐｌｓにも同期して、イメージセンサ１０１から出力されたアナログ画素信号は、ＡＤ部１０３において１画素ずつＡＤ変換される。

図６のＤｅｎはＨｉの期間において、画素データが読み出され、出力されていることを示している。図６の例では、また、ＤａｒｅａのＨｉ信号によって、Ｔ５以降に、ラインＶ１０１の１０１画素目から４００画素目までの画素信号が読み出されていることを示している。そして、Ｈｐｌｓが９００画素目（関心領域ＩｍｇＤの右端に対応）までのクロック出力を完了させると、ラインＶ１０１の読み出しが完了したこととなる。図６に示した一連の処理を順次繰り返すことにより、各ラインの蓄積と読み出しを行うことができる。

また、図６で示した画素への電荷蓄積と画素データの読み出しを応用し、蓄積と読み出しを所謂パイプライン処理的に行っても良い。

図７に、関心領域ＩｍｇＡのラインＶ１０１の蓄積が完了した後、ラインＶ１０２を蓄積させつつ、並行してラインＶ１０１の画素データの読み出し制御を行うタイミングチャートを示す。図７のタイミングチャートでは、ラインＶ１０１の蓄積がすでに開始された状態以後が記載されている。ラインＶ１０１の蓄積開始は、前述の図６で示したようにＶｓｔｓｅｌをＨｉにしてラインＶ１０１を選択した後、ＶｓｔをＨｉとすることにより選択されたラインＶ１０１に対する蓄積が開始される。図７のＴ１において、ＶｓｔｓｅｌをＨｉとすることで、イメージセンサ１０１を蓄積開始対象として選択する。前述のように、Ｔ１以前にラインＶ１０１の蓄積をすでに開始している。Ｔ１においては、ＶｅｎｄｓｅｌをＨｉにすることで、すでに蓄積が開始されていたイメージセンサ１０１のラインＶ１０１を蓄積終了対象として選択する。次に、Ｔ２において、ＶｅｎｄをＨｉにすることで選択されていたラインＶ１０１の蓄積動作を終了する。このとき、ラインＶ１０１で蓄積された電荷は、図２のＨ１、Ｈ２、Ｈ３・・・を通じて、水平回路１０１２へ転送される。次に、Ｔ３において、ＶｓｔをＨｉにすることでラインＶ１０２の蓄積を開始する。次にＴ４において、ＨｓｅｌをＨｉにし、ラインＶ１０１の１０１画素目を選択する。また、同時にＨｐｌｓへのパルス入力に同期して、水平回路１０１２からはラインＶ１０１の１０１画素目からの画素信号がアンプ１０１３を通じて出力される。このとき、センサ駆動制御部１０２から出力されるＨｐｌｓは、図２のＡＤ部１０３へ入力されている。Ｈｐｌｓに同期して、イメージセンサ１０１から出力されたアナログ画素信号は、ＡＤ部１０３において１画素ずつＡＤ変換される。図７のＤｅｎはＨｉの期間において、画素データが読み出され、出力されていることを示しており、ＤａｒｅａがＨｉのとき、Ｄｅｎで示す出力データのうち、関心領域に該当する画素が出力されていることを示している。図７の例では、Ｔ４において、ラインＶ１０１の１０１画素目から４００画素目までは関心領域ＩｍｇＡの第１ラインの画素信号が読み出されていることを示している。図７において、Ｈｐｌｓが９００画素目までのクロック出力を完了させると、次にＴ５からＴ７において、前述と同様にイメージセンサ１０１のラインＶ１０２の蓄積を終了させ、ラインＶ１０３を蓄積開始し、ラインＶ１０２の読み出しを開始する。Ｔ８以降は、同様に関心領域ＩｍｇＡの第２ラインＶ１０２の読み出しを行う。図７で示した方法で、ラインＶ２００までの読み出しを行ったあと、ラインＶ２０１以降は、関心領域ＩｍｇＡおよびＩｍｇＢという２つの関心領域からの読み出しとなる。

イメージセンサ１０１のラインＶ２０１以降の読み出し方法を示したタイミングチャートを図８に示す。蓄積および読み出し方法は図７に示した方法に類似する。図８に示す例においても、ラインＶ２０１の蓄積は既に開始されている状態からのタイムチャートを示す。まずＴ１１において、ＶｓｔｓｅｌをＨｉとすることで、ラインＶ２０２を蓄積対象として選択するとともに、ＶｅｎｄｓｅｌをＨｉとしてラインＶ２０１を蓄積終了対象として選択する。次にＴ１２において、ＶｅｎｄをＨｉとすることで選択されたラインＶ２０１の蓄積を終了させる。そして、ラインＶ２０１に蓄積された電荷が図２の水平回路１０１２へ転送される。次に、Ｔ１３においてＶｓｔをＨｉとすることで、ラインＶ２０２の蓄積を開始する。Ｔ１４において、ＨｓｅｌをＨｉとすることで、ラインＶ２０１の１画素目から１００画素目を読み飛ばし、１０１画素目から画素信号を読み出すように選択している。また、Ｈｐｌｓへのクロック入力を開始することで、Ｈｐｌｓに同期した撮像信号がイメージセンサ１０１（アンプ１０１３）から出力される。このとき、Ｄｅｎの出力は図７と同様である。Ｄａｒｅａの出力では、１０１画素目から４００画素目までにおいてはＩｍｇＡが読みだされ、７０１画素目から８００画素目まではＩｍｇＢに該当する画素信号が読み出されている。図８では上記と同様の蓄積および読み出しをラインＶ３００まで繰り返し実行する。ラインＶ３００までの読み出しが完了すると、Ｔ１５において、ラインＶ３０２の蓄積開始およびラインＶ３０１の蓄積終了および読み出しを行っている。図８のＴ１８以降、水平回路から読みだされるデータのうち、７０１画素目から８００画素目は、関心領域ＩｍｇＢに該当する画素信号となる。同様にして、関心領域ＩｍｇＢに該当する画素信号を読み出していく。ラインＶ４００までの読み出しが完了すると、前述の通り、ラインＶ４０１から間引き可能なラインが対象となる。

イメージセンサ１０１のラインＶ４００からＶ５００の蓄積および読み出し方法を示したタイミングチャートを図９に示す。図９では、図７や図８と同様に、ラインＶ４００の蓄積を終了させて画素信号を読み出し、ラインＶ５０１の蓄積を開始している。図９では、ラインＶ４００の画素信号の読み出しと並行して、Ｖｅｎｄｓｅｌには複数のパルスを入力することで、蓄積終了対象のラインをインクリメントさせ、ラインＶ４０１からＶ５００まで進める。これにより、ラインＶ４０１からラインＶ５００までの所謂読み飛ばしを行っている。Ｖｅｎｄｓｅｌに入力するパルスの周波数は、Ｈｐｌｓとは異なる周波数のパルスを入力して良く、ラインＶ４００の読み出しが終わるまでに、ＶｅｎｄｓｅｌのインクリメントがＶ５００まで進めることができれば良い。ラインＶ４００の読み出しが終わると、上述のラインＶ５０１の蓄積を終了させ、ラインＶ５０２の蓄積を開始している。図９のようにＶ方向の読み飛ばしを行うことで、ラインＶ４０１からラインＶ５００までの蓄積、読み出し時間を削減することができる。

ラインＶ４００の画素データを画素番号１０１から順に読み出している間の、画素番号７０１から８００に対応するタイミングではＤａｒｅａはＨｉであり、関心領域（ＩｍｇＢ）の画素データであることを示す。

以降、図７から図９と同様にして，図５のラインＶ５０１からラインＶ９００までの蓄積制御および読み出しを行っていく。そして、ラインＶ９０１からは読み飛ばし対象ラインとなる。ラインＶ９０１以降の読み飛ばしの方法を示したタイミングチャートを図１０に示す。図１０のタイミングチャートでは、図９と同様に、ラインＶ９００の蓄積を終了させて画素信号を読み出し、ラインＶ１０１の蓄積を開始している。図１０では、図９と同様に、ラインＶ９００の画素信号１０１から９００を読み出している間に、Ｖｅｎｄｓｅｌには複数のパルスを入力する。そして、蓄積終了対象のラインをインクリメントさせ、ラインＶ９０１からラインＶ１０００まで進め、さらにラインＶ１からＶ１００まで進めている。ＶｅｎｄｓｅｌはラインＶ１０００まで選択されたのちは、再びラインＶ１から選択される。これにより、ラインＶ９０１からラインＶ１０００およびラインＶ１からラインＶ１００までの読み飛ばしを行っている。

ラインＶ９００の画素データを画素信号１０１から順に読み出している間の、画素番号２０１から５００に対応するタイミングではＤａｒｅａはＨｉであり、関心領域（ＩｍｇＣ）の画素データであることを示す。

以上、図７から図１０までに示したタイミングチャートにしたがって、図１のセンサ駆動制御部１０２はイメージセンサ１０１の蓄積および読み出し制御を行い、画素信号をＡＤ部１０３を通じて出力させている。ＡＤ部１０３からデジタル化された画素信号が得られ、画像信号加工部１０５に入力される。画像信号加工部１０５では、イメージセンサ１０１から順次読みだされる画素信号に対し、アドレス変換部１０４からの画素数情報を入力し、得られる画素信号のフレーム同期信号および垂直同期信号等を画素信号に付与する。その後、画像信号合成部１０９へ画素信号を出力する。

図１の画像信号合成部１０９では、図７から図１０までに示したタイミングチャートのＤａｒｅａを参照する。ＤａｒｅａがＨｉの場合、関心領域の画像信号であるとして、バイパス出力する。また、Ｄａｒｅａがロー（以下、Ｌｏ）の場合、関心領域以外の画像信号であるとして、ダミーデータとしてここではブラックレベルの画像信号に置き換えて出力する。

図１の画像信号合成部１０９から出力された画像信号は、画像信号出力部１１０から撮像装置１００の外部へ出力される。以上、画像信号出力部１１０から出力される画像信号は図１１となる。前述の通り、ラインＶ１からＶ１００およびラインＶ４０１からラインＶ５００、ラインＶ９０１からラインＶ１０００までを読み飛ばしした。そのため、図１１に示すように、Ｘ座標値がいずれの関心領域のＸ座標の最小値未満及び最大値より大きい領域、及びＹ座標値がいずれの関心領域のＹ座標の範囲にも含まれない領域、が間引かれた（除外された）画像信号が生成されることとなる。このときの画像サイズは横８００×縦７００となり、全画素読み出した場合の縦１０００×横１０００に比べ、６００００画素分の読み出し時間を削減している。それと同時に、関心領域ＩｍｇＡからＩｍｇＤまでの位置関係の整合性を維持（個々の関心領域の形状を維持）している。

このように、本実施例では、各関心領域をひとまとまりととらえ、関心領域の全座標から、（Ｘｍｉｎ，Ｙｍｉｎ）、（Ｘｍａｘ、Ｙｍａｘ）を求める。さらに、水平方向および垂直方向において、関心領域が存在しない部分を間引くアドレスの算出を行うことによって、関心領域間の位置関係の整合性を維持しつつ、読み出し時間を削減することができる。

また、本実施例では、図７から図１０の通り、水平方向におけるＩｍｇＡとＩｍｇＢの間の領域や、ＩｍｇＣとＩｍｇＤの間の領域はダミーデータを挿入して出力する例を示した。一方で、図１２のタイミングチャートに示すように、５０１画素目から６００画素目までのＨｐｌｓを高速化することによって、事実上の読み飛ばしを行うことができる。水平方向の５０１画素目から６００画素目は、関心領域ＩｍｇＡからＩｍｇＤにおいて、水平方向ではどの関心領域も属さない領域となる。Ｈｐｌｓを高速化した場合、イメージセンサ１０１から読み出される画素信号と、ＡＤ部１０３によるＡＤ変換のタイミング整合が取れなくなる恐れがある。しかしながら、そもそも関心対象以外の領域では、データの整合性が取れなかったとしても、ユーザにとっては問題ない場合もある。

図１２に示したタイミングチャートを用いて読み出した画像信号を図１３に示す。このように、前述のラインＶ１からＶ１００、ラインＶ４０１からＶ５００、ラインＶ９０１からＶ１０００までの読み飛ばしに加え、水平方向において５０１画素目から６００画素目を間引くことが可能となる。すなわち、水平（Ｘ）方向および垂直（Ｙ）方向において、関心領域が存在しない部分を演算し、Ｘ座標値がどの関心領域のＸ座標の範囲にも含まれない領域とＹ座標値がどの関心領域のＹ座標の範囲にも含まれない領域、を除外することが可能となる。

また、マシンビジョンにおいてしばしば用いられるカメラリンクと呼ばれる規格がある。カメラリンク規格に対応したフレームグラバと呼ばれるインタフェースボード用意することにより、汎用ＰＣで画像信号を受信することができる。カメラリンク規格では、画像信号を出力したとしても、ＤＶＡＬと呼ばれる信号をＬｏにすることで、出力した画像信号を無効にすることができる。例えば、図１４に示すタイミングチャートのように、全ラインの読み出し時、５０１画素目から６００画素目においてＤＶＡＬをＬｏにする。これにより、フレームグラバを介して得られる画像信号は、前述の図１３に示す画像信号を得ることができる。このようにして得られた画像信号は、関心領域以外の不要なデータが削減されている上に、ユーザの指定した関心領域の位置関係の整合性が取れており（個々の関心領域の形状が維持されており）、ユーザにとって扱いやすい画像信号を得ることができる。

ここで、指定された関心領域のみを読み出した場合に得られる画像信号を図１５に示す。図１５では、関心領域ＩｍｇＢやＩｍｇＤの領域における水平方向の画像信号が削減されているため、関心領域の位置関係の整合性が破たんしてしまっている（個々の関心領域の形状は維持できていない）。本発明においては、図１１、１３に示すような、関心領域それぞれの形状、向きが維持された状態（出力画像信号を映像として再現したときに関心領域それぞれはもとの形状で表示される状態）で画像信号が出力される。また、関心領域間の相対的な大きさの関係が維持された状態で画像信号が出力される。

読出し領域設定手段は、所定の直交ＸＹ座標系における前記関心領域それぞれの座標から、Ｘ座標の最小値および最大値と、Ｙ座標の最小値および最大値とで囲まれる領域を前記読出し領域として設定する。

読出し領域設定手段は、前記関心領域それぞれの座標に基づき、Ｘ座標値がいずれの前記関心領域のＸ座標の範囲にも含まれない領域とＹ座標値がいずれの前記関心領域のＹ座標の範囲にも含まれない領域、を除いた領域を読出し領域として設定する。

以上、複数の関心領域に対して、本発明を適用することにより、関心領域間の位置整合性を取りつつ、読み出し画像信号を削減することで、ユーザが所望する画像を効率的に取得できることを示した。

実施例１では、各関心領域をひとまとまりととらえ、関心領域の全座標から、（Ｘｍｉｎ，Ｙｍｉｎ）、（Ｘｍａｘ、Ｙｍａｘ）を求めて、水平・垂直方向で読み出し画素を削減することによって、関心領域間の位置整合性を取る例について述べた。本実施例では、実施例１の出力結果である図１３よりも、さらに不要データを削減する例について示す。具体的には、図１３に示した画像信号においては、関心領域およびその他のデータから、さらに画像信号データ量を削減させる例について示す。

本実施例における撮像装置の構成図を図１６に示す。本実施例の撮像装置は、アドレス変換部１２０を除き、図１に示した実施例１の構成と同様であるため、説明を省略する。アドレス変換部１２０は、実施例１のアドレス変換部１０４とは異なる方法で、センサ駆動制御部１０２がイメージセンサ１０１を蓄積制御と読み出し制御を行う対象画素となるアドレスを算出する。イメージセンサ１０１の構造は、実施例１の図２と同様の構造であるため、説明を省略する。

本実施例における撮影構図は、実施例１の図３および図４で示したものと同じであるため、説明を省略する。なお、本実施例において、撮影映像の画素数も実施例１と同様に、横１０００×縦１０００としている。

また、本実施例における関心領域は、実施例１の図５に示したものと同様である。本実施例では、図５のように設定された各関心領域を選択的に読み出し、関心領域以外の部分に関しては、読み飛ばしを行うことで、読み出し時間を減少させる。

本実施例では、アドレス変換部１２０によって、読みだすアドレス範囲および読み飛ばすアドレス範囲が算出される。実施例１の図１３に示した画像信号では、灰色に塗りつぶされた領域にはダミーデータが埋め込まれており、ユーザにとっては必要ない情報である。本実施例では、図１３に示した画像信号よりも、水平方向における読み飛ばし範囲を最適化し、画像信号のデータ量の削減およびフレームレートの向上を図る。

アドレス変換部１２０が行う処理について説明する。アドレス変換部１２０は、選択部１０６で選択された関心領域をもとに、イメージセンサ１０１の蓄積および読み出しを行うためのアドレス情報であるラインや画素ナンバーをセンサ駆動制御部１０２に対して出力する。アドレス変換部１２０は、関心領域ＩｍｇＡからＩｍｇＤの全座標から、関心領域が存在しないラインを抽出する。図５より、関心領域が存在しないラインは、ラインＶ１からラインＶ１００および、ラインＶ４０１からラインＶ５００、ラインＶ９０１からラインＶ１０００である。この結果を全ラインであるラインＶ１からラインＶ１０００の集合に対して、関心領域が存在しない領域の論理否定を取ると、全ラインのうち、以下、関心領域の２つの集合が得られる。
集合１：ラインＶ１０１からラインＶ４００
集合２：ラインＶ５０１からラインＶ９００

上記の２つの集合に対し、それぞれ水平方向の読み飛ばしの最適化を行うと、各集合において、関心領域間の読み飛ばし可能な範囲は以下の通りとなる。
集合１：ＩｍｇＡとＩｍｇＢ間の４０１画素目から７００画素目
集合２：ＩｍｇＣとＩｍｇＤ間の５０１画素目から６００画素目

上記の集合１と集合２のラインにおける水平方向の画素（アドレス）は間引いて読みだすこととなる。実施例１と同様に図１６のアドレス変換部１２０が行うアドレス発行処理は、センサ駆動制御部１０２のイメージセンサ１０１に対するライン制御と同期して行われる。センサ駆動制御部１０２によるライン制御が完了すると、次のラインを制御するためのアドレス情報を更新して発行する。

以下に、図１６のアドレス変換部１２０とセンサ駆動制御部１０２によるイメージセンサ１０１の制御方法の詳細について説明する。

センサ駆動制御部１０２は、アドレス変換部１２０から入力された制御対象ラインと画素のアドレス情報から、イメージセンサ１０１およびＡＤ部１０３を制御する。センサ駆動制御部１０２によるイメージセンサ１０１の蓄積制御と読み出し制御を示したタイミングチャートを図１７に示す。実施例１の図７と同様に、図１７のＴ１において、ＶｓｔｓｅｌをＨｉとすることで、イメージセンサ１０１のラインＶ１０２を蓄積開始対象として選択する。さらに、Ｔ１においては、ＶｅｎｄｓｅｌをＨｉにすることで、イメージセンサ１０１のラインＶ１０１を蓄積終了対象として選択する。次に、Ｔ２において、ＶｅｎｄをＨｉにすることでラインＶ１０１の蓄積動作を終了する。このとき、ラインＶ１０１で蓄積された電荷は、図２のＨ１、Ｈ２、Ｈ３・・・を通じて、水平回路１０１２へ転送される。Ｔ３において、ＶｓｔをＨｉにすることでラインＶ１０２の蓄積を開始する。Ｔ４において、ＨｓｅｌをＨｉにし、ラインＶ１０１の１０１画素目を選択する。同時にＨｐｌｓへのクロック入力に同期して、水平回路１０１２からはラインＶ１０１の１０１画素目からの画素信号がアンプ１０１３を通じて出力される。図１７において、Ｈｐｌｓが関心領域ＩｍｇＡの右端である４００画素目までのクロック出力を完了させると、ラインＶ１０１の読み出し処理を終了する。同様の方法で、ラインＶ１０２からラインＶ２００までの蓄積や読み出し動作を行う。このように、ラインＶ１０１からラインＶ２００までは、関心領域ＩｍｇＡの読み出しを行えれば良く、水平方向４０１画素目以降は読み出しを行っていない。この点は実施例１とは異なっており、４０１画素目以降の読み出しを行わないことで、読み出し時間の削減とフレームレート向上に寄与している。

イメージセンサ１０１のラインＶ２０１からラインＶ３００までの蓄積および読み出し方法を示したタイミングチャートを図１８に示す。図１８では、図８と同様に、ラインＶ２０１の蓄積を終了させたのちに、ラインＶ２０２の蓄積を開始している。その後、ラインＶ２０１の読み出し処理を行っている。ラインＶ２０１の読み出し処理では、Ｈｓｅｌにより１０１画素目を選択し、Ｈｐｌｓにより、１０１画素目から８００画素目までを読み出している。図１８のＤａｒｅａに示す通り、１０１画素目から４００画素目までは、関心領域ＩｍｇＡを読み出し、７０１画素目から８００画素目までは関心領域ＩｍｇＢを読み出している。４０１画素目から７００画素目までは、実施例１の図１２で示した読み飛ばしの方法と同様に、Ｈｐｌｓの周波数を上げることで、不要な領域の読み出し時間を削減している。ラインＶ２０２以降、ラインＶ３００まで、図１８と同様の蓄積および読み出しを行う。このように、ラインＶ２０１からラインＶ３００までは、関心領域ＩｍｇＡとＩｍｇＢの読み出しを行えれば良く、水平方向８０１画素目以降は読み出しを行っていない。この点において実施例１とは異なっており、８０１画素目以降の読み出しを行わないことで、読み出し時間の削減とフレームレート向上に寄与している。

イメージセンサ１０１のラインＶ３０１からラインＶ４００までの蓄積および読み出し方法を示したタイミングチャートを図１９に示す。図１９では図１８の読み出し方法と類似しているが、Ｄａｒｅａが異なる。ラインＶ３０１読み出し時において、水平方向の１０１画素目から４００画素目のタイミングでは、ＤａｒｅａはＬｏとなる。また、ラインＶ３０１の水平方向の７０１画素目から８００画素目までは関心領域ＩｍｇＢが存在するためＨｉとなる。また、図１８と同様に、４０１画素目から７００画素目において、Ｈｐｌｓの周波数を上げることで、不要な領域の読み出し時間を削減している。

このように、図１７から図１９に示したような蓄積と読み出し動作を行うことで、上述の集合１のラインＶ１０１からラインＶ４００において、ＩｍｇＡおよびＩｍｇＢの読み出しを行っている。

イメージセンサ１０１のラインＶ４０１からラインＶ５００までの蓄積および読み出し方法については、実施例１の図９に示したタイミングチャートと同様であるため説明を省略する。ラインＶ４０１からラインＶ５００までは、Ｖ方向の読み飛ばしを行うことで、読み出し時間を削減することができる。

イメージセンサ１０１のラインＶ５０１からラインＶ９００は、上述の集合２に該当する関心領域の蓄積、読み出し制御となる。集合２の読み出し方法のタイミングチャートを図２０から図２２に示す。

図２０では、ラインＶ５０１からラインＶ６００の蓄積および読み出し方法を示したものであり、関心領域ＩｍｇＤを読み出している。図２０に示した方法は、図１９と類似しているため、詳細な説明は省略する。また、図２１では、ラインＶ６０１からラインＶ８００の蓄積および読み出し方法を示したものであり、関心領域ＩｍｇＣおよびＩｍｇＤを読み出している。図２１と図１８と類似しているため、詳細な説明は省略する。図２２では、ラインＶ８０１からラインＶ９００の蓄積および読み出し方法を示したものであり、関心領域ＩｍｇＣを読み出している。図２２は図１７と類似しているため、詳細な説明は省略する。このように、図２０から図２２では、各ラインの読み出しにおいて、水平方向の２０１画素目から読み出しを開始している。これは、集合２のうち、最も左側に位置する関心領域はＩｍｇＣであるため、２００画素目よりも左側に位置する画素は読み出す必要がない。

イメージセンサ１０１のラインＶ９０１からラインＶ１０００までの蓄積および読み出し方法については、実施例１の図１０に示した方法と同様であるため、説明を省略する。

実施例１と同様に、図２の画像信号合成部１０９では、図１７から図２２までに示したタイミングチャートのＤａｒｅａを参照する。そして、ＤａｒｅａがＨｉの場合、関心領域の画像信号であるとして、バイパス出力する。また、ＤａｒｅａがＬｏの場合、関心領域以外の画像信号であるとして、ダミーデータとしてここではブラックレベルの画像信号に置き換えて出力する。

以上、本実施例で示した図１７から図２２に示した方法によって得られる画像信号は、画像信号出力部１１０から撮像装置１００の外部へと出力される。得られる画像信号を図２３に示す。実施例１の図１１や図１３と比較して、読み出し領域を削減でき、データ量の削減およびフレームレートを向上させている。

このように、本実施例では、各関心領域の属さないラインを抽出し、各関心領域を複数のグループにわけることで、ＩｍｇＡとＩｍｇＢおよびＩｍｇＣとＩｍｇＤそれぞれに適した読み出し方法を実施することができる。

実施例２では、いずれの関心領域をも含まないラインを抽出し、各関心領域を含むラインの集合を複数のグループに分け、ＩｍｇＡとＩｍｇＢおよびＩｍｇＣとＩｍｇＤそれぞれに適した読み出し方法を実施することで、読み出し時間を削減する例を示した。すなわち、実施例２では、水平方向における関心領域間の読み出しデータを削減する最適例について示した。そこで、本実施例では、垂直方向における関心領域間のデータを削減する方法について示す。

本実施例における撮像装置の構成図を図２４に示す。本実施例の撮像装置は、実施例２で示した構成に加え、メモリ（画素信号記憶手段）４００が追加され、画像信号合成部５００が構成されている。メモリ４００は、画像信号加工部１０５の出力である画像信号を記憶し、画像信号合成部５００に対し出力を行う。画像信号合成部５００は、選択部１０６で選択している関心領域に基づいて、メモリ４００で記憶されている画像信号から、不要なデータ領域を除いた画像信号を合成する。メモリ４００と画像信号合成部５００以外の構成要素については、実施例２の図１６と同様であるため、説明を省略する。

本実施例における撮影構図は、実施例１の図３および図４で示したものと同じであるため、説明を省略する。なお、本実施例において、撮影映像の画素数も実施例１と同様に、横１０００×縦１０００としている。

また、本実施例における関心領域は、実施例１の図５に示したものと同様である。本実施例では、図５のように設定された各関心領域については部分読み出しを行い、関心領域以外の部分に関しては、読み飛ばしを行うことで、読み出し時間を減少させる。

図２４に示したアドレス変換部１２０およびセンサ駆動制御部１０２、イメージセンサ１０１、ＡＤ部１０３、画像信号加工部１０５が行う処理については、実施例２と同様である。画像信号加工部１０５から出力される画像信号は、実施例２の図２３で示した通りである。メモリ４００は、画像信号加工部１０５から出力される図２３の画像信号データを記憶する。

ここで、図２３の画像信号における、各関心領域の座標について示す。実施例２の図１７から図２２で示したタイミングチャートより、各関心領域の座標は下記の通りとなる。以下の各座標は、左上と右下の座標を示している。これらの座標情報はメモリ４００に記憶されている。
ＩｍｇＡ（ １， １）（３００，２００）
ＩｍｇＢ（３０１，１０１）（４００，３００）
ＩｍｇＣ（ １，４０１）（３００，７００）
ＩｍｇＤ（３０１，３０１）（６００，６００）

画像信号合成部５００は、選択部１０６によって選択されている各関心領域の座標に基づいて、メモリ４００で記憶されている各関心領域の画像信号を再配置する。そして、画像信号出力部１１０を介して、撮像装置１００の外部に画像信号を出力する。

以下、画像信号合成部５００が行う処理について図２５のフローチャートを用いて説明する。画像信号合成部５００は、ステップＳ３１０から順番に処理を実行する。まず、ステップＳ３１０では、選択部１０６で選択されている各関心領域の個数を確認し、全関心領域の処理が完了したかを確認する。ステップＳ３１０が真である場合はステップＳ３４０へ進み、偽である場合はステップＳ３２０に進む。ステップＳ３２０では、関心領域の設定を行う。画像信号合成部５００は、選択部１０６で選択されている関心領域のうち、ひとつの関心領域の座標情報を保持する。例えば、図５で示した関心領域のうち、ＩｍｇＡの座標（１，１）（３００，２００）がメモリ４００で保持されている。次に、ステップＳ３３０にて、関心領域を移動させる。画像信号合成部５００は、現在保持している関心領域の座標情報から、左上に詰めるように移動させる。例えば、ＩｍｇＡでは、左上の座標が（１，１）であることから、移動させる必要はない。また、ＩｍｇＢを例に説明すると、垂直方向に１００移動可能であることから、ＩｍｇＢは（３０１，１）（４００，２００）に移動させることができる。ステップＳ３３０を実行すると、ステップＳ３１０に戻る。ステップＳ３１０、Ｓ３２０、Ｓ３３０を実行した場合、各関心領域の移動後の座標は下記の通りとなる。
ＩｍｇＡ（ １， １）（３００，２００）
ＩｍｇＢ（３０１， １）（４００，２００）
ＩｍｇＣ（ １，２０１）（３００，５００）
ＩｍｇＤ（３０１，２０１）（６００，５００）

図２５の説明に戻る。全関心領域の移動後、ステップＳ３４０では画像信号が出力される。ここで、出力される画像信号を図２６に示す。実施例２で示した図２３と比較し、ダミーデータ出力していた領域が削減されていることがわかる。

このように、メモリ４００と画像信号合成部５００を設けることによって、画像信号加工部１０５では除去しきれなかった不要なデータを削除しつつ、各関心領域の画像の整合性を維持することができる。

また、設定された関心領域間の形状の関係によっては、相互の関心領域間の位置関係を変更して、関心領域の画像データ以外のデータ（ダミーデータ）の量が最も少なくなるように出力画像の構成を演算するようにしてもよい。すなわち、出力する画像データ量が最小となるように（形成される画像の面積が最小となるように）関心領域間の位置関係を変更して出力する画像を構成しても良い。関心領域は、切出し位置設定部３００によりユーザが任意に設定できるので、出力画像データを最小化するように関心領域の位置を変更して出力する際には、元の関心領域との位置関係が不明確になる可能性がある。そのような場合には、画像データの受信側での受信画像に対し関心領域の再配置等の必要な処理を可能とするために、関心領域それぞれの座標やＩＤ等の識別情報を画像データに付与しても良い。

また、実施例１から実施例３では、切り出し位置設定部３００により設定される各関心領域は、図５で示したように、各領域が画面内で独立している条件であった。ユーザによっては、関心領域の一部が重複するような設定条件も考えられる。指定された関心領域の一部が重複している条件において、本実施例の構成を適用した場合、出力する画像信号における関心領域のデータの整合性を維持することができる。

例えば、ユーザの指定した関心領域が図２７で示すような状態の場合について説明する。なお、図２７の斜線部分の領域は、関心領域が重複している領域である。前述と同様の方法でイメージセンサ１０１の蓄積と読み出しを行うと、メモリ４００には画像信号が記憶される。このときの画像信号を図２８に示す。なお、図２８の斜線部分の領域は、関心領域が重複している領域である。図２４の画像信号加工部１０５が画像信号を出力する段階においては、実施例１で述べた通り、イメージセンサ１０１の制御と読み出しが同期している。そこで、メモリ４００に記憶した画像信号を用いて、重複している領域に冗長性を持たせた画像信号を生成することで、データの整合性を取ることとする。

図２８の画像信号における、各関心領域の座標は以下の通りである。これらの座標情報はメモリ４００に記憶されている。
ＩｍｇＡ（ １， １）（３００，２００）
ＩｍｇＢ（３０１，１０１）（４００，３００）
ＩｍｇＣ（ １，４０１）（３００，７００）
ＩｍｇＤ（２０１，３０１）（５００，５００）

上記の座標に基づいて、画像信号合成部５００が前述の図２５のフローチャートを実行すると、各関心領域の移動後の座標は下記の通りとなる。
ＩｍｇＡ（ １， １）（３００，２００）
ＩｍｇＢ（３０１， １）（４００，２００）
ＩｍｇＣ（ １，２０１）（３００，５００）
ＩｍｇＤ（３０１，２０１）（６００，４００）

図２５のフローチャート実行の結果、画像信号合成部５００から出力される画像信号を図２９に示す。なお、図２９の斜線部分は関心領域が重複している領域であり、図２５のフローチャートを実行することによって、関心領域ごとに重複領域を合成している。

このように、実施例３の構成において、かつ指定する関心領域が重複している条件においても、各関心領域の画像の整合性を維持しつつ、読み出しデータを削減し、フレームレートを向上させることができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。また、本稿で述べた実施例を組み合わせて実施しても良い。なお、本発明では、４つの関心領域が設定された例について述べたが、関心領域の数は限定されず、２つ以上の関心領域が設定された場合は、本発明を適用することができる。また、撮影画像に関しては、縦１０００×横１０００の画素数を例に説明したが、画素数はこれに限定されない。

１００ 撮像装置
１０１ イメージセンサ（撮像素子）
１０２ センサ駆動制御部（センサ読出し制御手段）
１０４、１２０ アドレス変換部（読出し領域設定手段）
１０５ 画像信号加工部（出力信号生成手段）
１０９ 画像信号合成部（出力信号生成手段）
３００ 切り出し位置設定部（関心領域設定入力手段）

Claims (6)

1. イメージセンサの撮像領域内に複数の関心領域を設定するための信号を入力する関心領域設定入力手段と、
   出力される画像信号で形成される画像において前記関心領域それぞれの形状を維持するように、前記イメージセンサから画像信号を読み出す読出し領域を設定する読出し領域設定手段と、
   前記イメージセンサからの前記読出し領域の画素信号の読み出しを制御するセンサ読出し制御手段と、
   前記センサ読出し制御手段によって読み出された画素信号に基づき、出力する画像信号を生成する出力信号生成手段と、
   を有することを特徴とする撮像装置。
2. 前記読出し領域設定手段は、所定の直交ＸＹ座標系における前記関心領域それぞれの座標から、Ｘ座標の最小値および最大値と、Ｙ座標の最小値および最大値とで囲まれる領域を前記読出し領域として設定することを特徴とする請求項１に記載の撮像装置。
3. 前記読出し領域設定手段は、前記関心領域それぞれの座標に基づき、Ｘ座標値がいずれの前記関心領域のＸ座標の範囲にも含まれない領域とＹ座標値がいずれの前記関心領域のＹ座標の範囲にも含まれない領域、を除いた領域を読出し領域として設定することを特徴とする請求項２に記載の撮像装置。
4. 前記イメージセンサから読み出された画素信号のうち、前記関心領域の画素信号を記憶する画素信号記憶手段を有し、
   前記出力信号生成手段は、画素信号記憶手段に記憶された画素信号に基づき前記各関心領域の形状が維持されるよう出力画像信号を生成する、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記出力信号生成手段は、画素信号記憶手段に記憶された画素信号に基づき、前記関心領域それぞれの形状が維持され、生成される出力画像信号に基づいて形成される画像の面積が最も小さくなるように出力画像信号を生成する、ことを特徴とする請求項４に記載の撮像装置。
6. 前記出力信号生成手段は、前記画素信号記憶手段に記憶された画素信号に基づき、互いに重複する領域を含む前記関心領域に対応する画像を、前記関心領域ごとに独立した画像で互いに重複しないよう配置された画像とするように画像信号を生成する、ことを特徴とする請求項４に記載の撮像装置。

Images