JP2018026600A

JP2018026600A - 撮影装置

Info

Publication number: JP2018026600A
Application number: JP2016155140A
Authority: JP
Inventors: 俊輔宮嶋; Shunsuke Miyajima
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-08-08
Filing date: 2016-08-08
Publication date: 2018-02-15

Abstract

【課題】フレームレートの低下を抑えつつ、現在切出している領域を示すことが可能な撮像装置を提供する。【解決手段】切出し領域と記憶された切出し領域に基づいて切出し領域の変更を判定する切出し領域変更判定手段１０５、切出し領域に基づいて画素信号を読み出す第一の読出し方法と所定の間引き率で特定画素を間引いて読み出す第二の読出し方法を切り替えるセンサ駆動方法切替手段１０８、センサを駆動するセンサ駆動手段１０９、切出し領域に基づいて切出し領域の位置を示す枠を生成する枠生成手段１１１、保持されている画像データとダミーデータと枠を合成する画像データ合成手段１１３と、切出し領域変更判定手段の判定結果に基づいて撮像素子から出力された画像データと画像データ合成手段にて合成された画像データを切り替える画像データ切替手段１１４、画像データを出力する画像データ出力手段１１５とを有する。【選択図】図１

Description

本発明は、撮像装置に関し、特に撮像装置における撮像素子のデータの読出し技術に関する。

従来、撮像装置において撮像素子（センサ）の任意の画素を読出す技術（部分切出し）が提案されている。特許文献１は、撮像素子の一部を読出すブロックモードと所定の間引き率で特定画素を間引いて読出すスキップモードの二つのモードを備えた構成となっている。ブロックモードではピント調整の為の映像、スキップモードでは画角調整の為の映像を読出す。二つのモードで交互に撮像素子の画素を読出し、各メモリに格納後、一枚の画像として出力する事で、ピント調整と画角調整を一つのモニタで同時に行うことが可能となる技術が開示されている。

特開平９―２１４８３６号公報

しかしながら、特許文献１に開示されている技術は、ブロックモードにおいて指定された領域についてのみ読出す（切り出す）ため、読出す領域を変更した際に撮像素子の全画素中どこを読出す領域と指定したか分からなくなってしまうことがある。また、スキップモードにて全体の縮小画像を表示しているが、枠等の目印をつける技術が開示されていないため、ブロックモードにて読出した領域が全体のどの位置かを知ることは困難である。図１３aに被写体と複数の部分切出し領域を示す。図１３aは人と背景（山）が同時に映っている映像である。

図中、点線で囲まれた３つの領域を切出したい領域と指定する。図１３bに図１３aにおいて指定した領域を切出した後の映像を示す。図中、点線で囲まれた領域が切出した領域となっている。図１３aの点線で囲まれた領域に相当する撮像素子上の画素のみを読出す事で、図１３bのような映像が出力される。また、撮像素子は指定された領域のみを読出し、読出した領域のみをモニタ等の表示装置に出力する。表示装置は受け取った映像を順番に表示部の左上から表示するため、図１３ｂのように切出した領域が左上に集まったような映像となる。

よって、図１３aは背景（山）について２つの領域を切出しているが図１３bのように左上に寄せられた映像では、背景（山）についてどの部分を切出しているか分かり辛い。更に、景色のような映像ではなく、電気基板や同じような模様が繰り返されている映像では、より切出した領域が全体のどの位置か分かり辛い。また、部分切出しを行う理由の一つとして秒間の画像枚数（フレームレート）を向上させる目的がある。特許文献１に記載の技術では、ブロックモードとスキップモードを交互に動作させ、それぞれメモリに記憶する。メモリに記憶された画像を合わせて１枚の画像として出力する。

よってブロックモードの画像とスキップモードの画像の２枚で１枚の画像を作り出す事となり、フレームレートが低下する。

そこで、本発明の目的はフレームレートの低下を抑えつつ、現在切出している領域を示すことが可能な撮像装置を提供することである。

上記目的を達成するために、本発明の撮像装置は、被写体像を光電変換する撮像素子と、前記撮像素子における全画素のうち、所定の画素を読み出すための切出し領域を設定する切出し領域設定手段と、前記切出し領域設定手段によって設定された切出し領域を記憶する切出し領域記憶手段と、該切出し領域に基づいて前記撮像素子の該画素信号を読み出す第一の読出し方法を設定する第一の読出し設定手段と、所定の間引き率で特定画素を間引いて読み出す第二の読出し方法を設定する第二の読出し設定手段と、該切出し領域と該記憶された切出し領域に基づいて切出し領域の変更を判定する切出し領域変更判定手段と、前記切出し領域変更判定手段の判定結果に基づいて第一の読出し方法と第二の読出し方法を切り替えるセンサ駆動方法切替手段と、前記センサ駆動方法切替手段によって切り替えられた読出し方法に基づいてセンサを駆動するセンサ駆動手段と、ダミーデータを生成するダミーデータ生成手段と、該切出し領域に基づいて該切出し領域の位置を示す枠を生成する枠生成手段と、該撮像素子から読みだされた画像データを保持する画像データ保持手段と、前記画像データ保持手段にて保持されている画像データと該ダミーデータと該枠を合成する画像データ合成手段と、前記切出し領域変更判定手段の判定結果に基づいて前記撮像素子から出力された画像データと前記画像データ合成手段にて合成された画像データを切り替える画像データ切替手段と、前記画像データ切替手段にて切り替えられた画像データを出力する画像データ出力手段と、を有する事を特徴とする。

本発明によれば部分切出しを行っている最中でも切出し領域の位置を示すことが可能となる。また、フレームレートの低下を抑えることが可能となる。

第１実施例の構成図第１実施例のフローチャートａは全体表示映像と切出し領域、ｂは切出し設定後１フレーム目、ｃは切出し設定後２フレーム目以降第２実施例の構成図合成画像表示可能位置ａは合成画像表示可能領域例、ｂは合成画像表示可能領域例、ｃは合成画像表示可能領域例ａは合成画像位置変更前画像、ｂは合成画像位置変更設定後１フレーム目、ｃは合成画像位置変更設定後２フレーム目以降第３実施例の構成図ａは間引き率変更前画像、ｂは間引き率変更後１フレーム目、ｃは間引き率変更後２フレーム目以降第４実施例の構成図第４実施例のフローチャートａは輝度値変更前画像、ｂはゲイン変更設定後１フレーム目、ｃはゲイン変更設定後２フレーム目以降ａは従来例の切出し前画像、ｂは従来例の切出し後画像

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

［実施例１］
本実施例における撮像装置の構成を図１に示す。以下の説明では、本発明を分かり易くするために本発明の主要な部位のみ図示し、本発明の特徴ではない部位は省略した。撮像装置１００は全画素のうち所定の画素信号を読出す事が可能なセンサ１０１を有し、外部から入射される光を露光、光電変換、信号の読出しを行う。A/D部１０２はセンサ１０１のアナログ信号をデジタル信号に変換する。切出し領域設定部１０３はセンサ１０１の全画素のうち読出す領域（切出し領域）を設定する入力部であり、例えばスイッチ等で切出し領域の設定を行う。

切出し領域記憶部１０４は切出し領域設定部１０３にて設定した切出し領域を記憶する。切出し領域変更判定部１０５は切出し領域設定部１０３にて設定された切出し領域と切出し領域記憶部１０４にて記憶されている切出し領域に基づいて、切出し領域が変更されたか判定する。切出し読出し設定部１０６は後述するセンサ駆動部１０９の読出し方法を設定する。具体的にはセンサ１０１の全画素のうち切出し領域設定部１０３にて設定された切出し領域のみを読出す設定を行う。

間引き読出し設定部１０７は後述するセンサ駆動部１０９の読出し方法を設定する。具体的にはセンサ１０１に対して所定の間引き率で画素を間引いて読み出す設定を行う。尚、切出し読出し及び、間引き読出しに関して撮像素子の具体的な処理方法は公知の技術のため、説明を省略する。

センサ設定切替部１０８は切出し領域変更判定部１０５の判定結果に基づいて後述するセンサ駆動部１０９の読出し方法の設定を切り替える。具体的には切出し領域変更判定部１０５にて切出し領域が変更されたと判定した場合は、間引き読出し設定をセンサ駆動部の読出し方法として切り替える。センサ駆動部１０９はセンサ設定切替部１０８によって切り替えられた読出し方法の設定にしたがってセンサ１０１を駆動する。

画像データ保持部１１０はA/D部１０２にてデジタル信号に変換された画像データを保持する。保存する画像は間引き読出しによって読みだされた間引き画像とする。枠生成部１１１は切出し領域設定部１０３にて設定された切出し領域がセンサ１０１の全画素のうちどの位置に設定したかを示す枠信号を生成する。ダミーデータ生成部１１２はセンサ１０１の画素数と同量のダミーデータを生成する。例えばセンサ１０１の画素数が２０００×２０００の場合、２０００×２０００のダミーデータを生成する。また、ダミーデータは例えば黒い画像となる信号とする。

画像データ合成部１１３は画像データ保持部１１０にて保持されている画像と枠生成部１１１にて生成された枠とダミーデータ生成部１１２にて生成されたダミーデータからなる画像データを合成する。合成方法としては画像データ保持部１１０にて保持されている間引き画像に切出し領域設定部１０３にて設定された切出し位置に相当する位置に枠生成部１１１にて生成された枠を合成した合成画像を生成する。次に、生成した合成画像をダミーデータ生成部１１２にて生成されたダミーデータのうち右下隅に配置されるように合成する。よって、画像データ合成部１１３から出力された画像は、切出し領域の位置を示す枠が合成された間引き画像がダミーデータの右下隅に表示された画像となる。画像データ合成部１１３から出力される画像のイメージ図を図３ｂに示す。

画像データ切替部１１４は切出し領域変更判定部１０５の判定結果に基づいてA/D部１０２から出力される画像データと画像データ合成部１１３から出力される画像データを切り替える。具体的には切出し領域変更判定部１０５が切出し領域設定部１０３にて切出し領域が変更されたと判定した場合、画像データ合成部１１３から出力される画像データに切り替える。画像データ出力部１１５は画像データ切替部１１４にて切り替えられた画像データを撮像装置１００の外部に出力する。ディスプレイ１１６は画像データ出力部１１５から出力された画像データをモニタ等の表示部に表示する。

以上、説明した構成において図２に示す第１実施例のフローチャート、図３aに示す全体表示映像と切出し領域、図３ｂに示す切出し設定後１フレーム目、図３ｃに示す切出し設定後２フレーム目以降を使用して詳細に説明する。

図２のフローチャートについて説明する。まず、ステップS２００では、初期化動作として切出し領域の設定を初期化する。初期化方法としては、切出し領域を全画面（全画素）とする。ステップS２０１では、切出し領域記憶部１０４に記憶する切出し領域を初期化する。初期化方法としては、全画面とする。

ステップS２０２では、切出し領域設定部１０３より切出し領域の設定値を取得する。ステップS２０３では、ステップS２０２にて取得した切出し領域の設定値と切出し領域記憶部１０４にて記憶されている切出し領域の設定値を比較し、切出し領域が変更されたか判定する。切出し領域が変更された場合は、ステップS２０４へ進む。一方、切出し領域が変更されていない場合は、ステップS２１１へ進む。

ステップS２０４では、センサ駆動部１０９の読出し設定を所定の間引き率で間引いて読み出す間引き読出しに設定する。間引き率は例えば８とする。ステップS２０５では、ステップS２０４にて設定された読出し設定に基づいてセンサ１０１を駆動する。ステップS２０６では、ステップS２０５にて設定された読出し設定に基づいてセンサ１０１より画素信号を読み出す。ステップS２０７では、ステップS２０６にて取得した画素信号からなる画像データを保持する。

ステップS２０８では、ステップS２０２にて取得した切出し領域の設定値に基づいて、切出し領域の位置を示す枠を生成する。ステップS２０９では、センサ１０１の全画素数と同量のダミーデータを生成する。ステップS２１０では、ステップS２０７にて保持した画像データである間引き画像とステップS２０８にて生成した枠とステップS２０９にて生成したダミーデータを合成する。枠は画像データにおいて設定された切出し領域の位置に相当する位置に合成する。上記ステップS２０４からステップS２１０までの処理によって全体の間引かれた画像（縮小映像）上に切出し領域の位置を示す枠が表示された状態でダミーデータと合わせて１枚の画像が作成される。

次に、ステップS２１１では、センサ駆動部１０９の読出し設定を切出し領域設定部１０３にて設定された切出し領域のみを読み出す切出し読出しに設定する。ステップS２１２では、ステップS２１１にて設定された読出し設定に基づいてセンサ１０１を駆動する。ステップS２１３では、ステップS２１１にて設定された読出し設定に基づいてセンサ１０１より画素信号を読み出す。ステップS２１４では、ステップS２０２にて取得した切出し領域を切出し領域記憶部１０４に記憶する。ステップS２１５では、ステップS２１０にて合成された画像データまたは、ステップS２１３にて読み出された画素信号からなる画像データを撮像装置の外部に出力する。

以上、説明した一連の流れにより切出し領域が変更された後の１フレーム目は、設定された切出し領域の位置を示す枠が表示された縮小画像がダミーデータに合成された画像として出力される。２フレーム目以降は切出し領域が再度変更されない限り、切出し領域のみが出力される。一般にモニタは受け取ったデータを左上から描画するため、１フレーム目に出力する縮小画像は右下隅に出力する。よって、切出し領域変更後の１フレーム目は右下隅に切出し領域の位置を示す枠と共に縮小画像を表示することで、２フレーム目以降は左上から切出し領域のみ描画が更新されるため、切出し領域の画像と縮小画像が１つのモニタ上に同時に表示される。

つまり、使用者は切出し画像を確認すると共に切出し領域の位置を確認することが可能となる。更に、切出し領域を変更後１フレーム目のみダミーデータと共に縮小画像を出力する事で、２フレーム目以降は切出し領域の画像のみを出力するためフレームレートの低下を低減することが出来る。

図３aに全体表示映像と切出し領域、図３ｂ、図３ｃに本実施例を適用した場合に切出し領域を設定後の１フレーム目と２フレーム目以降の画像を示す。

図３aは、図１３aと同様な図であり、被写体（人）と背景（山×２）と切出したい３つの領域を示す。切出し領域は図中の点線で囲まれた３つの領域とする。切出し領域設定部１０３にて切出し領域を点線で囲まれた３つの領域に設定した後、１フレーム目は所定の間引き率で間引き読出しを行い、図中の３つの点線で囲まれた領域の位置を示す枠とダミーデータと合成し出力する。１フレーム目の画像を図３ｂに示す。図中、右下に間引き読み出しにて読出した全体映像の縮小映像に３つの切出し領域を示す枠を合成した画像が表示される。

間引き読出しした画像以外はダミーデータで構成される黒い画像となる。次に２フレーム目以降の画像を図３ｃに示す。図中、右下の画像は１フレーム目に出力された画像が残っている。左上には切出したい３つの領域の切出し画像が出力される。撮像装置１００の処理としては３つの切出し領域の画像のみ出力することになる。よって、２フレーム目以降は撮像装置１００の出力する画像データ量は切出したい領域分となるので、フレームレートの低下を低減することが可能となる。

本実施例では、ダミーデータは黒としたがこれに限らない。例えば白い画像や灰色の画像としても本発明の効果を得ることが出来る。

本実施例では、切出し領域を示す目印を枠としたが、切出し領域の位置が分かればこれに限らない。例えば、線や円で囲むとしても本発明の効果を得ることが出来る。本実施例では、初期化動作として切出し領域の設定を全画面としたが、これに限らない。例えばメモリに切出し領域を記憶しておき、電源投入時にメモリから読出し初期化する方法でも本発明の効果を得ることが出来る。

本実施例では、切出し領域が変更された後の１フレーム目のみ間引き読み出しを行い、間引き画像に枠を合成した合成画像とダミーデータを合成したが、切出した画像と合成画像を分けて出力すればこれに限らない。例えば、切出し領域が変更されてから数えて奇数フレームは合成画像、偶数フレームは切出した画像を出力する。交互に合成画像と切出した画像を出力することで、図３ｃに示す左上の切出した画像と右下の合成画像が動画のように映るため、より本発明の効果を得ることが出来る。具体的な方法としては切出し領域変更判定部１０５に切出し領域が変更されてからのフレーム数を数えるカウンタを設け、フレーム番目によって合成画像と切出した画像を切り替える。

本実施例では、センサ１０１は所定の画素信号を読み出す事が可能なセンサとしたが全画素読出しや所定のライン毎に画素を読み出す事が可能なセンサとしても本発明の効果を得ることが出来る。全画素読出しのセンサの場合の処理方法としては、一度全画素を読み出した後に、切出したい領域や間引き率に応じて読みだした全画素から上記一連の処理に使用する画素を抽出して処理を行っても良い。これらは以降の実施例でも同様である。

［実施例２］
第２実施例に係る撮像装置について説明する。第１実施例に対する本実施例の撮像装置の最も特徴的な部分は、間引き読出し画像と切出し領域の位置を示す枠を合成した合成画像の表示位置を変更することにある。使用する環境によっては、合成画像と切出し画像を並列で表示する事や、縦に並べて表示する可能性が考えられる。よって、使用者の用途に応じて合成画像の表示位置を変更する事で利便性が向上する。

以下の説明では、本発明を分かり易くするために本発明の主要な部位のみ図示し、本発明の特徴ではない部位は省略した。

本実施例における撮像装置の構成を図４に示す。図１に示す第１実施例と同様な構成については説明を省略し、第１実施例とは異なる部分について説明する。合成画像位置設定部４００は画像データ保持部１１０にて保持している画像と枠生成部１１１にて生成された枠をダミーデータ上のどの位置に配置するかを設定する入力部であり、例えばスイッチ等で設定する。合成画像位置記憶部４０１は合成画像位置設定部４００の設定を記憶する。

合成画像位置変更判定部４０２は合成画像位置設定部４００の設定値と合成画像位置記憶部４０１に記憶されている設定値に基づいて、合成画像位置の変更要求があったか判定する。合成画像位置決定部４０３は合成画像位置の変更要求があった場合に合成画像位置設定部４００にて入力された設定値に基づいて間引き画像と枠からなる合成画像についてダミーデータ上の配置を決定する。具体的には、合成画像の位置を変更することによって、切出した画像と位置が重複しないか判定する。重複する場合は、合成画像の変更可能位置に制限を設けて重複しない位置に設定する。

センサ設定切替部１０８は切出し領域の変更要求または、合成画像位置の変更要求があった場合、センサ駆動部１０９の読出し方法の設定を間引き読出しに切り替える。画像データ合成部１１３は合成画像位置決定部４０３にて決められた合成画像の配置位置に基づいて間引き画像と枠とダミーデータを合成する。画像データ切替部１１４は切出し領域の変更要求または、合成画像位置の変更要求があった場合、画像データ合成部１１３から出力される画像データに切り替える。

図５に合成画像の表示位置を変更する際の制限位置の設定方法を示す。図５は２００×２００画素の画像であり座標を（横方向、縦方向）と定義し、左上の画素の座標を（０，０）とする。図中、点線で囲まれた領域は切り出した画像を表す。切り出した画像が占有する領域は画素の座標で横方向が０〜２００、縦方向が０〜５０である。右下の斜線で覆われた領域は合成画像である。図５の時、使用者が合成画像を上（縦の座標で０の方向）に移動させたいとする。切り出した画像の領域が２００×５０のため、合成画像位置決定部４０３は、合成画像の左上の縦方向の座標を５１に設定する。

以上説明した構成について図６a、ｂ、ｃの合成画像表示可能領域例a、b、c、図７aの合成画像位置変更前画像、図７bの合成画像位置変更設定後１フレーム目、図７cの合成画像位置変更設定後２フレーム目以降を使用して詳細に説明する。

図６a、b、cは各切出し領域の設定における合成画像の位置の設定可能な領域を示す。各図中、点線で囲まれた領域は切り出した画像、斜線は合成画像の位置の設定可能な領域を表す。図５と同様に２００×２００画素の画像で左上の画素の座標を（０，０）とする。まず、図６aの場合について説明する。図中、切出した画像が占有する領域は横方向が０〜５０、縦方向が０〜２００となっている。よって、合成画像が位置する事が可能な領域は横方向が５１〜２００、縦方向が０〜２００となる。つまり、合成画像位置決定部４０３は前記の範囲内で合成画像の位置を決定する。次に図６ｂの場合について説明する。

図中、切り出した画像が占有する領域は横方向が０〜５０の場合、縦方向は０〜２００となり、横方向が５１〜１８０の場合、縦方向は０〜５０となっている。よって、合成画像が位置する事が可能な領域は横方向が５１〜１８０の場合、縦方向が５１〜２００となり、横方向が１８１〜２００の場合、縦方向が０〜２００となる。上記以外は合成画像が位置する事が出来ない領域となる。つまり、合成画像位置決定部４０３は前記の範囲内で合成画像の位置を決定する。次に図６ｃの場合について説明する。図中、切り出した画像が占有する領域は横方向が０〜５０の場合、縦方向は０〜１００となり、横方向が５１〜１００の場合、縦方向は０〜５０となっている。

よって、合成画像が位置する事が可能な領域は横方向が０〜５０の場合、縦方向は１０１〜２００となり、横方向が５１〜１００の場合、縦方向は５１〜２００となり、横方向が１０１〜２００の場合、縦方向は０〜２００となる。上記以外は合成画像が位置する事が出来ない領域となる。つまり、合合成画像位置決定部４０３は前記の範囲内で合成画像の位置を決定する。

図７aに合成画像位置変更前画像、図７b、ｃに本実施例を適用した場合の合成画像位置変更設定後１フレーム目と２フレーム目以降を示す。図７aは第１実施例を適用した画像であり、図３ｃと同様である。図７aに示す画像が表示されている最中に合成画像位置設定部４００にて最上位置に移動させる設定が行われたとする。図中、合成画像を最上位置に移動させても切り出した領域と重複することはないので、合成画像位置決定部４０３は合成画像位置設定部４００の設定値を合成画像の配置位置として決める。画像データ合成部１１３は合成データが右上となるようにダミーデータ上に合成画像を合成する。

図７ｂに合成画像位置変更設定後の１フレーム目の出力画像を示す。図７aでは合成画像が右下に位置していたが、図７ｂでは右上に位置している。合成画像以外はダミーデータとなっている。図７ｃに合成画像位置変更設定後の２フレーム目以降の出力画像を示す。図７aでは左上に切り出した画像、右下に合成画像となっているが図７ｃでは左上に切り出した画像、右上に合成画像がとなっている。よって、合成画像位置変更部４００の設定により合成画像の表示位置が移動し、使用者の意図した場所に合成画像の表示を変更することが可能となる。

本実施例では、画素の座標を左上の画素を（０，０）と定義したが、各画素を区別する事が出来ればこれに限らない。例えば、右下の画素の座標を（０、０）としても本発明の効果を得る事ができる。

本実施例では、合成画像位置設定部４００を設けて合成画像の表示位置を変更したが、合成画像位置設定部４００を設けず、合成画像の移動可能位置を計算して自動で表示位置を変更しても本発明の効果を得ることが出来る。例えば、図７ｃにおいて切出したい領域を縦方向は変更せずに、横方向は端から端までに変更したとする。この場合、図７ｃでは、合成画像が切り出した領域と重複するため、合成画像の表示位置を表示可能な領域内で最上位置に変更するとしても良い。これらは以降の実施例でも同様である。

［実施例３］
第３実施例に係る撮像装置について説明する。第１及び、第２実施例に対する本実施例の撮像装置の最も特徴的な部分は、間引き読出し時の間引き率を変更することで合成画像の大きさを変更することにある。

本実施例における撮像装置の構成を図８に示す。図１に示す第１実施例及び、図４に示す第２実施例と同様な構成については説明を省略し、第１実施例及び、第２実施例とは異なる部分について説明する。間引き率設定部８００は例えばスイッチ等の入力部であり、合成画像の大きさに関わる間引き読出し時の間引き率を変更する。

間引き率記憶部８０１は間引き率設定部８００にて設定される間引き率を記憶する。間引き率変更判定部８０２は間引き率設定部８００の設定と間引き率記憶部８０１にて記憶している設定に基づいて、間引き率の変更があったか判定する。間引き率決定部８０３は間引き率の変更要求があった場合に間引き率設定部８００にて入力された設定に基づいて間引き読出し時の間引き率を決定する。具体的には間引き率を変更する事によって合成画像の大きさが変わり、切り出した画像の表示領域と合成画像の表示領域が重複しないか判定する。重複する場合は、間引き率を重複しない値に設定する。

センサ設定切替部１０８は切出し領域の変更要求または、間引き率の変更要求があった場合、センサ駆動部１０９の読出し方法の設定を間引き読出しに切り替える。画像データ切替部１１４は切出し領域の変更要求または、間引き率の変更要求があった場合、画像データ合成部１１３から出力される画像データに切り替える。

以上、説明した構成について図６a、ｂ、ｃに示す合成画像表示可能領域例a、b、c、図９aに示す間引き率変更前画像、図９ｂに示す間引き率変更後１フレーム目、図９ｃに示す間引き率変更後２フレーム目以降を使用して詳細に説明する。

図６a、b、cは第２実施例で使用した図なので図の説明は省略する。まず、図６aにおいて、合成画像が表示可能な領域は横方向が５１〜２００、縦方向が０〜２００となる。よって、間引き率として、縦方向は１まで、横方向は２まで設定可能となる。間引き率の数値は列または行の縮小率を表す。横方向の間引き率が２の場合、１列目を読出し、２列目を読み飛ばし、３列目を読み出すことを繰り返す。よって、横方向において全画素読出し時に対して、１/２の大きさの画像が読み出される。

次に、図６ｂにおいて、合成画像が表示可能な領域は横方向が５１〜１８０の場合、縦方向が５１〜２００となり、横方向が１８１〜２００の場合、縦方向は０〜２００となる。よって、間引き率として、横方向が２〜９の場合、縦方向は２まで、横方向が１０以上の場合、縦方向は１まで設定可能となる。ただし、合成画像の表示位置は切り出した領域と重複しない位置とする。

次に、図６ｃにおいて、合成画像が位置する事が可能な領域は横方向が０〜５０の場合、縦方向は１０１〜２００となり、横方向が５１〜１００の場合、縦方向は５１〜２００となり、横方向が１０１〜２００の場合、縦方向は０〜２００となる。よって、間引き率として、縦方向が２以上の場合、横方向は１まで、横方向が２以上の場合、縦方向は１まで設定可能となる。ただし、合成画像の表示位置は切り出した領域と重複しない位置とする。

図９aに間引き率変更前画像、図７b、ｃに本実施例を適用した場合の間引き率変更設定後１フレーム目と２フレーム目以降を示す。図７aは第１実施例を適用した画像であり、図３ｃと同様である。図９aに示す画像が表示されている最中に間引き率設定部８００にて間引き率を縦、横共に２に設定されたとする。間引き読出し設定部１０７にて縦横共に間引き率が２に設定され、センサ駆動部１０９は縦横共に間引き率を２として間引き読出しを行う。間引き率を設定後の１フレーム目を図９ｂに示す。図９aの合成画像は間引き率が８であるが、図９ｂの間引き率は２のため、合成画像が拡大されている様子がわかる。

合成画像以外はダミーデータとなっている。図９ｃに間引き率を設定後の２フレーム目以降の出力画像を示す。図７aの合成画像に対して、拡大された合成画像と左上に切り出した画像が表示されている。よって、切出した画像に重複しない範囲で使用者の意図に応じ、合成画像の大きさの変更が可能となり、利便性が向上する。

本実施例では、間引き率設定部８００を設けて間引き読出し時の間引き率を設定したが、間引き率設定部８００を設けず、合成画像を表示する事が可能な間引き率を計算して自動で間引き率を設定するとしても本発明の効果を得る事が出来る。例えば、図９ｃにおいて全画素数が２００×２００として、切出した画像が占有する領域が横方向で０〜１５０、縦方向が０１５０になる様に切出し領域を変更したとする。この場合、図９ｃの状態では、右下の合成画像と切出した画像の領域が重複する事が考えられる。よって、合成画像の大きさが５０×５０となる様に間引き率を縦横共に３と設定しても良い。

［実施例４］
第４実施例に係る撮像装置について説明する。第１、第２及び、第３実施例に対する本実施例の撮像装置の最も特徴的な部分は、合成画像の輝度を変更する事にある。切り出した画像と合成画像は同じ被写体を撮影して得られた画像であるために同等な輝度（明るさ）である可能性が考えられる。この時、使用者が注目したい画像は切り出した画像であるため、合成画像の輝度を下げることで切り出した領域に注目し易くなる。

本実施例における撮像装置の構成を図１０に示す。図１に示す第１実施例、図４に示す第２実施例及び、図８に示す第３実施例とは異なる部分について説明する。ゲイン設定部１０００は例えばスイッチ等の入力部であり、合成画像の輝度に関わるゲインを設定する。ゲインは各画素の輝度値に乗算する値である。ゲイン記憶部１００１はゲイン設定部１０００の設定値を記憶する。ゲイン変更判定部１００２はゲイン設定部１０００の設定値とゲイン記憶部１００１にて記憶されている設定値に基づいて合成画像の輝度値に乗算するゲインの変更要求があったか判定する。

輝度変更部１００３はゲイン変更判定部１００２にてゲインの変更要求があったと判定された場合、ゲイン設定部１０００にて設定された設定値に基づいて、間引き画像と枠の輝度値を変更する。センサ切替部１０８は切出し領域の変更要求または、ゲインの変更要求があった場合、センサ駆動部１０９の読出し方法の設定を間引き読出しに切り替える。

画像データ切替部１１４は切出し領域の変更要求または、ゲインの変更要求があった場合、画像データ合成部１１３から出力される画像データに切り替える。

以上、説明した構成について図１１に示す第４実施例のフローチャート、図１２aに示す輝度値変更前画像、図１２ｂに示す輝度値変更後１フレーム目、図１２ｃに示す輝度値変更後２フレーム目以降を使用して詳細に説明する。

図１１のフローチャートについて説明する。ステップS１１００では、初期化動作として合成画像の輝度に乗算するゲインを初期化する。初期化方法としては、ゲインを１にする。ステップS１１０１では、ゲイン記憶部１００１に記憶するゲインを初期化する。初期化方法としては、ゲインを１にする。ステップS１１０２では、ゲイン設定部１０００からゲインの設定値を取得する。ステップS１１０３では、ステップS１１０２にて取得した設定値とゲイン記憶部１００１に記憶している設定値を比較し、ゲインが変更されたか判定する。ゲインが変更された場合は、ステップS２０４へ進む。一方、ゲインが変更されていない場合は、ステップS２０３へ進む。

ステップS１１０４では、ステップS２０５にて保持した間引き画像の各画素に対して、ステップS１１０２にて取得したゲインを乗算する。ステップS２０８では、ステップS１１０４にて設定したゲインを乗算して枠を生成する。ステップS２１０では、ステップS１１０４にて輝度値を変更した画像データとステップS２０８にて輝度値を変更して生成した枠とステップS２０９にて生成したダミーデータを合成する。ステップS１１０５では、ステップS１１０２にて取得したゲインをゲイン記憶部１００１に記憶する。

以上、説明した一連の流れで設定されたゲインに基づいて合成画像の輝度値を変更する事が可能となる。よって、使用者の用途に応じて合成画像の輝度値を変更する事で切出し画像と合成画像を見分け易くするため利便性が向上する。

図１２aに輝度変更前画像、図１２ｂ、ｃに本実施例を適用した場合のゲイン変更設定後１フレーム目と２フレーム目以降を示す。図１２aは第３実施例を適用した画像であり、図９ｃと同様である。図１２aの画像が表示されている最中にゲイン設定部１０００にてゲインを１/２に設定されたとする。輝度変更部１００３では、ゲインを１/２として画像データ保持部１１０にて保持されている間引き画像の各画素の輝度値にゲイン１/２を乗算する。輝度変更設定後の１フレーム目を図１２ｂに示す。図１２ｂはダミーデータ上に間引き画像と枠の輝度を１/２とした画像が合成されている。

輝度変更設定後の２フレーム目以降を図１２ｃに示す。図１２aでは左上の切り出した画像と右下の合成画像の輝度が同程度であったが、図１２ｃでは切り出した画像に比べて、合成画像の輝度が低い事が分かる。よって、使用者は比較的輝度の高い切り出した画像に注目し易くなる。

本実施例では、ゲインは輝度値に乗算するとしたがゲインによって輝度値が変化すればこれに限らない。例えば、加算、減算、除算しても本発明の効果を得ることが出来る。

本実施例では、ゲイン設定部１０００の設定によって間引き画像と枠の輝度値を変更するとしたが、間引き画像、枠、ダミーデータのうち少なくとも一つ以上の輝度値を変更すればこれに限らない。例えば、ダミーデータと間引き画像の輝度値を下げることによって、より使用者に切出し画像の位置を強調して示すことが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００：撮像装置
１０１：撮像素子
１０５；切出し領域変更判定部
１０６：切出し読出し設定部
１０７：間引き読出し設定部
１０８：センサ設定切替部
１１３：画像データ合成部
１１４：画像データ切替部
４０２：合成画像位置変更判定部
４０３：合成画像位置決定部
８０２：間引き率変更判定部
８０３：間引き率決定部
１００２：ゲイン変更判定部
１００３：輝度変更部

Claims

被写体像を光電変換する撮像素子と、
前記撮像素子における全画素のうち、所定の画素を読み出すための切出し領域を設定する切出し領域設定手段と、
前記切出し領域設定手段によって設定された切出し領域を記憶する切出し領域記憶手段と、
該切出し領域に基づいて前記撮像素子の該画素信号を読み出す第一の読出し方法を設定する第一の読出し設定手段と、
所定の間引き率で特定画素を間引いて読み出す第二の読出し方法を設定する第二の読出し設定手段と、
該切出し領域と該記憶された切出し領域に基づいて切出し領域の変更を判定する切出し領域変更判定手段と、
前記切出し領域変更判定手段の判定結果に基づいて第一の読出し方法と第二の読出し方法を切り替えるセンサ駆動方法切替手段と、
前記センサ駆動方法切替手段によって切り替えられた読出し方法に基づいてセンサを駆動するセンサ駆動手段と、
ダミーデータを生成するダミーデータ生成手段と、
該切出し領域に基づいて該切出し領域の位置を示す枠を生成する枠生成手段と、
該撮像素子から読みだされた画像データを保持する画像データ保持手段と、
前記画像データ保持手段にて保持されている画像データと該ダミーデータと該枠を合成する画像データ合成手段と、
前記切出し領域変更判定手段の判定結果に基づいて前記撮像素子から出力された画像データと前記画像データ合成手段にて合成された画像データを切り替える画像データ切替手段と、
前記画像データ切替手段にて切り替えられた画像データを出力する画像データ出力手段と、
を有する事を特徴とする撮像装置。
前記センサ駆動方法切替手段は、
前記切出し領域変更判定手段にて該切出し領域が変更されたと判定された場合は、前記センサ駆動手段の読出し方法を前記第二の読出し方法に切り替える事を特徴とする請求項１記載の撮像装置。
前記画像データ切替手段は、
前記切り出し領域変更判定手段にて該切り出し領域が変更されたと判定された場合は、前記画像データ出力手段が出力する画像データを前記画像データ合成手段にて合成された画像データに切り替える事を特徴とする請求項１または２に記載の撮像装置。
前記撮像装置は、
該保持されている画像データと該枠を合成した合成画像について該ダミーデータ上のどの位置に合成するか設定する合成画像位置設定手段と、
前記合成画像位置設定手段にて設定された設定値を記憶する合成画像位置記憶手段と、
該合成画像位置の設定値と該記憶された合成画像位置の設定値に基づいて合成画像位置の設定値が変更されたか判定する合成画像位置変更判定手段と、
該切出し領域と該合成画像位置の設定値に基づいて該合成画像の位置を決定する合成画像位置決定手段と、
を更に有する事を特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記合成画像位置決定手段は、
該合成画像位置の設定値に基づいて、該第一の読出し方法に基づいて読み出された画像と該合成画像の位置が重複しない様に該合成画像の位置を決定する事を特徴とする請求項４に記載の撮像装置
前記合成画像位置決定手段は、
該第一の読出し方法に基づいて読み出された画像と該合成画像の位置が重複しない様に該合成画像の位置を決定する事を特徴とする請求項４に記載の撮像装置。
前記センサ駆動方法切替手段は、
前記合成画像位置変更判定手段にて該合成画像位置が変更されたと判定された場合は、前記センサ駆動手段の読出し方法を前記第二の読出し方法に切り替える事を特徴とする請求項４乃至６のいずれか１項に記載の撮像装置。
前記画像データ切替手段は、
前記合成画像位置変更判定手段にて該合成画像位置が変更されたと判定された場合は、前記画像データ出力手段が出力する画像データを前記画像データ合成手段にて合成された画像データに切り替える事を特徴とする請求項４乃至７のいずれか１項に記載の撮像装置。
前記撮像装置は、
該第二の読出し方法の間引き率を設定する間引き率設定手段と、
前記間引き率設定手段の設定値を記憶する間引き率記憶手段と、
該間引き率の設定値と該記憶された間引き率の設定値に基づいて該第二の読出し方法の間引き率が変更されたか判定する間引き率変更判定手段と、
該切出し領域と該間引き率の設定値に基づいて該第二の読出し方法の間引き率を決定する間引き率決定手段と、
を更に有する事を特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
前記間引き率決定手段は、
該間引き率の設定値に基づいて、該第一の読出し方法に基づいて読み出された画像と該合成画像の位置が重複しない様に該第二の読出し方法の間引き率を決定する事を特徴とする請求項９に記載の撮像装置。
前記間引き率決定手段は、
該第一の読出し方法に基づいて読み出された画像と該合成画像の位置が重複しない様に該第二の読出し方法の間引き率を決定する事を特徴とする請求項９に記載の撮像装置。
前記センサ駆動方法切替手段は、
前記間引き率変更判定手段にて該間引き率が変更されたと判定された場合は、前記センサ駆動手段の読出し方法を前記第二の読出し方法に切り替える事を特徴とする請求項９乃至１１のいずれか１項に記載の撮像装置。
前記画像データ切替手段は、
前記間引き率変更判定手段にて該間引き率が変更されたと判定された場合は、前記画像データ出力手段が出力する画像データを前記画像データ合成手段にて合成された画像データに切り替える事を特徴とする請求項９乃至１２のいずれか１項に記載の撮像装置。
前記撮像装置は、
該輝度値を変更するゲインを設定するゲイン設定手段と、
前記ゲイン設定手段にて設定されたゲインを記憶するゲイン記憶手段と、
該ゲインと該記憶されたゲインに基づいてゲインが変更されたか判定するゲイン変更判定手段と、
前記ゲイン変更判定手段の判定結果と該ゲインに基づいて該輝度値を変更する輝度変更手段と、
を更に有する事を特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
前記輝度変更部は、
前記ゲイン変更判定手段にてゲインが変更されたと判定された場合は、該ゲインに基づいて該保持されている画像データ、該枠及び、該ダミーデータの少なくとも一つ以上について輝度値を変更する事を特徴とする請求項１４に記載の撮像装置。
前記センサ駆動方法切替手段は、
前記ゲイン変更判定手段にて該ゲインが変更されたと判定された場合は、前記センサ駆動手段の読出し方法を前記第二の読出し設定に切り替える事を特徴とする請求項１４または１５に記載の撮像装置。
前記画像データ切替手段は、
前記ゲイン変更判定手段にて該ゲインが変更されたと判定された場合は、前記画像データ出力手段が出力する画像データを前記画像データ合成手段にて合成された画像データに切り替える事を特徴とする請求項１４乃至１６のいずれか１項に記載の撮像装置。
前記撮像素子は、
全画素のうち、所定の画素を読み出す事が可能な撮像素子である事を特徴とする請求項１乃至１７のいずれか１項に記載の撮像装置。
前記切出し領域設定手段は、
少なくとも一つ以上の切出し領域を設定する事を特徴とする請求項１乃至１８のいずれか１項に記載の撮像装置。