JP2010252006A - 撮像装置、撮影方法、及びそのプログラム - Google Patents

Abstract

【課題】ライブビュー画像のコントラストを向上させて、画面に表示する輝度制御を行うことが出来る。
【解決手段】撮像制御手段（撮像部４１）が、表示手段の表示更新間隔よりも速い間隔で撮像するよう撮像手段を制御する。表示制御手段（情報処理領域２０）が、前記表示手段の表示更新間隔に基づいて、前記撮像制御手段によって撮像された画像を加算合成して表示させるよう制御する。加算合成は、周辺環境の明るさが所定以下である場合で実行される。
【選択図】 図４

Description

本発明は、ライブビュー画像表示機能を備える撮像装置、撮影方法、及びそのプログラムに関する。

従来、特許文献１に記載されている通り、ライブビュー画像表示の輝度を設定できる撮像装置が存在した。
この撮像装置は、少なくとも周囲の光量に応じて、液晶表示のバックライトの輝度値を調整している。

特開２００８−２６７２０号公報

しかしながら、この場合、画像全体を均等に明るくする制御しか出来なかった為、画面のコントラストが少ない場合に確認し難いという問題があった。

本発明は、上記に鑑みたものであり、ライブビュー画像のコントラストを向上させて、画面に表示する輝度制御を行う撮像装置、撮影方法、及びそのプログラムに関するものである。

上記課題を解決する為、請求項１に記載の発明は、表示手段と、撮像手段と、この表示手段の表示更新間隔よりも速い間隔で撮像するよう前記撮像手段を制御する撮像制御手段と、前記表示手段の表示更新間隔に基づいて、前記撮像制御手段によって撮像された画像を加算合成して表示させるよう制御する表示制御手段と、を備えることを特徴とする、撮像装置とした。
請求項２に記載の発明は、前記表示制御手段は、周辺環境の明るさが所定以下である場合で実行されることを特徴とする、請求項１に記載の撮像装置とした。
請求項３に記載の発明は、前記撮像制御手段は、前記画像を、光電変換信号から生成するための増幅率に基づき撮像すると共に、前記画像生成の都度、前記増幅率を変更して画像を撮像することを特徴とする、請求項１又は２に記載の撮像装置とした。
請求項４に記載の発明は、前記表示制御手段は、前記加算合成する画像の対象を、生成順番が連続する３の倍数枚の画像とし、前記増幅率は、低増幅率、中増幅率、高増幅率、の３段階、低中高、又は高中低の順番で順次変更される条件であることを特徴とする、請求項３に記載の撮像装置とした。
請求項５に記載の発明は、前記表示制御手段における、撮像された画像の表示制御方法を設定する設定手段を備え、前記表示制御手段は、前記表示制御方法を、前記設定手段の設定に基づき設定することを特徴とする、請求項１に記載の撮像装置とした。
請求項６に記載の発明は、表示手段と、撮像手段と、を備える撮像装置の撮影方法であって、この表示手段の表示更新間隔よりも速い間隔で撮像するよう前記撮像手段を制御する撮像制御工程と、前記表示手段の表示更新間隔に基づいて、前記撮像制御工程によって撮像された画像を加算合成して表示するよう制御する表示制御工程と、を有することを特徴とする、撮影方法とした。
請求項７に記載の発明は、表示手段と、撮像手段と、を備える撮像装置の有するコンピュータが実行するプログラムであって、前記コンピュータに、この表示手段の表示更新間隔よりも速い間隔で撮像するよう前記撮像手段を制御する撮像制御機能と、前記表示手段の表示更新間隔に基づいて、前記撮像制御機能によって撮像された画像を加算合成して表示するよう制御する表示制御機能と、を実現させることを特徴とする、プログラムとした。

本発明によれば、ライブビュー画像のコントラストを向上させて、画面に表示する輝度制御を行うことが出来る。

本発明に係る撮像装置の電気的構成を示すブロック図である。 ライブビュー画像の表示する場合に、撮像部が得たＲＧＢデータを出力する領域を示す図である。 第１実施例に係る処理を示すフローチャートである。 第１実施例に係るライブビュー画像表示の具体例Ａを示す図である。 第１実施例に係るライブビュー画像表示の具体例Ｂを示す図である。 第２実施例に係る処理を示すフローチャートである。 第２実施例に係るライブビュー画像表示の具体例Ｃを示す図である。 第３実施例に係る処理を示すフローチャートである。

（第１実施例）
以下に、本発明に係る第１実施例について説明する。

＜１−１．回路構成＞
図１は、本実施例に係る撮像装置１００の概略構成を示すブロック図である。

撮像装置１００は、表示部１１、情報処理領域２０、記録領域３０、撮像部４１、輝度測定部４２、撮像光学部５０、及び、操作入力領域６０、を備えている。
撮像装置１００は、上記各部を、バスラインＢＬを介して接続している。

情報処理領域２０は、制御部２１、特殊演算部２２、画像圧縮部２３、撮像処理部２４、及び、表示制御部２５、を備えている。

記録領域３０は、一時記録部３１、保存記録部３２、外部記録装着部３３、及び、外部記録部３４、を備えている。

撮像光学部５０は、フォーカスレンズ５１、ズームレンズ５２、コーティングレンズ５３、フォーカスレンズ移動部５４、及び、ズームレンズ移動部５５、を備えている。

操作入力領域６０は、撮影指示部６１、移動操作部６２、決定指示部６３、メニュー操作部６４、モード設定部６５、可変設定部６６、及び、電源操作部６７、を備えている。

［制御部］
撮像装置１００は、バスラインＢＬを介して各部に接続された制御部２１を備えている。
制御部２１は、撮像装置１００の各部を制御するＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
なお、この制御部２１は、複数のチップから構成されていても構わない。

［特殊演算部］
特殊演算部２２は、所定の演算を行なうＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
特殊演算部２２は、この所定の演算を行なうために専用に設けられており、この演算を高速に行なうことを可能にする。

［一時記録部］
一時記録部３１は、制御部２１等で処理する各種データを仮に記録しておくための、揮発性の記録装置である。
一時記録部３１は、ＤＲＡＭ、ＳＲＡＭ、の内の何れか１つであって構わない。
［保存記録部］
保存記録部３２は、制御部２１等で各種データを処理するための各種プログラムや各種設定等を記録しておくための、不揮発性の記録装置である。
保存記録部３２は、フラッシュＥＥＰＲＯＭ（フラッシュメモリ）、ＦｅＲＡＭ、ＭＲＡＭ、ＲｅＲＡＭ、ＰＲＡＭ、の内の何れか１つであって構わない。

［撮像光学部］
撮像光学部５０は、光学部材を実装するレンズユニットである。
撮像光学部５０は、フォーカスレンズとズームレンズとを備える。
［フォーカスレンズ］
フォーカスレンズ５１は、フォーカスレンズ移動部ＦＭにより移動される。
フォーカスレンズ移動部ＦＭは、フォーカスレンズを移動制御するモータを備える。
［ズームレンズ］
ズームレンズ５２は、ズームレンズ移動部ＺＭにより移動される。
ズームレンズ移動部ＺＭは、ズームレンズを移動制御するモータを備える。
［コーティングレンズ］
コーティングレンズ５３は、撮像光学部５０の最前面に搭載されている光学部材であり、被写体方向前側表面に特殊コーティングが施されている。
これにより、コーティングレンズ５３は、撮像後学部５０への入射光の反射を低減出来る。

［撮像部］
撮像部４１は、撮像光学部５０を通して、被写体ＯＢの光像を撮像する。
撮像部４１は、この被写体ＯＢの光像を光電変換して光電変換信号を取得する撮像素子を備える。
撮像素子は、ＣＭＯＳイメージセンサ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）、又は、ＣＣＤイメージセンサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）の何れか１つであって構わない。
撮像素子がＣＭＯＳイメージセンサである場合、このＣＭＯＳイメージセンサは、表面照射型、又は、裏面照射型の何れか１つであって構わない。
同様にして、このＣＭＯＳイメージセンサは、確率的論理型（Ｐｒｏｂａｂｉｌｉｓｔｉｃ）のであって構わない。
ここでは、撮像素子は、ＣＭＯＳイメージセンサとする。
このＣＭＯＳイメージセンサは、表面照射型とする。
撮像部４１は、光電変換信号をＡＥ（自動露出補正）処理等に伴い増幅して得たアナログデータを、デジタルデータに変換するＡ／Ｄ変換部（ＡＤＣ）を備えている。
このデジタルデータは、ＲＧＢデータである。
なお、撮影しているのが静止画像である場合、ＲＧＢデータは、ＲＡＷデータである。

［撮像処理部］
撮像処理部２４は、ＲＧＢデータから、適宜画像処理を施したＹＵＶデータを生成する。

［画像圧縮部］
画像圧縮部２３は、ＹＵＶデータから、ＪＰＥＧデータ等の記録用画像データを生成する。
ＪＰＥＧデータとは、ＪＰＥＧ（Ｊｏｉｎｔ ＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔ Ｇｒｏｕｐ）が作成した規格に則り圧縮された画像データである。
ここでは、記録用画像データはＪＰＥＧデータとする。

［外部記録装着部］
外部記録装着部３３は、後述する外部記録部３４を撮像装置１００に装着するための接続部である。
外部記録装着部３３は、外部記録部３４の着脱状態を検知する着脱検知部を備えていても良い。

［外部記録部］
外部記録部３４は、外部記録装着部３３に装着されて情報を記録可能な不揮発性の記録媒体である。
外部記録部３４は、画像圧縮部２３で生成された撮影画像データを記録する。
外部記録部３４は、ＳＤメモリカードやＵＳＢメモリなどのフラッシュＥＥＰＲＯＭ（フラッシュメモリ）、ＦｅＲＡＭ、ＭＲＡＭ、ＲｅＲＡＭ、ＰＲＡＭ、又は、ＤＶＤ等の相記録媒体の内の何れか１つであって構わない。
ここでは、外部記録部３４は、フラッシュＥＥＰＲＯＭとする。

［表示部］
表示部１１は、各種データに基づき、各種の画像や情報を表示する。
一例を挙げると、表示部１１は、撮像部４１で撮像して得た撮影画像データを撮影画像として表示する。
ここで、表示部１１の画像更新周期は、撮像部４１の連写間隔以上に遅いものとする。
［表示制御部］
表示制御部２５は、各種データに基づき、各種画像や情報を表示させるように表示部１１を制御する。
記録用画像を表示させる場合は、ＪＰＥＧデータに基づき画像を表示させるように表示部１１を制御する。
ライブビュー画像を表示させる場合は、ＲＧＢデータに基づき画像を表示させるように表示部１１を制御する。

［輝度測定部］
輝度測定部４２は、撮像光学部５０を通過した撮影光の輝度を測定する。
輝度測定部４２は、撮影光の輝度を測定するための、輝度センサを備える。

［撮影指示部］
ここでは、撮影指示部６１は、半押し全押しを押し分け可能な釦式スイッチとする。
つまりここでは、撮影指示部６１は、シャッター釦である。
［移動操作部］
移動操作部６２は、例えば、撮像装置１００に各種設定を行う際、入力カーソルを移動する。
移動操作部６２は、上下左右の４方向や８方向を入力可能である、釦式スイッチ・レバー式スイッチ・半導体圧力センサなどのタッチセンサ・光位置センサの内の１つであって構わない。
ここでは、移動操作部６２は、上下左右の方向を入力可能な１組の釦とする。
［決定指示部］
決定指示部６３は、所定の入力状態において、撮影者による入力決定の指示を受ける。
ここでは、決定指示部６３は、押下を検出する釦式のスイッチとする。

［メニュー操作部］
メニュー操作部６４は、所定の状態において、撮影者による後述するメニュー画面の表示指示を受ける。
ここでは、メニュー操作部６４は、押下を検出する釦式のスイッチとする。

［モード設定部］
モード設定部６５は、撮影者による、後述する撮影モード、再生モードの切り替え指示を受ける。
ここでは、モード設定部６５は、スライド式のスイッチとする。
［電源操作部］
電源操作部６７は、撮影者による撮像装置７７の電源ＯＮ／ＯＦＦの指示を受ける。
ここでは、電源操作部６７は、押下を検出する釦式のスイッチとする。

なお、モード設定部６５は、電源操作部６７を兼ねても構わない。

［可変設定部］
可変設定部６６は、後述するとおり、撮影者による、所定条件の変更指示を受ける。

［操作入力領域］
操作入力領域は、図１に図示したとおり、所定の操作入力を行う入力部を１つにまとめた領域である。
この領域に属する入力部は、独立して構成しても、複数組み合わせて構成しても構わない。
また、１つの入力部が複数の入力部の機能を備える構成としても構わない。
また、この領域に属する入力部は、適宜、トグルスイッチ、スナップスイッチ、タクトスイッチ、押しボタンスイッチ、スライドスイッチ、ロータリースイッチ、タッチパネル、等のスイッチの内の一つに置き換えられても構わない。

［記録領域］
記録領域は、図１に図示したとおり、所定の記録部を１つにまとめた領域である。
この領域に属する記録部は、独立して構成しても、複数組み合わせて構成しても構わない。
また、１つの記録部が複数の記録部の機能を備える構成としても構わない。

［情報処理領域］
情報処理領域は、図１に図示したとおり、所定の情報の処理部を１つにまとめた領域である。
この領域に属する処理部は、独立して構成しても、複数組み合わせて構成しても構わない。
また、１つの処理部が複数の処理部の機能を備える構成としても構わない。

＜１−２．撮像部＞
図２は、本実施例において、ライブビュー画像の表示する場合に、撮像部４１が得た「素画像」であるＲＧＢデータを出力する領域を示す図である。
領域Ｇ２は、撮像部４１に備えられた撮像素子が、光電変換信号を取得可能な領域を示している。
領域Ｇ１は、撮像部４１から、ＲＧＢデータを出力する領域を示している。
領域Ｇ１は、ＲＧＢデータとして、表示部１１に表示した場合、表示部の表示領域サイズと丁度等しくなるサイズの領域である。

つまり、本実施例においては、ライブビュー画像を表示部１１に表示する場合、撮像部４１は、領域Ｇ１と領域Ｇ２との差分の領域を間引いて、領域Ｇ１に相当するサイズのＲＧＢデータを出力する。

なお、これに限らず、領域Ｇ２から、画素を均等に間引いて、ＲＧＢデータのサイズが領域Ｇ１と等しくなるように構成しても構わない。
これにより、撮影画角の調整をより自由に行うことができる。

＜１−３．ライブビュー表示過程概要＞
図３は、第１実施例に係る処理を示すフローチャートである。
図３のフローチャートは、その実行を制御部２１により統括及び制御がなされる。
第１実施例に係るライブビュー画像は、下記の過程を経て表示部１１に表示される。

撮像装置１００がオフ状態である場合に電源操作部６７が押下されると、この撮像装置１００の電源がオン状態に遷移する。
この時、モード設定部６５で設定されている動作モードで、この撮像装置１００が起動する。
この撮像装置１００の起動後、モード設定部６５を操作することで、動作モードを変えることも可能である。
動作モードは、「撮影モード」又は「再生モード」の何れか１モードを設定可能である。
以上の流れで、動作モードが「撮影モード」に設定されると、図３に示すフローチャートの実行が開始される。

［ステップＳＡ０１：周囲環境の明るさを取得］
撮像部４１又は輝度測定部４２は、周囲環境の明るさを取得する。
また、この周囲環境の明るさを取得するのに、撮像部４１及び輝度測定部４２の両方を用いて明るさを取得しても構わない。
また、輝度測定部４２は、撮像光学部５０を通して明るさを受光する構成としたが、撮像光学部５０を通さずに明るさを受光する構成であっても構わない。
フローチャートは、ステップＳＡ０２に進む。

［ステップＳＡ０２：明るさが所定以下？］
取得した周囲環境の明るさが所定以下であるか否かを、制御部２１が判断する。
明るさが所定以下である場合、制御部２１は、一時記録部３１に、ライブビュー表示モードの設定として、「設定Ａ」を記録する。
そうではない場合、「設定Ｂ」を記録する。
明るさが所定以下である場合、フローチャートは、ステップＳＡ０３に進む。
そうではない場合、フローチャートは、ステップＳＡ１０に進む。

［ステップＳＡ０３：光電変換信号からＲＧＢデータを生成］
撮像部４１は、光電変換信号を取得して、「素画像」であるＲＧＢデータを生成する。
撮像部４１は、生成したＲＧＢデータを、特殊演算部２２へ出力する。
フローチャートは、ステップＳＡ０４に進む。

［ステップＳＡ０４：合成のタイミング？］
特殊演算部２２は、ＲＧＢデータを合成するタイミングであるかを判断する。
合成のタイミングであると判断した場合、フローチャートは、ステップＳＡ０５に進む。
そうではない場合、フローチャートは、ステップＳＡ０３に進む。

［ステップＳＡ０５：各ＲＧＢデータから合成ＲＧＢデータを生成］
特殊演算部２２は、合成するためのＲＧＢデータを３枚取得する毎に、この３枚のＲＧＢデータを合成して、「合成画像」である合成ＲＧＢデータを生成する。
特殊演算部２２は、このＲＧＢデータの合成の際に、図示しない手振れ検出部により検出した手振れの状態に基づき、ＲＧＢデータの位置ずれを補正した上で、３枚のＲＧＢデータを単純に加算合成することにより、合成ＲＧＢデータを生成する。
この合成により、相対的に明るい画素は更に明るく、相対的に暗い画素は更に暗く、なるので、結果として合成ＲＧＢデータは、ＲＧＢデータと比較してコントラストが向上している。

なお、単純に加算合成した場合、画素によっては、輝度が画素の最大許容値を超えることも、場合によっては生じる。
この場合、合成を行なっても、輝度が画素の最大許容値を超える画素については、ＲＧＢデータ３枚の合成を行なわないように構成しても構わない。

そして、特殊演算部２２は、合成ＲＧＢデータを、表示制御部２５に出力する。
フローチャートは、ステップＳＡ０６に進む。

［ステップＳＡ０６：ライブビュー表示］
表示制御部２５は、合成ＲＧＢデータに基づき、表示部を制御して「ライブビュー画像」を表示させる。
フローチャートは、ステップＳＡ０７に進む。

［ステップＳＡ０７：明るさの取得タイミング？］
制御部２１は、周囲環境の明るさ取得のタイミングであるかを判断する。
ここでは、周囲環境の明るさ取得のタイミングは、ライブビュー画像を１０回表示する毎に訪れるものとする。
明るさの取得タイミングである場合、フローチャートは、ステップＳＡ０８に進む。
そうではない場合、フローチャートは、ステップＳＡ０３に進む。
なお、周囲環境の明るさ取得のタイミングは、これに限らず、所定時間毎に訪れるものとしても構わないし、更にこの所定時間は、現在時刻により変化するものとしても構わない。
例えば、夜は暗いシーンでの撮影チャンスが多いものとして、夜であれば所定時間が短く、昼であれば所定時間が長く、なるように自動的に設定変更される構成としても構わない。

［ステップＳＡ０８：撮影指示？］
撮影指示部６１への操作に基づき、制御部２１は、撮影指示が入力されたか判断する。
撮影指示部６１が完全に押下されると撮影指示が入力されたものと判断し、ライブビュー画像の撮影を一時中断すると共に、記録用画像の撮影が、撮像部４１により行われる。
この場合、記録用画像のサイズは、ライブビュー画像の生成に用いていた領域サイズと等しい、撮像素子の領域サイズを用いて行なう。
撮影指示が入力された場合、フローチャートは、ステップＳＡ０９に進む。
そうではない場合、フローチャートは、ステップＳＡ０１に進む。

［ステップＳＡ０９：記録用画像の撮像及び記録］
制御部２１は、記録用画像を取得するように各部に指示を出力する。
撮像部４１は、ＲＧＢデータを生成し、撮像処理部２４に出力する。
撮像処理部２４は、ＲＧＢデータからＹＵＶデータを生成し、画像圧縮部２３に出力する。
画像圧縮部２３は、ＹＵＶデータからＪＰＥＧデータを生成し、外部記録装着部３３を介して、外部記録部３４にＪＰＥＧデータを記録する。
フローチャートは、リターンに進む。
この後、動作モードの変更が無ければ、再びこのフローチャートが再実行される。

［ステップＳＡ１０：光電変換信号からＲＧＢデータを生成］
撮像部４１は、光電変換信号を取得して、ＲＧＢデータを生成する。
撮像部４１は、生成したＲＧＢデータを、特殊演算部２２へ出力する。
フローチャートは、ステップＳＡ１１に進む。

［ステップＳＡ１１：ライブビュー表示］
表示制御部２５は、合成ＲＧＢデータに基づき、表示部を制御して「ライブビュー画像」を表示させる。
フローチャートは、ステップＳＡ１２に進む。

［ステップＳＡ１２：明るさの取得タイミング？］
制御部２１は、周囲環境の明るさ取得のタイミングであるかを判断する。
ここでは、周囲環境の明るさ取得のタイミングは、ライブビュー画像を１０回表示する毎に訪れるものとする。
明るさの取得タイミングである場合、フローチャートは、ステップＳＡ０８に進む。
そうではない場合、フローチャートは、ステップＳＡ１０に進む。
なお、周囲環境の明るさ取得のタイミングは、これに限らず、所定時間毎に訪れるものとしても構わないし、更にこの所定時間は、現在時刻により変化するものとしても構わない。
例えば、夜は暗いシーンでの撮影チャンスが多いものとして、夜であれば所定時間が短く、昼であれば所定時間が長く、なるように自動的に設定変更される構成としても構わない。

なお、撮像部４１は、撮像手段、及び撮像制御手段として機能する。
また、情報処理領域２０、特に表示制御部２５は、表示制御手段として機能する。

このように構成することにより、周辺環境の明るさに応じて、ライブビュー画像のコントラストを自動的に変更することが出来る。
これにより、周辺環境が明るい場合は、自然な風合いを感じることが出来る通常のライブビュー画像として、周辺環境が暗い場合は、コントラストが高いライブビュー画像とすることが出来る。
つまり、ライブビュー画像の確認をより便利に行なうことが出来る。

なお、上記フローチャートにおいては、各処理をどこで行なうか明記しているが、他の場所で実行されても構わない。
例えば、情報処理領域内であれば、何れの部位で、各処理が実行されても構わない。

＜１−４．具体例Ａ＞
図４は、第１実施例に係るライブビュー画像表示の具体例Ａを示す図である。
素画像Ａ１−１、素画像Ａ１−２、・・・、及び、素画像Ａ１−６、・・・、は、撮像部４１で生成したＲＧＢデータを示す。
合成画像Ａ２−１、合成画像Ａ２−２、・・・、は、特殊演算部２２で生成した合成ＲＧＢデータを示す。
本具体例においては、新たに３枚の素画像が生成される度に、１枚の合成画像を生成している。

各素画像は、撮像部４１で、レートＡ（例えば９０ｆｐｓ）にて撮影される。
各合成画像に基づくライブビュー画像は、表示部１１で、レートＢ（例えば３０ｆｐｓ）の更新間隔で表示される。
ここで、現状、横幅４８０画素で縦幅３６０画素の素画像を、２１０ｆｐｓで撮影する撮像装置（カシオ計算機製：ＥＸ−ＦＣ１００）が存在していることを明記しておく。
このように、９０ｆｐｓで素画像を取得することは現状可能である。

なお、上記実施例においては、特殊演算部２２は、素画像３枚を合成するものとしたが、２枚でも４枚でも５枚でも、２枚以上であれば何枚を合成するものであっても構わない。
合成する枚数を増加すると画像合成に伴う手振れの影響が出易くなるというデメリットが発生する一方でライブビュー画像が明るくなるというメリットが発生する。
また逆に、合成する枚数を減少するとライブビュー画像が暗くなるというデメリットが発生する一方で画像合成に伴う手振れの影響が出難くなるというメリットが発生する。

＜１−５．具体例Ｂ＞
図５は、本実施例に係るライブビュー画像の表示具体例Ｂを示す図である。
素画像Ｂ１−１、素画像Ｂ１−２、・・・、及び、素画像Ｂ１−６、・・・、は、撮像部４１で生成したＲＧＢデータを示す。
合成画像Ｂ２−１、合成画像Ｂ２−２、合成画像Ｂ２−３・・・、は、特殊演算部２２で生成した合成ＲＧＢデータを示す。
本具体例においては、新たに１枚の素画像が生成される度に、１枚の合成画像を生成している。
なお、この具体例においては、合成画像を全て表示すると、画像の生成レートが高すぎて表示部の表示更新能力が及ばないことが考えられるので、合成画像の全てを表示する必要はなく、例えば１つ、２つ、３つ、４つ、・・・・、Ｎ枚、・・・飛ばしで合成画像を表示するようにしても良い。
更には、表示する画像のみを合成するように構成しても構わない。

（第２実施例）
以下に、本発明に係る第２実施例について説明する。
第２実施例は、第１実施例と、その動作モードが異なるのみで、同じ撮像装置により実現されるものであるから、その説明詳細は第１実施例と同じものとして、以下にはその差分を中心に説明する。
第２実施例においては、素画像を生成する増幅率を、低増幅率、中増幅率、高増幅率、の３段階、低中高、又は高中低の順番で順次変更するライブビューの表示モードを追加している。
このように増幅率（例えばＩＳＯ感度）の異なる画像を合成することで、ダイナミックレンジが擬似的に広がったように見える合成画像を得ることが出来ることが分かっている。
第２実施例においては、これにより更に確認し易いライブビュー画像を提供することが出来る。

＜２−１．ライブビュー表示過程概要＞
図６は、第２実施例に係る処理を示すフローチャートである。
図６のフローチャートは、その実行を制御部２１により統括及び制御がなされる。
第２実施例に係るライブビュー画像は、下記の過程を経て表示部１１に表示される。

［ステップＳＢ０１：周囲環境の明るさを取得］
撮像部４１又は輝度測定部４２は、周囲環境の明るさを取得する。
また、この周囲環境の明るさを取得するのに、撮像部４１及び輝度測定部４２の両方を用いて明るさを取得しても構わない。
また、輝度測定部４２は、撮像光学部５０を通して明るさを受光する構成としたが、撮像光学部５０を通さずに明るさを受光する構成であっても構わない。
また、撮像部４１は、光電変換信号を取得して、「サンプル画像」であるＲＧＢデータを生成する。
撮像部４１は、このＲＧＢデータを、制御部２１に出力する。
フローチャートは、ステップＳＢ０２に進む。

［ステップＳＢ０２：明るさが所定以下？］
取得した周囲環境の明るさが所定以下であるか否かを、制御部２１が判断する。
明るさが所定以下である場合、制御部２１は、一時記録部３１に、ライブビュー表示モードの設定として、「設定Ａ」を記録する。
明るさが所定以下である場合、フローチャートは、ステップＳＢ０３に進む。
そうではない場合、フローチャートは、ステップＳＢ１６に進む。

［ステップＳＢ０３：サンプル画像が所定状態？］
サンプル画像が所定状態であるか否かを、制御部２１が判断する。
この所定状態とは、ここでは、サンプル画像のダイナミックレンジが狭いために、黒つぶれ及び白とびしている画素が発生している状態とする。
サンプル画像が所定状態である場合、制御部２１は、一時記録部３１に、ライブビュー表示モードの設定として、「設定Ｂ」を記録する。
そうではない場合、「設定Ｃ」を記録する。
サンプル画像が所定状態である場合、フローチャートは、ステップＳＢ０４に進む。
そうではない場合、フローチャートは、ステップＳＢ１１に進む。

［ステップＳＢ０４：光電変換信号からＲＧＢデータを生成］
撮像部４１は、光電変換信号を取得して、「素画像」であるＲＧＢデータを生成する。
このＲＧＢデータの生成は、所定の増幅率に基づく。
ここで、この増幅率は、使用者により設定された「ＩＳＯ感度」に基づくものとする。
第２実施例においては、撮像部４１は、図７又は図８に示すように、撮影の度に撮影条件を自動で変更する。
この撮影条件は、この増幅率を、低増幅率、中増幅率、高増幅率、の３段階、低中高、又は高中低の順番で順次変更される。
撮像部４１は、生成したＲＧＢデータを、特殊演算部２２へ出力する。
フローチャートは、ステップＳＢ０５に進む。
撮像部４１は、光電変換信号からＲＧＢデータを生成する

［ステップＳＢ０５：合成のタイミング？］
特殊演算部２２は、ＲＧＢデータを合成するタイミングであるかを判断する。
合成のタイミングであると判断した場合、フローチャートは、ステップＳＢ０６に進む。
そうではない場合、フローチャートは、ステップＳＢ０４に進む。

［ステップＳＢ０６：各ＲＧＢデータから合成ＲＧＢデータを生成］
特殊演算部２２は、合成するためのＲＧＢデータを３枚取得する毎に、この３枚のＲＧＢデータを合成して、「合成画像」である合成ＲＧＢデータを生成する。
特殊演算部２２は、このＲＧＢデータの合成の際に、図示しない手振れ検出部により検出した手振れの状態に基づき、ＲＧＢデータの位置ずれを補正した上で、３枚のＲＧＢデータを単純に加算合成することにより、合成ＲＧＢデータを生成する。
この合成により、相対的に明るい画素は更に明るく、相対的に暗い画素は更に暗く、なるので、結果として合成ＲＧＢデータは、ＲＧＢデータと比較してコントラストが向上している。

なお、単純に加算合成した場合、画素によっては、輝度が画素の最大許容値を超えることも、場合によっては生じる。
この場合、合成を行なっても、輝度が画素の最大許容値を超える画素については、ＲＧＢデータ３枚の合成を行なわないように構成しても構わない。

そして、特殊演算部２２は、合成ＲＧＢデータを、表示制御部２５に出力する。
フローチャートは、ステップＳＢ０７に進む。

［ステップＳＢ０７：ライブビュー表示］
表示制御部２５は、合成ＲＧＢデータに基づき、表示部を制御して「ライブビュー画像」を表示させる。
フローチャートは、ステップＳＢ０８に進む。

［ステップＳＢ０８：明るさの取得タイミング？］
制御部２１は、周囲環境の明るさ取得のタイミングであるかを判断する。
ここでは、周囲環境の明るさ取得のタイミングは、ライブビュー画像を１０回表示する毎に訪れるものとする。
明るさの取得タイミングである場合、フローチャートは、ステップＳＢ０９に進む。
そうではない場合、フローチャートは、ステップＳＢ０４に進む。
なお、周囲環境の明るさ取得のタイミングは、これに限らず、所定時間毎に訪れるものとしても構わないし、更にこの所定時間は、現在時刻により変化するものとしても構わない。
例えば、夜は暗いシーンでの撮影チャンスが多いものとして、夜であれば所定時間が短く、昼であれば所定時間が長く、なるように自動的に設定変更される構成としても構わない。

［ステップＳＢ０９：撮影指示？］
撮影指示部６１への操作に基づき、制御部２１は、撮影指示が入力されたか判断する。
撮影指示部６１が完全に押下されると撮影指示が入力されたものと判断し、ライブビュー画像の撮影を一時中断すると共に、記録用画像の撮影が、撮像部４１により行われる。
この場合、記録用画像のサイズは、ライブビュー画像の生成に用いていた領域サイズと等しい、撮像素子の領域サイズを用いて行なう。
撮影指示が入力された場合、フローチャートは、ステップＳＢ１０に進む。
そうではない場合、フローチャートは、ステップＳＢ０１に進む。

［ステップＳＢ１０：記録用画像の撮像及び記録］
制御部２１は、記録用画像を取得するように各部に指示を出力する。
撮像部４１は、ＲＧＢデータを生成し、撮像処理部２４に出力する。
撮像処理部２４は、ＲＧＢデータからＹＵＶデータを生成し、画像圧縮部２３に出力する。
画像圧縮部２３は、ＹＵＶデータからＪＰＥＧデータを生成し、外部記録装着部３３を介して、外部記録部３４にＪＰＥＧデータを記録する。
フローチャートは、リターンに進む。
この後、動作モードの変更が無ければ、再びこのフローチャートが再実行される。

［ステップＳＢ１１：光電変換信号からＲＧＢデータを生成］
撮像部４１は、光電変換信号を取得して、「素画像」であるＲＧＢデータを生成する。
撮像部４１は、生成したＲＧＢデータを、特殊演算部２２へ出力する。
フローチャートは、ステップＳＢ１２に進む。

［ステップＳＢ１２：合成のタイミング？］
特殊演算部２２は、ＲＧＢデータを合成するタイミングであるかを判断する。
合成のタイミングであると判断した場合、フローチャートは、ステップＳＢ１３に進む。
そうではない場合、フローチャートは、ステップＳＢ１１に進む。

［ステップＳＢ１３：各ＲＧＢデータから合成ＲＧＢデータを生成］
特殊演算部２２は、合成するためのＲＧＢデータを３枚取得する毎に、この３枚のＲＧＢデータを合成して、「合成画像」である合成ＲＧＢデータを生成する。
特殊演算部２２は、このＲＧＢデータの合成の際に、図示しない手振れ検出部により検出した手振れの状態に基づき、ＲＧＢデータの位置ずれを補正した上で、３枚のＲＧＢデータを単純に加算合成することにより、合成ＲＧＢデータを生成する。
この合成により、相対的に明るい画素は更に明るく、相対的に暗い画素は更に暗く、なるので、結果として合成ＲＧＢデータは、ＲＧＢデータと比較してコントラストが向上している。

なお、単純に加算合成した場合、画素によっては、輝度が画素の最大許容値を超えることも、場合によっては生じる。
この場合、合成を行なっても、輝度が画素の最大許容値を超える画素については、ＲＧＢデータ３枚の合成を行なわないように構成しても構わない。

そして、特殊演算部２２は、合成ＲＧＢデータを、表示制御部２５に出力する。
フローチャートは、ステップＳＢ１４に進む。

［ステップＳＢ１４：ライブビュー表示］
表示制御部２５は、合成ＲＧＢデータに基づき、表示部を制御して「ライブビュー画像」を表示させる。
フローチャートは、ステップＳＢ１５に進む。

［ステップＳＢ１５：明るさの取得タイミング？］
制御部２１は、周囲環境の明るさ取得のタイミングであるかを判断する。
ここでは、周囲環境の明るさ取得のタイミングは、ライブビュー画像を１０回表示する毎に訪れるものとする。
明るさの取得タイミングである場合、フローチャートは、ステップＳＢ０９に進む。
そうではない場合、フローチャートは、ステップＳＢ１１に進む。
なお、周囲環境の明るさ取得のタイミングは、これに限らず、所定時間毎に訪れるものとしても構わないし、更にこの所定時間は、現在時刻により変化するものとしても構わない。
例えば、夜は暗いシーンでの撮影チャンスが多いものとして、夜であれば所定時間が短く、昼であれば所定時間が長く、なるように自動的に設定変更される構成としても構わない。

［ステップＳＢ１６：光電変換信号からＲＧＢデータを生成］
撮像部４１は、光電変換信号を取得して、ＲＧＢデータを生成する。
撮像部４１は、生成したＲＧＢデータを、特殊演算部２２へ出力する。
フローチャートは、ステップＳＢ１７に進む。

［ステップＳＢ１７：ライブビュー表示］
表示制御部２５は、合成ＲＧＢデータに基づき、表示部を制御して「ライブビュー画像」を表示させる。
フローチャートは、ステップＳＢ１８に進む。

［ステップＳＢ１８：明るさの取得タイミング？］
制御部２１は、周囲環境の明るさ取得のタイミングであるかを判断する。
ここでは、周囲環境の明るさ取得のタイミングは、ライブビュー画像を１０回表示する毎に訪れるものとする。
明るさの取得タイミングである場合、フローチャートは、ステップＳＢ０９に進む。
そうではない場合、フローチャートは、ステップＳＢ１６に進む。
なお、周囲環境の明るさ取得のタイミングは、これに限らず、所定時間毎に訪れるものとしても構わないし、更にこの所定時間は、現在時刻により変化するものとしても構わない。
例えば、夜は暗いシーンでの撮影チャンスが多いものとして、夜であれば所定時間が短く、昼であれば所定時間が長く、なるように自動的に設定変更される構成としても構わない。

なお、撮像部４１は、撮像手段、及び撮像制御手段として機能する。
また、情報処理領域２０、特に表示制御部２５は、表示制御手段として機能する。

このように構成することにより、周辺環境の明るさに応じて、ライブビュー画像のコントラストを自動的に変更することが出来る。
これにより、周辺環境が所定値を超えて明るい場合は、自然な風合いを感じることが出来る通常のライブビュー画像として、周辺環境が所定値を下回って暗い場合は、コントラストが高いライブビュー画像とすることが出来る。
また、周辺環境が所定値を下回って暗い場合であって、サンプル画像が、ダイナミックレンジが狭いために、黒つぶれ及び白とびしている画素が発生している状態である場合は、増幅率が異なる素画像を合成して、ダイナミックレンジを擬似的に広げた合成画像を表示し、サンプル画像がそうではない場合は、増幅率が同一の素画像を合成して、より自然な風合いに近い合成画像を表示することが出来る。
これにより、ライブビュー画像の確認をより便利に行なうことが出来る。

なお、上記フローチャートにおいては、各処理をどこで行なうか明記しているが、他の場所で実行されても構わない。
例えば、情報処理領域内であれば、何れの部位で、各処理が実行されても構わない。

＜２−２．具体例Ｃ＞
図７は、第２実施例に係るライブビュー画像表示の具体例Ｃを示す図である。
素画像Ｃ１−１、素画像Ｃ１−２、・・・、及び、素画像Ｃ１−６、・・・、は、撮像部４１で生成したＲＧＢデータを示す。
合成画像Ｃ２−１、合成画像Ｃ２−２、・・・、は、特殊演算部２２で生成した合成ＲＧＢデータを示す。
本具体例においては、新たに３枚の素画像が生成される度に、１枚の合成画像を生成している。

なお、本実施例においても第１実施例の具体例Ｂと同様に、順次画像を合成する処理を導入しても構わないし、合成及び／又は表示する画像をＮ枚飛ばしに構成しても構わない。

なお、上記実施例においては、特殊演算部２２は、素画像３枚を合成するものとしたが、６枚でも９枚でも１２枚でも、３枚の倍数枚であれば何枚を合成するものであっても構わない。

（第３実施例）
以下に、本発明に係る第３実施例について説明する。
第３実施例は、第２実施例と、その動作モード詳細が異なるのみで、同じ撮像装置により実現されるものであるから、その説明詳細は第２実施例と同じものとして、以下にはその差分を中心に説明する。
第２実施例においては、図６に示すフローチャートに基づき制御されるものとしたが、図８に示すフローチャートに基づき制御されるものとする。
図６と図８とのフローチャートにおいて異なるのは、ステップＳＣ０１のみである。
図８のフローチャートは、その実行を制御部２１により統括及び制御がなされる。

第１実施例及び第２実施例においては、ライブビュー表示モードを自動で変更するものであったが、第３実施例は、これを手動で変更するものである。

撮像装置１００がオフ状態である場合に電源操作部６７が押下されると、この撮像装置１００の電源がオン状態に遷移する。
この時、モード設定部６５で設定されている動作モードで、この撮像装置１００が起動する。
この撮像装置１００の起動後、モード設定部６５を操作することで、動作モードを変えることも可能である。
動作モードは、「撮影モード」又は「再生モード」の何れか１モードを設定可能である。
以上の流れで、動作モードが「撮影モード」に設定されると、図８に示すフローチャートの実行が開始される。
ここで、初期状態においては、ライブビュー表示モードとして、「設定Ａ」が設定されている。

このライブビュー表示モードを変更する方法を以下に開示する。
以下の処理は、図８のフローチャートに図示しない割り込み処理である。
図８のフローチャートの実行中に、メニュー操作部６４が押下されると、メニューが表示される。
この表示されたメニューより、「ライブビュー表示モード」欄から、所望のライブビュー表示モードの名称を、移動操作部６２を逐次操作して選択する。
所望のライブビュー表示モードを選択したら、決定指示部６３を押下することで、選択したライブビュー表示モードが設定される。
つまり、ライブビュー表示モードの設定として、制御部２１が、「設定Ａ」、「設定Ｂ」、又は、「設定Ｃ」、を、一時記録部３１に記録する。
このようにして、ライブビュー表示モードの設定変更が可能となる。
これにより、ライブビュー画像の確認をより便利に行なうことが出来る。

なお、上記メニューにおいては、ライブビュー表示モードの名称に添えて、ライブビュー画像を縮小した縮小ライブビュー画像を表示するようにしても構わない。
これにより、使用者は、より的確に、所望のライブビュー表示モードを選択することが出来る。

なお、メニュー操作部の操作による、ライブビュー画像表示モードの選択に基づき、ライブビュー画像の表示モードが設定するものとしたが、可変設定部６６も活用して表示モードを選択するものとしても良い。

なお、上記第１実施例乃至第３実施例においては、デジタル及びアナログのスチルカメラ及びビデオカメラ、又はカメラを搭載した携帯電話やＰＤＡなどの電子機器を含む、撮像装置に適用出来る。

（構成形態）
上記した本発明は、種々の段階の発明により構成されている。
本発明は、前述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。
また、前述した実施形態で開示された各機能は、可能な限り適宜組み合わせて実施しても構わない。
前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組み合わせにより種々の発明が抽出され得る。
例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

下記に、本発明から構成し得る構成形態の一例を記載しておく。

従来、特開２００８−２６７２０号公報に記載されている通り、ライブビュー画像表示の輝度を設定できる撮像装置が存在した。
この撮像装置は、少なくとも周囲の光量に応じて、液晶表示のバックライトの輝度値を調整している。
しかしながら、この場合、ライブビュー画像の輝度ではなく、バックライトの輝度を調整することにより、ライブビュー画像表示の輝度調整をいっていたから、ライブビュー画像の輝度とバックライトの輝度の両方を鑑みて輝度調整を行うことになり、制御が複雑になると共に、微妙な調整を行うのが難しいという問題があった。
本構成形態Ａは、上記に鑑みたものであり、ライブビュー画像を制御して画面に表示する輝度制御を行う撮像装置に関するものである。

［構成形態Ａ］
高速連写を行い、複数の連続した素画像を生成する撮像部（撮像部４１）と、
表示部（表示部１１）と、
合成条件に基づき、前記高速連写により生成された連続した素画像を、選択すると共に合成した合成画像を生成する合成手段（特殊演算部２２）と、
前記合成手段により生成された合成画像を、前記表示部に順次表示する表示制御手段（表示制御部２５）と、
を備える
ことを特徴とする、撮像装置（撮像装置１００）。

１１ 表示部
１２ 表示制御部
２１ 制御部
２２ 特殊演算部

Claims (7)

1. 表示手段と、
   撮像手段と、
   この表示手段の表示更新間隔よりも速い間隔で撮像するよう前記撮像手段を制御する撮像制御手段と、
   前記表示手段の表示更新間隔に基づいて、前記撮像制御手段によって撮像された画像を加算合成して表示させるよう制御する表示制御手段と、
   を備える
   ことを特徴とする、撮像装置。
2. 前記表示制御手段は、周辺環境の明るさが所定以下である場合で実行される
   ことを特徴とする、請求項１に記載の撮像装置。
3. 前記撮像制御手段は、前記画像を、光電変換信号から生成するための増幅率に基づき撮像すると共に、
   前記画像生成の都度、前記増幅率を変更して画像を撮像する
   ことを特徴とする、請求項１又は２に記載の撮像装置。
4. 前記表示制御手段は、前記加算合成する画像の対象を、生成順番が連続する３の倍数枚の画像とし、
   前記増幅率は、低増幅率、中増幅率、高増幅率、の３段階、低中高、又は高中低の順番で順次変更される条件である
   ことを特徴とする、請求項３に記載の撮像装置。
5. 前記表示制御手段における、撮像された画像の表示制御方法を設定する設定手段を備え、
   前記表示制御手段は、前記表示制御方法を、前記設定手段の設定に基づき設定する
   ことを特徴とする、請求項１に記載の撮像装置。
6. 表示手段と、撮像手段と、を備える撮像装置の撮影方法であって、
   この表示手段の表示更新間隔よりも速い間隔で撮像するよう前記撮像手段を制御する撮像制御工程と、
   前記表示手段の表示更新間隔に基づいて、前記撮像制御工程によって撮像された画像を加算合成して表示するよう制御する表示制御工程と、
   を有する
   ことを特徴とする、撮影方法。
7. 表示手段と、撮像手段と、を備える撮像装置の有するコンピュータが実行するプログラムであって、
   前記コンピュータに、
   この表示手段の表示更新間隔よりも速い間隔で撮像するよう前記撮像手段を制御する撮像制御機能と、
   前記表示手段の表示更新間隔に基づいて、前記撮像制御機能によって撮像された画像を加算合成して表示するよう制御する表示制御機能と、
   を実現させる
   ことを特徴とする、プログラム。