JP2007300463A - カメラ装置および画像処理方法 - Google Patents

Abstract

【課題】被写体の部分により明るさに大きな差があっても、被写体の全体の内容を確認できる撮像画像を得ることができるカメラ装置を提供すること。
【解決手段】１つの被写体を異なる露光時間または異なる絞りで撮像した複数の撮像画像を得る。そして、ある撮像画像に、所定の受光レベル外となる部分を所定の受光レベル内の部分として撮影されている他の撮像画像の部分と置換をし、この置換によって合成され撮像画像をモニタ映像として表示する。
【選択図】図４

Description

本発明は、カメラ装置に関するものである。

ＣＣＤあるいはＣＭＯＳ等の撮像素子を用いるカメラ装置として、例えば、特開２００４−２７１９０２号が開示されている。このようなカメラ装置は、被写体の輝度に応じて絞り径を変化させたり、あるいは、フレームレートを変化させることにより、撮像画像による電荷蓄積量が、撮像素子のダイナミックレンジ内に納まるように制御される。

例えば、室内を撮影する場合には、一般に被写体の輝度が低いことから、絞り径を大きくして撮像画像の輝度を高くしたり、あるいはフレームレートを小さくして撮像素子の電荷蓄積時間を長くすることにより、撮像素子の電荷蓄積量が充分多くなるようにする。

逆に、晴れた日中の屋外を撮影する場合には、被写体の輝度は充分に高いため、撮像素子の電荷蓄積量が飽和しないように、絞り径を小さくして撮像画像の輝度を低くしたり、あるいはフレームレートを大きくして撮像素子の電荷蓄積時間を短くする。

特開２００３−２４７９０２号公報（要約書の記載等を参照）

しかしながら、このような従来のカメラ装置においては、例えば、薄暗い室内と、その中にある明るい電灯を一緒に撮影する場合に、室内の全体の明るさに合わせて絞り径やフレームレートを設定すると、電灯とその周辺部分の被写体の撮像画像は露出オーバーとなる。すなわち、電灯とその周辺部分の撮像画像の結像位置にある撮像素子は、電荷の蓄積量が飽和状態となる。そして、この部分の撮像画像は、白っぽくなってしまったり、あるいは白くつぶれてしまういわゆる白とびの状態となる。

逆に、電灯の明るさに合わせて絞り径やフレームレートを設定すると、電灯とその周辺以外の部分の被写体の撮像画像は露出アンダーとなる。すなわち、この部分の撮像画像の結像位置にある撮像素子は、電荷の蓄積量が不足する。そして、この部分の撮像画像は、黒っぽくなってしまったり、あるいは黒くつぶれてしまういわゆる黒つぶれの状態となる。

晴れた日中の屋外を撮影する場合も同様の問題があり、明るい屋外の明るさに合わせて絞り径やフレームレートを設定すると、日陰の部分の撮像画像は露出がアンダーとなり、黒つぶれの撮像画像になってしまう。逆に、日陰部分の明るさに合わせて絞り径やフレームレートを設定すると、日陰部分を除いた部分の撮像画像は露出オーバーとなり、白とびが生じることになる。

このように、被写体の各部分によって明るさに大きな差がある場合には、撮像画像の中に、露出オーバーの部分あるいは露出アンダーの部分ができる。そのため、この露出オーバーの部分では白とびが生じ、また、露出アンダーの部分では、黒つぶれが生じ、白とびや黒つぶれの部分では、撮像画像の内容が見え難いものとなってしまう問題がある。

かかる問題は、撮影レンズの画角が広くなると特に顕在化する傾向にある。すなわち、撮影レンズにいわゆる広角レンズを用いて広い範囲の被写体を撮像する場合には、色々な輝度の被写体が撮像される可能性が高くなる。そのため、被写体の明るさに大きな差が生じて、一部の被写体の明るさを基準にして絞り径や露光時間を設定すると、他の部分の撮像画像が露出オーバーや露出アンダーとなり、この他の部分に白とびや黒つぶれが生じ撮像画像の内容が見え難いものとなってしまうという問題が起こり易い。

そこで、本発明は、被写体の部分により明るさに大きな差があっても、被写体の全体の内容を確認できる撮像画像を得ることができるカメラ装置を提供することを課題とする。

上述の課題を解決するため、本発明のカメラ装置は、撮影レンズと、撮影レンズを透過した被写体光が結像する撮像手段と、撮像手段に結像した撮像画像の画像データの画像処理を行う画像処理制御手段とを備え、被写体を連続して撮影するカメラ装置であって、撮像手段の露光時間を少なくとも２段階に所定のタイミングで変化させる露光時間変化手段と、撮像手段の受光レベルを撮像画像の部分単位で測定する受光レベル測定手段と、撮像手段の部分単位の受光レベルが所定の受光レベル内か否かを判断する受光レベル判定手段と、受光レベル判定手段により受光レベルを判定された部分が、所定の受光レベル内にないと判断された受光レベル不適正部分であるときは、この受光レベル不適正部分の画像データを、他の撮像画像の受光レベル不適正部分と対応する画像位置の部分であって所定の受光レベル内の受光レベル適正部分の画像データに置換する画像置換手段とを備えることとする。

カメラ装置をこのような構成とすることにより、１つの被写体を異なる露光時間で撮像した複数の撮像画像を得ることができる。したがって、１つの撮像画像には、所定の受光レベル外となる部分があっても、他の撮像画像には、この部分が所定の受光レベル内の部分として撮影されている場合がある。そして、所定の受光レベル外となっている部分を、他の撮像画像のこの部分に対応する部分であって所定の受光レベル内となっている部分の撮像画像に置換することにより、所定の受光レベル外となっている部分を所定の輝度レベル内とした撮像画像を得ることができる。

また、他の発明は、上述の発明に加え、受光レベル不適正部分と置換される受光レベル適正部分を有する撮像画像が複数あるときは、受光レベル不適正部分を有する撮像画像を撮像した時期に一番近い撮像画像の受光レベル適正部分と置換することとする。

カメラ装置をこのような構成とすることにより、置換される部分の撮像画像と置換する部分の撮像画像の変化を少ないものとすることができ、撮像画像の置換部分と置換されていない部分とのつながりの違和感を少なくすることができる。

また、他の発明は、上述の発明に加え、露光時間変化手段は、撮像手段の撮像フレーム毎に露光時間を変化させることとする。

カメラ装置をこのような構成とすることにより、置換される部分の撮像画像と置換する部分の撮像画像に変化が少ないため、撮像画像の置換部分と置換されていない部分とのつながりの違和感を少なくすることができる。

また、他の発明は、上述の発明に加え、露光時間変化手段は、フレームレート変更手段であることとする。

カメラ装置をこのような構成とすることにより、露光時間の変更を容易に、かつ、早いタイミングで変えることができる。

また、他の発明は、上述の発明に加え、露光時間変化手段は、シャッタ速度変更手段であることとする。

カメラ装置をこのような構成とすることにより、露光時間の変更を容易に、かつ、早いタイミングで変えることができる。

また、他の発明は、上述の発明に加え、少なくとも２段階の露光時間の１の露光時間は、受光レベル不適正部分の受光レベルを所定の受光レベル内にする露光時間であることとする。

カメラ装置をこのような構成とすることにより、受光レベル不適正部分の受光レベルを効果的に所定の受光レベル内で撮像することができる。すなわち、受光レベル不適正部分に置換するための受光レベル適正部分を確実に得ることができる。

また、他の発明は、上述の発明に加え、撮像レンズは、広角レンズであることとする。

カメラ装置をこのような構成とすることにより、上述の発明の効果に加え、広い範囲の被写体を撮影することができる。

上述の課題を解決するため、本発明の画像処理方法は、撮影レンズにより撮像手段に結像した被写体の撮像画像について画像処理を行う画像処理方法において、撮像手段の露光時間を少なくとも２段階に所定のタイミングで変化させる露光時間変化ステップと、撮像手段の受光レベルを撮像画像の部分単位で測定する受光レベル測定ステップと、撮像手段の部分単位の受光レベルが所定の受光レベル内か否かを判断する受光レベル判定ステップと、受光レベル判定ステップにより受光レベルを判定された部分が、所定の受光レベル内にないと判断された受光レベル不適正部分であるときは、この受光レベル不適正部分の画像データを、他の撮像画像の受光レベル不適正部分と対応する画像位置の部分であって所定の受光レベル内の受光レベル適正部分の画像データに置換する画像置換ステップとを備えることとした。

画像処理方法をこのような方法とすることにより、１つの被写体を異なる露光時間で撮像した複数の撮像画像を得ることができる。したがって、１つの撮像画像には、所定の受光レベル外となる部分があっても、他の撮像画像には、この部分が所定の受光レベル内の部分として撮影されている場合がある。そして、所定の受光レベル外となっている部分を、他の撮像画像のこの部分に対応する部分であって所定の受光レベル内となっている部分の撮像画像に置換することにより、所定の受光レベル外となっている部分を所定の輝度レベル内とした撮像画像を得ることができる。

上述の課題を解決するため、本発明のカメラ装置は、撮影レンズと、撮影レンズを透過した被写体光が結像する撮像手段と、撮像手段に結像した撮像画像の画像データの画像処理を行う画像処理制御手段とを備え、被写体を連続して撮影するカメラ装置であって、撮像手段の露光時間を少なくとも２段階に変化させて撮影した露光時間が異なる複数の撮像画像の明瞭な部分同士を合成して全体が明瞭となる撮像画像を記録または表示することとした。

カメラ装置をこのような構成とすることにより、１つの被写体を異なる露光時間で撮像した複数の撮像画像を得ることができる。したがって、複数の撮像画像にはそれぞれ、明瞭な撮像画像の部分ができる。この明瞭な部分同士を合成することにより、全体が明瞭ななる撮像画像を記録または表示することができる。

上述の課題を解決するため、本発明の画像処理方法は、撮影レンズにより撮像手段に結像した被写体の撮像画像について画像処理を行う画像処理方法において、撮像手段の露光時間を少なくとも２段階に変化させて露光時間が異なる複数の撮像画像を撮影し、これらの露光時間が異なる複数の撮像画像の明瞭な部分同士を合成して全体が明瞭となる撮像画像を記録または表示することとした。

画像処理方法をこのような方法とすることにより、１つの被写体を異なる露光時間で撮像した複数の撮像画像を得ることができる。したがって、複数の撮像画像にはそれぞれ、明瞭な撮像画像の部分ができる。この明瞭な部分同士を合成することにより、全体が明瞭ななる撮像画像を記録または表示することができる。

本発明のカメラ装置および画像処理方法によれば、被写体の部分により明るさに大きな差があっても、被写体の全体の内容を確認できる撮像画像を得ることができる。

本発明の実施の形態に係るカメラ装置１００について、図１から図６を参照しながら説明する。なお、このカメラ装置１００は、家庭用や事務所用の監視カメラとして使用できる他、会議の風景の撮影、製品検査のための撮影を行うカメラ装置として使用することができる。なお、画像処理方法については、カメラ装置１００の動作に併せて説明する。

図１に、本発明の実施の形態に係るカメラ装置１００の外観の構成を示す。カメラ部１００は、図面中点線にて図示をする外装筐体１１０、光学系１２０、撮像手段としての撮像素子１３０および回路装置１４０を備えている。外装筐体１１０は、例えば、３ｃｍ四方の略直方体を呈する小型の形態となっている。光学系１２０は、撮影レンズ１２１およびレンズ鏡筒１２２を有している。

光学系１２０は、そのレンズ鏡筒１２２が外装筐体１１０内に収容され、撮影レンズ１２１を外装筐体１１０の外部に露出させている。撮影レンズ１２１は、１８０度の広い画角の光学特性を有するいわゆる広角レンズである。この撮影レンズ１２１は、被写体光の入射側となる前面が通常の凸レンズ程度の膨らみとなっており、平面に近いものとなっている。しかし、レンズ内部のガラスの処理に工夫を施し、１８０度の画角を有し、かつ光軸周りの全周囲、すなわち３６０度の全周囲に亘って撮影可能となっている。

撮影レンズ１２１の結像位置には、撮像手段としての撮像素子１３０が配設されている。撮像素子１３０としては、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）を使用する。ＣＭＯＳの代わりにＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やその他の光電変換素子を使用してもよい。

レンズ鏡筒１２２には、ピント調整ノブ１２３が設けられている。レンズ鏡筒１２２は、ピント調整ノブ１２３を手指で摘んで光軸の周りに回転させると、撮像素子１３０に対して、光軸方向に進退するように構成されている。したがって、ピント調整ノブ１２３により、撮影レンズ１２１の結像位置が撮像素子１３０の撮像面になるように、撮影レンズ１２１の光軸方向の位置を調整することができる。

この実施の形態においては、撮影レンズ１２１による結像画像は、撮像素子１３０の撮像面内に全て収まるように撮像素子１３０の撮像面の大きさ、および撮影レンズ１２１と撮像素子１３０との配置が構成されている。したがって、撮像素子１３０の撮像面には、撮影レンズ１２１の形状に対応して円形の画像が結像することになる。

また、カメラ装置１００は、マイク１０１、通信手段としてのＵＳＢ（Ｕｎｉｖｅｒｅａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルが接続するＵＳＢ接続部１０２、およびオーディオやビデオの信号を出力するＡＶ信号出力部１０３とを有している。マイク１０１は、撮影を行う範囲の場所の音を取り込むものである。

図２に、本発明の実施の形態に係るカメラ装置１００の構成を示すブロック図を示す。撮影レンズ１２１で撮影し回路装置１４０において画像処理された撮像画像は、液晶テレビ等から構成されるモニタ１５０に表示される。

モニタ１５０は、カメラ装置１００のＵＳＢ接続部１０２に接続されるＵＳＢケーブル（図示省略）を介してネットワークを通じて、あるいは直接的にカメラ装置１００に接続されている。

撮影レンズ１２１を透過した被写体光は、撮像素子１３０の撮像面に結像し、この結像画像に基づく画像信号が撮像素子１３０から出力される。撮像素子１３０から出力された画像信号は、回路装置１４０に入力する。この回路装置１４０は、画像処理制御手段として構成される、画像信号処理部１４１、画像圧縮処理部１４２、制御部１４３、この制御部１４３について備えられるメモリ１４４、座標変換部１４５、およびこの座標変換部１４５について備えられるメモリ１４６を備えている。

撮像素子１３０から出力された画像信号は、画像信号処理部１４１に入力する。この画像信号処理部１４１において、撮像素子１３０からの画像信号に対して、カラー処理等の所定の画像処理を施す。

画像圧縮処理手段１４２においては、画像信号処理部１４１で画像処理を施された画像信号の画像データを圧縮処理し、画像データのデータ量が減らされた圧縮画像データを生成する。画像データの圧縮処理は、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）を用いて行う。

制御部１４３は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により構成され、モニタ１５０に表示される撮影レンズ１２１の映像の生成処理を含めてカメラ装置１００の動作の制御を司る。制御部１４３は、フレームレート設定部１４３ａ、受光レベル測定部１４３ｂ、受光レベル判定部１４３ｃ、置換可能判定部１４３ｄおよび画像置換部１４３ｅ等を有している。

メモリ１４４は、モニタ１５０に表示される撮影レンズ１２１による撮像画像の生成処理のためのプログラムやカメラ装置１００の各部を動作させるためのプログラムの他、このプログラムを実行するためのワークメモリを備えている。画像信号処理部１４１や画像圧縮処理部１４２における処理においてもこのメモリ１４４が活用される。

座標変換部１４５は、制御部１４３とともに、画像圧縮処理部１４２からの画像データに基づいて、各表示態様に応じた映像を生成する画像処理を行う。この座標変換部１４５は、撮像素子１３０の撮像面上の撮像画像を、各表示態様において表示される映像になるように画像処理してモニタ１５０表示する際に、撮像面における撮像画像の座標位置をモニタ１５０における映像の座標位置に変換する機能を有する。メモリ１４６は、座標変換部１４５を用いて画像処理を行う際のワークメモリとなっている。

本実施の形態に示すカメラ装置１００は、被写体を連続して撮影し、撮影した撮像画像をモニタ１５０に出力する。したがって、モニタ１５０の映像により被写体の様子を観察することができる。なお、連続の撮影は、ここでは、いわゆるビデオ撮影のように、１秒間に数フレームから数十フレームの撮影を行うものの他、数秒に１フレームあるいは十数秒に１フレームの撮影を行うものまでを含む。すなわち、数フレームだけの撮影をして、その後は撮影をしない撮影状態を含まない撮影をいう。

そして、このカメラ装置１００は、以下に説明するように、連続して撮影する際のフレームレートを所定のタイミングで変化させるように構成している。これらの連続して撮影した複数の撮像画像の中に、白とびや黒つぶれの部分がある撮像画像がある場合には、この撮像画像の白とびや黒つぶれの部分を、他の撮像画像の白とびや黒つぶれの部分と対応する部分であって白とびや黒つぶれの生じていない部分の画像と置き換える。これにより、撮像画像に白とびや黒つぶれの部分が生じても、この部分（白とび部分や黒つぶれ部分）の内容を確認することができる。

図２のブロック図、図３のフローチャート、および図４を参照しながら、カメラ装置１００の動作を説明する。図４（Ａ）は、カメラ装置１００の撮影対象となる被写体を示す図である。（１）から（６）の順で左から右に向かって時間が経過し、各時刻の被写体をそれぞれ１Ｈ，２Ｈ，３Ｈ，４Ｈ，５Ｈ，６Ｈとする。ここでは、カメラ装置１００は、室内を撮影するものとし、各被写体１Ｈ，２Ｈ，…には、室内にある電灯等による輝度の高い高輝度部分１Ｈａ，２Ｈａ，３Ｈａ，４Ｈａ，５Ｈａ，６Ｈａとこの部分以外の室内部分１Ｈｂ，２Ｈｂ，３Ｈｂ，４Ｈｂ，５Ｈｂ，６Ｈｂが含まれている。

図４（Ｂ）は、（Ａ）に示す被写体１Ｈ，２Ｈ，…を連続して撮影した各撮像画像を、時系列に左から右に並べて示している。被写体１Ｈ，２Ｈ，３Ｈ，４Ｈ，５Ｈ，６Ｈは、それぞれ、撮像画像１Ｈ′，２Ｈ′，３Ｈ′，４Ｈ′，５Ｈ′，６Ｈ′として撮像されている。

図４（Ｃ）は、（Ｂ）に示す撮像画像の画像データに対して画像データの置換処理が行われた画像データに基づいてモニタ１５０に表示されたとモニタ映像の表示内容を示す図である。モニタ１５０には、撮像画像１Ｈ′，２Ｈ′，３Ｈ′，４Ｈ′，５Ｈ′，６Ｈ′にそれぞれ対応して、モニタ映像１Ｈ″，２Ｈ″，３Ｈ″，４Ｈ″，５Ｈ″，６Ｈ″が表示される。

図４（Ｄ）は、上述の画像データの置換処理のためにメモリ１４４に記録された撮像画像の画像データの内容を示す図である。モニタ１５０に表示されたモニタ映像の基になっている画像データが、画像データの置換処理のための画像データとしてメモリ１４４に記録される。

モニタ映像１Ｈ″，２Ｈ″，３Ｈ″，４Ｈ″，５Ｈ″，６Ｈ″の基になっている画像データが、それぞれ、画像データ１ＭＨ，２ＭＨ，３ＭＨ，４ＭＨ，５ＭＨ，６ＭＨとしてメモリ１４４に記録されている。

先ず、撮影の開始に先立ち、露光時間変化手段としてのフレームレート設定部１４３ａにより、フレームレートを標準のフレームレートに設定する（ステップＳ１）。この標準フレームレートは、撮影する被写体に応じて、予め決められたフレームレートである。一般に、被写体の輝度が高い（明るい）と予想される場合には、１フレームあたりの撮像素子１３０の画素の露光時間が短くなるように、フレームレートを大きく設定し、画素の電荷蓄積量が飽和してしまわないようにする。逆に、被写体の輝度が低い（暗い）と予想される場合には、１フレームあたりの撮像素子１３０の画素の露光時間が長くなるように、フレームレートを小さく設定し、画素の電荷蓄積量を多くする。このフレームレートは、被写体の明るさおよび光学系１２０の絞り径に対して相対的に決定される。

ここでは、被写体１Ｈ〜６Ｈとなる室内の明るさに時間経過による大きな変化がないことを前提として、室内部分１Ｈｂ〜６Ｈｂの撮像画像が適正な受光量となるように、標準フレームレートを、例えば、２０フレーム／秒に設定する。なお、適正な受光量とは、撮像画像が白とびしたり、あるいは黒つぶれしない受光量である。

上記の標準フレームレートで、図４（Ａ）の（１）に示す被写体１Ｈを撮影すると（ステップＳ２）、撮像素子１３０の撮像面には、図４（Ｂ）の（１）に示す撮像画像１Ｈ′が形成される。撮像画像１Ｈ′は、高輝度部分１Ｈａの撮像画像１Ｈ′ａおよび室内部分１Ｈｂの撮像画像１Ｈ′ｂを有する。

撮像画像１Ｈ′ａについては、フレームレートが室内部分１Ｈｂの輝度に合わせて設定されているため、露出オーバーとなり白とびの状態で撮像されている。すなわち、撮像素子１３０の画素の内、撮像画像１Ｈ′ａに対応する部分の画素については、電荷蓄積量が飽和状態になってしまっている。これに対し、撮像画像１Ｈ′ｂは、フレームレートが室内部分１Ｈｂの輝度に合わせて設定されているため、撮像素子１３０の電荷蓄積量が適正な撮像画像となり、室内部分１Ｈｂの様子が判る状態で撮像される。

次いで、この撮像画像１Ｈ′について、受光レベル測定手段としての受光レベル測定１１４３ｂにより、撮像素子１３０の画素単位で、画素の受光レベルを測定し（ステップＳ３）する。そして、受光レベル判定手段としての受光レベル判定部１４３ｃにより撮像画像１Ｈ′の各画素が所定の受光レベル内であるかどうかを判断する（ステップＳ４）。

所定の受光レベルの上限は、撮像画像１Ｈ′に白とびが生じる程度に、撮像素子１３０の画素の電荷蓄積量が飽和しているかどうかを基準に判断をする。下限については、撮像画像１Ｈ′に黒つぶれが生じる程度に、撮像素子１３０の画素の電荷蓄積量が低いかどうかを基準に判断をする。

撮像画像１Ｈ′については、撮像画像１Ｈ′ｂの部分については、適正な受光レベルと判断されるが、撮像画像１Ｈ′ａの部分について、画素の電荷蓄積量は飽和状態となっていると判断される。すなわち、受光レベルの判定（ステップＳ４）において、撮像画像１Ｈ′ａの画素が所定の受光レベル外の画素として判断される（ステップＳ４においてＮｏ）。

受光レベルが所定の受光レベル内にない画素が撮像画像１Ｈ′の中に存在する場合には、置換可能判定部１４３ｄにより、撮像画像１Ｈ′より前に撮像した撮像画像の画素における当該受光レベルが所定の受光レベルでない画素と対応する位置の画素であって所定の受光レベル内の画素があるかどうかを判定する（ステップＳ５）。すなわち、撮像画像１Ｈ′より前に撮影した撮像画像における撮像画像１Ｈ′ａに対応する位置の画素であって、所定の受光レベル内の画素があるかどうかを判定する（ステップＳ５）。

ここでは、撮像画像１Ｈ′は最初に撮像された撮像画像であるので、このような画素はないと判断され（ステップＳ５においてＮｏ）、図４（Ｃ）の（１）に示すように、撮像画像１Ｈ′の画像データに基づくモニタ映像１Ｈ″をモニタ１５０に表示する（ステップＳ６）。 モニタ映像１Ｈ″は、撮像画像１Ｈ′ａの部分については、白とびした白とび映像１Ｈ″ａとして表示される。したがって、被写体１Ｈの高輝度部分１Ｈａの様子は、モニタ映像１Ｈ″によっては見ることができない。

撮像画像１Ｈ′ｂの部分については、室内部分１Ｈｂの明るさに適したフレームレートで撮像が行われているため、適正映像１Ｈ″ｂとして表示される。したがって、室内部分１Ｈｂの様子は、適正映像１Ｈ″ｂにより見ることができる。

モニタ１５０に上記のようにモニタ映像１Ｈ″が表示された後、モニタ映像１Ｈ″の基になっている画像データを、図４（Ｄ）の（１）に示すように画像データ１ＭＨとしてメモリ１４４に記憶する（ステップＳ７）。ここでは、モニタ映像１Ｈ″は、撮像画像１Ｈ′、すなわち撮像画像１Ｈ′ａ，１Ｈ′ｂの画像データに基づくものである。したがって、画像データ１ＭＨの内容は、撮像画像１Ｈ′ａの画像データである画像データ１Ｈ′amと、撮像画像１Ｈ′ｂの画像データである画像データ１Ｈ′bmになっている。

次いで、図４（Ａ）の（２）に示す被写体２Ｈを撮影する２フレーム目の撮影に移行する。この撮影では、フレームレートを４０フレーム／秒に設定する（ステップ１）。このフレームレートの設定は、前回（１フレーム目）撮像された撮像画像１Ｈ′の受光レベルの測定結果（ステップＳ３）に基づいて行い、前回の撮影のときに白とびした撮像画像１Ｈ′ａとして撮像された高輝度部分２Ｈａが白とびしないように、露光時間を短く設定する。

４０フレーム／秒のフレームレートで被写体２Ｈを撮影すると（ステップＳ２）、撮像素子１３０の撮像面には、図４（Ｂ）の（２）に示す撮像画像２Ｈ′が形成される。この撮影（２フレーム目）のフレームレートは、高輝度部分２Ｈａの撮像画像が適正な露出で撮像されるように設定されている。そのため、撮像画像２Ｈ′の撮像画像２Ｈａ′は、撮像画像１Ｈ′の撮像画像１Ｈ′ａに対応する部分に当るが、この２フレーム目の撮影においては、撮像素子１３０の電荷蓄積量が適正な撮像画像となる。すなわち、前回（１フレーム目）撮像された撮像画像１Ｈ′においては白とびしていた撮像画像１Ｈ′ａは、適正な撮像画像２Ｈ′ａとして撮像される。

一方、撮像画像２Ｈ′の撮像画像２Ｈ′ｂは、撮像画像１Ｈ′の撮像画像１Ｈ′ｂに対応する部分にあたるが、この２フレーム目の撮影においては、撮像素子１３０の電荷蓄積量が不足し、黒つぶれの撮像画像として撮像される。つまり、フレームレートが４０フレーム／秒のため、撮像画像２Ｈ′ｂの部分は露出アンダーとなり、電荷蓄積量が少ない黒つぶれの撮像画像となる。この撮像画像２Ｈ′について、受光レベルを測定し（ステップＳ３）、撮像画像２Ｈ′の各画素が所定の受光レベル内であるかどうかを判断する（ステップＳ４）。

撮像画像２Ｈ′については、上述したように、撮像画像２Ｈ′ｂの部分が黒つぶれの撮像画像となっている。したがって、この受光レベルの判断（ステップＳ４）において、撮像画像２Ｈ′ｂの画素が所定の受光レベル外の画素として判断される（ステップＳ４においてＮｏ）。

そして、この撮像画像２Ｈ′より前に撮像した撮像画像における撮像画像２Ｈ′ｂに対応する位置の画素であって、所定の受光レベル内の画素が在るかどうかを、メモリ１４４に記憶された画像データを参照しながら判定する（ステップＳ５）。

ここでは、メモリ１４４に記憶されている撮像画像１Ｈ′ｂの画像データ１Ｈ′bmが、条件に合うデータとして判断される（スッテプＳ５におおいてＹｅｓ）。この判断に従い、画像置換手段としての画像置換部１４３ｅにより撮像画像２Ｈ′の画像データのうち、撮像画像２Ｈ′ｂに対応する画像データを画像データ１Ｈ′bmに置き換える（ステップＳ８）。

そして、図４（Ｃ）の（２）に示すように、撮像画像２Ｈ′ｂの画像データが画像データ１Ｈ′bmに置き換えられた撮像画像２Ｈ′の画像データに基づくモニタ映像２Ｈ″を、モニタ１５０に表示する（ステップＳ６）。すなわち、モニタ映像２Ｈ″の撮像画像２Ｈ′ｂに対応する部分については、画像データ１Ｈ′bmに基づく適正映像１Ｈ″ｂが表示される。

モニタ映像２Ｈ″の撮像画像２Ｈ′ａに対応する部分については、この撮像画像２Ｈ′ａの画像データに基づく映像である適正映像２Ｈ″ａが表示される。したがって、全体として、白とびや黒つぶれのない適正なモニタ映像２Ｈ″がモニタ１５０に表示される。なお、図４では、（１）と（２）の間で、人物が動き異なる位置となっているが、実際は、（１）と（２）との間では、０．１秒に満たないような短時間である。したがって、人物等の動くものの位置は、（１）と（２）の間ではほとんど同じである。そのため、メモリ１４４の画像データ１Ｈ′bmを利用してもモニタ映像２Ｈ″には違和感は発生しない。なお、他のフレーム間や後述する図５、図６におけるフレーム間においても、その時間間隔は、０．１秒に満たないような短時間であり、図中に描かれる人物等の動きものの位置はごく僅かである。

前回（１フレーム目）の撮影におけるモニタ映像１Ｈ″においては、高輝度部分１Ｈａの映像は白とび映像１Ｈ″ａとなってしまい、高輝度部分１Ｈａの様子をモニタ１５０上で見ることができなかったのに対し、今回（２フレーム目）の撮影におけるモニタ映像２Ｈ″においては、適正映像２Ｈ″ａとして見ることができる。また、今回（２フレーム目）の撮影においては、高輝度部分２Ｈａ以外の室内部分２Ｈｂの撮像映像２Ｈ′ｂは黒つぶれした撮像画像であるが、前回（１フレーム目）の撮影において適正な受光量で撮像された撮像画像１Ｈ′ｂの画像データ１Ｈ′bmに基づく適正映像１Ｈ″ｂが表示されるため、モニタ映像２Ｈ″は、適正な映像として見ることができる。

モニタ映像２Ｈ″の適正映像１Ｈ″ｂについては、今回の撮影によるリアルタイムの映像ではないが、１フレーム分だけ前の極めて直前の映像である。したがって、実際の撮影内容とモニタ映像２Ｈ″の表示内容には、大きな差はない。

そして、メモリ１４４に、モニタ映像２Ｈ″の基になっている撮像画像１Ｈ′ｂと撮像画像２Ｈ′ａの画像データが画像データ２ＭＨとして記憶される（ステップＳ７）。この画像データ２ＭＨの内容は、撮像画像１Ｈ′ｂの画像データである画像データ１Ｈ′bmと、撮影画像２Ｈ′ａの画像データである画像データ２Ｈ′amになっている。

続いて、図４（Ａ）の（３）に示す被写体３Ｈを撮影する３フレーム目の撮影に移行する。この撮影では、フレームレートを再び２０フレーム／秒に設定する。このフレームレートの設定は、前回（２フレーム目）撮像された撮像画像２Ｈ′の受光レベルの測定結果（ステップＳ３）に基づいて行い、前回の撮影のときに黒つぶれした撮像画像２Ｈ′ｂとして撮像された室内部分３Ｈｂが黒つぶれしないように設定される。

２０フレーム／秒のフレームレートで被写体３Ｈを撮影を行うと（ステップＳ２）、撮像素子１３０の撮像面には、図４（Ｂ）の（３）に示す撮像画像３Ｈ′が形成される。この撮影（３フレーム目）のフレームレートは、低輝度部分３Ｈｂの撮像画像が適正な露出で撮像されるように設定されている。そのため、撮像画像３Ｈ′の撮像画像３Ｈｂ′は、撮像画像２Ｈ′の撮像画像２Ｈ′ｂに対応する部分に当るが、この３フレーム目の撮影においては、撮像素子１３０の電荷蓄積量が適正な撮像画像となる。すなわち、前回撮像された撮像画像２Ｈ′においては黒つぶれしていた撮像画像２Ｈ′ｂは、適正な撮像画像３Ｈ′ｂとして撮像される。

一方、撮像画像３Ｈ′の撮像画像３Ｈ′ａは、撮像画像２Ｈ′の撮像画像２Ｈ′ａに対応する部分に当るが、この３フレーム目の撮影においては、撮像素子１３０の電荷蓄積量が飽和し、白とびした撮像画像として撮像される。つまり、フレームレートが２０フレーム／秒のため、撮像画像３Ｈ′ａの部分は露出オーバーとなり、電荷蓄積量が飽和し白とびした撮像画像となる。この撮像画像３Ｈ′について、輝度レベルを測定し（ステップＳ３）、撮像画像３Ｈ′の各画素が所定の受光レベル内であるかどうかを判断する（ステップＳ４）。

撮像画像３Ｈ′については、上述したように、撮像画像３Ｈ′ａの部分が白とびした撮像画像となっている。したがって、この受光レベルの判断（ステップＳ４）において、撮像画像３Ｈ′ａの画素が所定の受光レベル外の画素として判断される（ステップＳ４においてＮｏ）。

そして、この撮像画像３Ｈ′より前に撮像した撮像画像における撮像画像３Ｈ′ａに対応する位置の画素であって、所定の受光レベル内の画素が在るかどうかを、メモリ１４４に記憶された画像データを参照しながら判定する（ステップＳ５）。

ここでは、メモリ１４４に記憶されている撮像画像２Ｈ′ａの画像データ２Ｈ′amが、条件に合うデータとして判断される（スッテプＳ５におおいてＹｅｓ）。この判断に従い、撮像画像３Ｈ′の画像データのうち、撮像画像３Ｈ′ａに対応する画像データを画像データ２Ｈ′amに置き換える（ステップＳ８）。

そして、図４（Ｃ）の（３）に示すように、撮像画像３Ｈ′ａの画像データが画像データ２Ｈ′amに置き換えられた撮像画像３Ｈ′の画像データに基づくモニタ映像３Ｈ″を、モニタ１５０に表示する（ステップＳ６）。すなわち、モニタ映像３Ｈ″の撮像画像３Ｈ′ａに対応する部分については、画像データ２Ｈ′amに基づく適正映像２Ｈ″ａが表示される。

モニタ映像３Ｈ″の撮像画像３Ｈ′ｂに対応する部分については、この撮像画像３Ｈ′ｂの画像データに基づく映像である適正映像３Ｈ″ｂが表示される。したがって、全体として、白とびや黒つぶれのない適正なモニタ映像３Ｈ″がモニタ１５０に表示される。

今回（３フレーム目）の撮影においては、高輝度部分３Ｈａの撮像映像３Ｈ′ａは白とびした撮像画像であるが、前回（２フレーム目）の撮影において適正な受光量で撮像された撮像画像２Ｈ′ａの画像データ２Ｈ′amに基づく適正映像２Ｈ″ａが表示されるため、モニタ映像３Ｈ″は、適正は映像として見ることができる。

モニタ映像３Ｈ″の適正映像２Ｈ″ａについては、今回（３フレーム目）の撮影によるリアルタイムの映像ではないが、１フレーム分だけ前の極めて直前の映像である。したがって、実際の撮影内容とモニタ映像３Ｈ″の表示内容には、大きな差はない。

そして、メモリ１４４に、モニタ映像３Ｈ″の基になっている撮像画像２Ｈ′ａと撮像画像３Ｈ′ｂの画像データが画像データ３ＭＨとして記憶される（ステップＳ７）。この画像データ３ＭＨの内容は、撮像画像２Ｈ′ａの画像データである画像データ２Ｈ′amと、撮影画像３Ｈ′ｂの画像データである画像データ３Ｈ′bmになっている。

以降の撮影、すなわち、４フレーム目、５フレーム目、６フレーム目…の撮影を行った場合のモニタ１５０におけるモニタ映像についても、上述した１フレーム目から３フレーム目で行ったのと同様の画像の置換処理が行われた映像が表示される。したがって、モニタ１５０において、被写体４Ｈ，５Ｈ，６Ｈ，…の撮影映像を白とびや黒つぶれのない状態で見ることができる。

上述したカメラ装置１００の動作の説明は、室内に電灯等による輝度の高い高輝度部分１Ｈａ，２Ｈａ，…を有する被写体１Ｈ，２Ｈ，…を撮影するときのものである。これに対し、図５（Ａ）の（１）から（６）に示すように、室内に置かれた家具等の陰になった影部分等の低輝度部分１Ｌａ，２Ｌａ，…を有する被写体１Ｌ，２Ｌ，…を撮影したときのカメラ装置１００の動作を、図２のブロック図、図３のフローチャート、および図５を参照しながら説明する。

図５（Ａ）は、カメラ装置１００の撮影対象となる被写体を示す図である。図４と同様に、（１）から（６）の順で左から右に向かって時間が経過し、各時刻の被写体をそれぞれ１Ｌ，２Ｌ，３Ｌ，４Ｌ，５Ｌ，６Ｌとする。ここでは、カメラ装置１００は、室内を撮影するものであり、各被写体１Ｌ，２Ｌ，…には、低輝度部分１Ｌａ，２Ｌａ，３Ｌａ，４Ｌａ，５Ｌａ，６Ｌａとこの部分以外の室内部分１Ｌｂ，２Ｌｂ，３Ｌｂ，４Ｌｂ，５Ｌｂ，６Ｌｂが含まれている。

図５（Ｂ）は、（Ａ）に示す被写体１Ｌ，２Ｌ，…を連続して撮影した各撮像画像を、時系列に左から右に並べて示している。被写体１Ｌ，２Ｌ，３Ｌ，４Ｌ，５Ｌ，６Ｌは、それぞれ、撮像画像１Ｌ′，２Ｌ′，３Ｌ′，４Ｌ′，５Ｌ′，６Ｌ′として撮像されている。

図５（Ｃ）は、（Ｂ）に示す撮像画像の画像データに対して画像データの置換処理が行われた画像データに基づいてモニタ１５０に表示されたモニタ映像の表示内容を示す図である。モニタ１５０には、撮像画像１Ｌ′，２Ｌ′，３Ｌ′，４Ｌ′，５Ｌ′，６Ｌ′にそれぞれ対応して、モニタ映像１Ｌ″，２Ｌ″，３Ｌ″，４Ｌ″，５Ｌ″，６Ｌ″が表示される。

図５（Ｄ）は、上述の画像データの置換処理のためにメモリ１４４に記録された撮像画像の画像データの内容を示す図である。モニタ１５０に表示されたモニタ映像の基になっている画像データが、画像データの置換処理のための画像データとしてメモリ１４４に記録される。

モニタ映像１Ｌ″，２Ｌ″，３Ｌ″，４Ｌ″，５Ｌ″，６Ｌ″の基になっている画像データが、それぞれ、画像データ１ＭＬ，２ＭＬ，３ＭＬ，４ＭＬ，５ＭＬ，６ＭＬとしてメモリ１４４に記録されている。

先ず、撮影の開始に先立ち、フレームレート設定部１４３ａにより、フレームレートを標準のフレームレートに設定する（ステップＳ１）。ここでは、被写体１Ｌ〜６Ｌとなる室内の明るさに時間経過による大きな変化がないことを前提として、室内部分１Ｌｂ〜６Ｌｂの撮像画像が適正な受光量となるように、標準フレームレートを、例えば、２０フレーム／秒に設定する。

上記の標準フレームレートで、図５（Ａ）の（１）に示す被写体１Ｌを撮影すると（ステップＳ２）、撮像素子１３０の撮像面には、図５（Ｂ）の（１）に示す撮像画像１Ｌ′が形成される。撮像画像１Ｌ′は、低輝度部分１Ｌａの撮像画像１Ｌ′ａおよび室内部分１Ｌｂの撮像画像１Ｌ′ｂを有する。

撮像画像１Ｌ′ａについては、フレームレートが室内部分１Ｌｂの輝度に合わせて設定されているため、露出アンダーとなり黒つぶれの状態で撮像されている。すなわち、撮像素子１３０の画素の内、撮像画像１Ｌ′ａに対応する部分の画素については、電荷蓄積量が不足した状態になってしまっている。これに対し、撮像画像１Ｌ′ｂは、フレームレートが室内部分１Ｌｂの輝度に合わせて設定されているため、撮像素子１３０の電荷蓄積量が適正な撮像画像となり、室内部分１Ｌｂの様子が判る状態で撮像される。

次いで、この撮像画像１Ｌ′について、受光レベル測定部１４３ｂにより受光レベルを測定し（ステップＳ３）、受光レベル判定部１４３ｃにより撮像画像１Ｌ′の各画素が所定の受光レベル内であるかどうかを判断する（ステップＳ４）。

所定の受光レベルの上限は、撮像画像１Ｌ′に白とびが生じる程度に、撮像素子１３０の画素の電荷蓄積量が飽和しているかどうかを基準に判断をする。下限については、撮像画像１Ｌ′に黒つぶれが生じる程度に、撮像素子１３０の画素の電荷蓄積量が低いかどうかを基準に判断をする。

撮像画像１Ｌ′については、撮像画像１Ｌ′ｂの部分については、適正な受光レベルと判断されるが、撮像画像１Ｌ′ａの部分について、画素の電荷蓄積量が不足していると判断される。すなわち、受光レベルの判定（ステップＳ４）において、撮像画像１Ｌ′ａの画素が所定の受光レベル外の画素として判断される（ステップＳ４においてＮｏ）。

そして、撮像画像１Ｌ′より前に撮影した撮像画像における撮像画像１Ｌ′ａに対応する位置の画素であって、所定の受光レベル内の画素があるかどうかを判定する（ステップＳ５）。ここでは、撮像画像１Ｌ′は最初に撮像された撮像画像であるので、このような画素はないと判断され（ステップＳ５においてＮｏ）、図５（Ｃ）の（１）に示すように、撮像画像１Ｌ′の画像データに基づくモニタ映像１Ｌ″をモニタ１５０に表示する（ステップＳ６）。モニタ映像１Ｌ″は、撮像画像１Ｌ′ａの部分については、黒つぶれした黒つぶれ映像１Ｌ″ａとして表示される。したがって、被写体１Ｌの低輝度部分１Ｌａの様子は、モニタ映像１Ｌ″によっては見ることができない。

撮像画像１Ｌ′ｂの部分については、室内部分１Ｌｂの明るさに適したフレームレートで撮像が行われているため、適正映像１Ｌ″ｂとして表示される。したがって、室内部分１Ｌｂの様子は、適正映像１Ｌ″ｂにより見ることができる。

モニタ１５０に上記のようにモニタ映像１Ｌ″が表示された後、モニタ映像１Ｌ″の基になっている画像データを、図５（Ｄ）の（１）に示すように画像データ１ＭＬとしてメモリ１４４に記憶する（ステップＳ７）。ここでは、モニタ映像１Ｌ″は、撮像画像１Ｌ′、すなわち撮像画像１Ｌ′ａ，１Ｌ′ｂの画像データに基づくものである。したがって、画像データ１ＭＬの内容は、撮像画像１Ｌ′ａの画像データである画像データ１Ｌ′amと、撮像画像１Ｌ′ｂの画像データである画像データ１Ｌ′bmになっている。

次いで、図５（Ａ）の（２）に示す被写体２Ｌを撮影する２フレーム目の撮影に移行する。この撮影では、フレームレートを１０フレーム／秒に設定する（ステップ１）。このフレームレートの設定は、前回（１フレーム目）撮像された撮像画像１Ｌ′の受光レベルの測定結果（ステップＳ３）に基づいて行い、前回の撮影のときに黒つぶれした撮像画像１Ｌ′ａとして撮像された低輝度部分２Ｌａが黒つぶれしないように、露光時間を長く設定する。

１０フレーム／秒のフレームレートで被写体２Ｌを撮影すると（ステップＳ２）、撮像素子１３０の撮像面には、図５（Ｂ）の（２）に示す撮像画像２Ｌ′が形成される。この撮影（２フレーム目）のフレームレートは、低輝度部分２Ｌａの撮像画像が適正な露出で撮像されるように設定されている。そのため、撮像画像２Ｌ′の撮像画像２Ｌａ′は、撮像画像１Ｌ′の撮像画像１Ｌ′ａに対応する部分に当るが、この２フレーム目の撮影においては、撮像素子１３０の電荷蓄積量が適正な撮像画像となる。すなわち、前回（１フレーム目）撮像された撮像画像１Ｌ′においては黒つぶれしていた撮像画像１Ｌ′ａは、適正な撮像画像２Ｌ′ａとして撮像される。

一方、撮像画像２Ｌ′の撮像画像２Ｌ′ｂは、撮像画像１Ｌ′の撮像画像１Ｌ′ｂに対応する部分に当るが、この２フレーム目の撮影においては、撮像素子１３０の電荷蓄積量が飽和状態となり、白とびした撮像画像として撮像される。つまり、フレームレートが１０フレーム／秒のため、撮像画像２Ｌ′ｂの部分は露出オーバーとなり、電荷蓄積量が飽和状態の白とびした撮像画像となる。

この撮像画像２Ｌ′について、受光レベルを測定し（ステップＳ３）、撮像画像２Ｌ′の各画素が所定の受光レベル内であるかどうかを判断する（ステップＳ４）。撮像画像２Ｌ′については、上述したように、撮像画像２Ｌ′ｂの部分が白とびした撮像画像となっている。したがって、この受光レベルの判断（ステップＳ４）において、撮像画像２Ｌ′ｂの画素が所定の受光レベル外の画素として判断される（ステップＳ４においてＮｏ）。

そして、この撮像画像２Ｌ′より前に撮像した撮像画像における撮像画像２Ｌ′ｂに対応する位置の画素であって、所定の受光レベル内の画素が在るかどうかを、メモリ１４４に記憶された画像データを参照しながら判定する（ステップＳ５）。

ここでは、撮像画像１Ｌ′の撮像画像１Ｌ′ｂの画像データ１Ｌ′bmが、条件に合うデータとして判断される（スッテプＳ５においてＹｅｓ）。この判断に従い、画像置換部１４３ｅにより撮像画像２Ｌ′の画像データのうち、撮像画像２Ｌ′ｂに対応する画像データを画像データ１Ｌ′bmに置き換える（ステップＳ８）。

そして、図５（Ｃ）の（２）に示すように、撮像画像２Ｌ′ｂの画像データが画像データ１Ｌ′bmに置き換えられた撮像画像２Ｌ′の画像データに基づくモニタ映像２Ｌ″を、モニタ１５０に表示する（ステップＳ６）。すなわち、モニタ映像２Ｌ″の撮像画像２Ｌ′ｂに対応する部分については、画像データ１Ｌ′bmに基づく適正映像１Ｌ″ｂが表示される。

モニタ映像２Ｌ″の撮像画像２Ｌ′ａに対応する部分については、この撮像画像２Ｌ′ａの画像データに基づく映像である適正映像２Ｌ″ａが表示される。したがって、全体として、白とびや黒つぶれのない適正なモニタ映像２Ｌ″がモニタ１５０に表示される。

前回（１フレーム目）の撮影におけるモニタ映像１Ｌ″においては、低輝度部分１Ｌａの映像は黒つぶれ映像１Ｌ″ａとなってしまい、低輝度部分１Ｌａの様子をモニタ１５０上で見ることができなかったのに対し、今回（２フレーム目）の撮影におけるモニタ映像２Ｌ″においては、適正映像２Ｌ″ａとして見ることができる。また、今回（２フレーム目）の撮影においては、低輝度部分２Ｌａ以外の室内部分２Ｌｂの撮像映像２Ｌ′ｂは白とびした撮像画像であるが、前回（１フレーム目）の撮影において適正な受光量で撮像された撮像画像１Ｌ′ｂの画像データ１Ｌ′bmに基づく適正映像１Ｌ″ｂが表示されるため、モニタ映像２Ｌ″は、適正な映像として見ることができる。

モニタ映像２Ｌ″の適正映像１Ｌ″ｂについては、今回の撮影によるリアルタイムの映像ではないが、１フレーム分だけ前の極めて直前の映像である。したがって、実際の撮影内容とモニタ映像２Ｌ″の表示内容には、大きな差はない。

そして、メモリ１４４に、モニタ映像２Ｌ″の基になっている撮像画像１Ｌ′ｂと撮像画像２Ｌ′ａの画像データが画像データ２ＭＬとして記憶される（ステップＳ７）。この画像データ２ＭＬの内容は、撮像画像１Ｌ′ｂの画像データである画像データ１Ｌ′bmと、撮影画像２Ｌ′ａの画像データである画像データ２Ｌ′amになっている。

続いて、図５（Ａ）の（３）に示す被写体３Ｌを撮影する３フレーム目の撮影に移行する。この撮影では、フレームレートを再び２０フレーム／秒に設定する。このフレームレートの設定は、前回（２フレーム目）撮像された撮像画像２Ｌ′の受光レベルの測定結果（ステップＳ３）に基づいて行い、前回の撮影のときに白とびした撮像画像２Ｌ′ｂとして撮像された室内部分３Ｌｂが白とびしないように設定される。

２０フレーム／秒のフレームレートで被写体３Ｌを撮影を行うと（ステップＳ２）、撮像素子１３０の撮像面には、図５（Ｂ）の（３）に示す撮像画像３Ｌ′が形成される。この撮影（３フレーム目）のフレームレートは、室内部分３Ｌｂの撮像画像が適正な露出で撮像されるように設定されている。そのため、撮像画像３Ｌ′の撮像画像３Ｌｂ′は、撮像画像２Ｌ′の撮像画像２Ｌ′ｂに対応する部分に当るが、この３フレーム目の撮影においては、撮像素子１３０の電荷蓄積量が適正な撮像画像となる。すなわち、前回（２フレーム目）撮像された撮像画像２Ｌ′においては白とびしていた撮像画像２Ｌ′ｂは、適正な撮像画像３Ｌ′ｂとして撮像される。

一方、撮像画像３Ｌ′の撮像画像３Ｌ′ａは、撮像画像２Ｌ′の撮像画像２Ｌ′ａに対応する部分にあたるが、この３フレーム目の撮影においては、撮像素子１３０の電荷蓄積量が不足し、黒つぶれした撮像画像として撮像される。つまり、フレームレートが２０フレーム／秒のため、撮像画像３Ｌ′ａの部分は露出アンダーとなり、電荷蓄積量が不足し黒つぶれした撮像画像となる。この撮像画像３Ｌ′について、輝度レベルを測定し（ステップＳ３）、撮像画像３Ｌ′の各画素が所定の受光レベル内であるかどうかを判断する（ステップＳ４）。

撮像画像３Ｌ′については、上述したように、撮像画像３Ｌ′ａの部分が黒つぶれした撮像画像となっている。したがって、この受光レベルの判断（ステップＳ４）において、撮像画像３Ｌ′ａの画素が所定の受光レベル外の画素として判断される（ステップＳ４においてＮｏ）。

そして、この撮像画像３Ｌ′より前に撮像した撮像画像における撮像画像３Ｌ′ａに対応する位置の画素であって、所定の受光レベル内の画素が在るかどうかを、メモリ１４４に記憶された画像データを参照しながら判定する（ステップＳ５）。

ここでは、撮像画像２Ｌ′の撮像画像２Ｌ′ａの画像データ２Ｌ′amが、条件に合うデータとして判断される（スッテプＳ５におおいてＹｅｓ）。この判断に従い、撮像画像３Ｌ′の画像データのうち、撮像画像３Ｌ′ａに対応する画像データを画像データ２Ｌ′amに置き換える（ステップＳ８）。

そして、図５（Ｃ）の（３）に示すように、撮像画像３Ｌ′ａの画像データが画像データ２Ｌ′amに置き換えられた撮像画像３Ｌ′の画像データに基づくモニタ映像３Ｌ″を、モニタ１５０に表示する（ステップＳ６）。すなわち、モニタ映像３Ｌ″の撮像画像３Ｌ′ａに対応する部分については、画像データ２Ｌ′amに基づく適正映像２Ｌ″ａが表示される。

モニタ映像３Ｌ″の撮像画像３Ｌ′ｂに対応する部分については、この撮像画像３Ｌ′ｂの画像データに基づく映像である適正映像３Ｌ″ｂが表示される。したがって、全体として、白とびや黒つぶれのない適正なモニタ映像３Ｌ″がモニタ１５０に表示される。

今回（３フレーム目）の撮影においては、低輝度部分３Ｌａの撮像映像３Ｌ′ａは黒つぶれした撮像画像であるが、前回（２フレーム目）の撮影において適正な受光量で撮像された撮像画像２Ｌ′ａの画像データ２Ｌ′amに基づく適正映像２Ｌ″ａが表示されるため、モニタ映像３Ｌ″は、適正は映像として見ることができる。

モニタ映像３Ｌ″の適正映像２Ｌ″ａについては、今回（３フレーム目）の撮影によるリアルタイムの映像ではないが、１フレーム分だけ前の極めて直前の映像である。したがって、実際の撮影内容とモニタ映像３Ｌ″の表示内容には、大きな差はない。

そして、メモリ１４４に、モニタ映像３Ｌ″の基になっている撮像画像２Ｌ′ａと撮像画像３Ｌ′ｂの画像データが画像データ３ＭＬとして記憶される（ステップＳ７）。この画像データ３ＭＬの内容は、撮像画像２Ｌ′ａの画像データである画像データ２Ｌ′amと、撮影画像３Ｌ′ｂの画像データである画像データ３Ｌ′bmになっている。

以降の撮影、すなわち、４フレーム目、５フレーム目、６フレーム目…の撮影を行った場合のモニタ１５０におけるモニタ映像についても、上述した１フレーム目から３フレーム目で行ったのと同様の画像の置換処理が行われた映像が表示される。したがって、モニタ１５０において、被写体４Ｌ，５Ｌ，６Ｌ，…の撮影映像を白とびや黒つぶれのない状態で見ることができる。

次に、室内に電灯等による輝度の高い高輝度部分と家具等の陰になった影部分等の低輝度部分を含む被写体を撮影したときのカメラ装置１００の動作を、図２のブロック図、図３のフローチャート、および図６を参照しながら説明する。

図６（Ａ）は、カメラ装置１００の撮影対象となる被写体を示す図である。図４と同様に、（１）から（６）の順で左から右に向かって時間が経過し、各時刻の被写体をそれぞれ１Ｋ，２Ｋ，３Ｋ，４Ｋ，５Ｋ，６Ｋとする。ここでは、カメラ装置１００は、室内を撮影するものであり、各被写体１Ｋ，２Ｋ，…には、高輝度部分１Ｋａ，２Ｋａ，３Ｋａ，４Ｋａ，５Ｋａ，６Ｋａ、低輝度部分１Ｋｂ，２Ｋｂ，３Ｋｂ，４Ｋｂ，５Ｋｂ，６Ｋｂおよびこれらの部分以外の室内部分１Ｋｃ，２Ｋｃ，３Ｋｃ，４Ｋｃ，５Ｋｃ，６Ｋｃが含まれている。

図６（Ｂ）は、（Ａ）に示す被写体１Ｋ，２Ｋ，…を連続して撮影した各撮像画像を、時系列に左から右に並べて示している。被写体１Ｋ，２Ｋ，３Ｋ，４Ｋ，５Ｋ，６Ｋは、それぞれ、撮像画像１Ｋ′，２Ｋ′，３Ｋ′，４Ｋ′，５Ｋ′，６Ｋ′として撮像されている。

図６（Ｃ）は、（Ｂ）に示す撮像画像の画像データに対して画像データの置換処理が行われた画像データに基づいてモニタ１５０に表示されたとモニタ映像の表示内容を示す図である。モニタ１５０には、撮像画像１Ｋ′，２Ｋ′，３Ｋ′，４Ｋ′，５Ｋ′，６Ｋ′にそれぞれ対応して、モニタ映像１Ｋ″，２Ｋ″，３Ｋ″，４Ｋ″，５Ｋ″，６Ｋ″が表示される。

図６（Ｄ）は、上述の画像データの置換処理のためにメモリ１４４に記録された撮像画像の画像データの内容を示す図である。モニタ１５０に表示されたモニタ映像の基になっている画像データが、画像データの置換処理のための画像データとしてメモリ１４４に記録される。

モニタ映像１Ｋ″，２Ｋ″，３Ｋ″，４Ｋ″，５Ｋ″，６Ｋ″の基になっている画像データが、それぞれ、画像データ１Ｍｋ，２Ｍｋ，３Ｍｋ，４Ｍｋ，５Ｍｋ，６Ｍｋとしてメモリ１４４に記録されている。

先ず、撮影の開始に先立ち、フレームレート設定部１４３ａにより、フレームレートを標準のフレームレートに設定する（ステップＳ１）。ここでは、被写体１Ｋ〜６Ｋとなる室内の明るさに時間経過による大きな変化がないことを前提として、室内部分１Ｋｃ〜６Ｋｃの撮像画像が適正な受光量となるように、標準フレームレートを、例えば、２０フレーム／秒に設定する。

上述の標準フレームレートで、図６（Ａ）の（１）に示す被写体１Ｋを撮影すると（ステップＳ２）、撮像素子１３０の撮像面には、図６（Ｂ）の（１）に示す撮像画像１Ｋ′が形成される。撮像画像１Ｋ′は、高輝度部分１Ｋａの撮像画像１Ｋａ、低輝度部分１Ｋｂの撮像画像１Ｋ′ｂおよび室内部分１Ｋｃの撮像画像１Ｋ′ｃを有する。撮像画像１Ｋ′ａについては、フレームレートが室内部分１Ｋｃの輝度に合わせて設定されているため、露出オーバーとなり白とびの状態で撮像されている。すなわち、撮像素子１３０の画素の内、撮像画像１Ｋ′ａに対応する部分の画素については、電荷蓄積量が飽和状態となってしまっている。

逆に、撮像画像１Ｋ′ｂについては、露出アンダーとなり黒つぶれの状態で撮像されている。すなわち、撮像素子１３０の画素の内、撮像画像１Ｋ′ｂに対応する部分の画素については、電荷蓄積量が不足した状態となってしまっている。これに対し、撮像画像１Ｋ′ｃは、フレームレートが室内部分１Ｋｃの輝度に合わせて設定されているため、撮像素子１３０の電荷蓄積量が適正な撮像画像となり、室内部分１Ｋｃの様子が判る状態で撮像される。

次いで、この撮像画像１Ｋ′について、受光レベル測定部１４３ｂにより受光レベルを測定し（ステップＳ３）、受光レベル判定部１４３ｃにより撮像画像１Ｋ′の各画素が所定の受光レベル内であるかどうかを判断する（ステップＳ４）。所定の受光レベルの上限は、撮像画像１Ｋ′に白とびが生じる程度に、撮像素子１３０の画素の電荷蓄積量が飽和しているかどうかで判断をする。下限については、撮像画像１Ｋ′に黒つぶれが生じる程度に、撮像素子１３０の画素の電荷蓄積量が低いかどうかで判断する。撮像画像１Ｋ′については、撮像画像１Ｋ′ｃの部分については、適正な受光レベルと判断される。

これに対し、撮像画像１Ｋ′ａの部分については画素の電荷蓄積量が飽和状態であると判断され、また、撮像画像１Ｋ′ｂの部分については画素の電荷蓄積量が不足していると判断される。すなわち、受光レベルの判定（ステップＳ４）において、撮像画像１Ｋ′に所定の受光レベル外の画素が含まれていると判断される（ステップＳ４においてＮｏ）。

そして、撮像画像１Ｋ′より前に撮影した撮像画像における撮像画像１Ｋ′ａまたは撮像画像１Ｋ′ｂに対応する位置の画素であって、所定の受光レベル内の画素があるかどうかを判定する（ステップＳ５）。ここでは、撮像画像１Ｋ′は最初に撮像された撮像画像であるので、このような画素はないと判断され（ステップＳ５においてＮｏ）、図６（Ｃ）の（１）に示すように、撮像画像１Ｋ′の画像データに基づくモニタ映像１Ｋ″をモニタ１５０に表示する（ステップＳ６）。モニタ映像１Ｋ″は、撮像画像１Ｋ′ａの部分については、白とびした白とび映像１Ｋ″ａとして表示される。したがって、被写体１Ｋの高輝度部分１Ｋａの様子は、モニタ映像１Ｋ″によっては見ることができない。

また、撮像画像１Ｋ′ｂの部分については、黒つぶれした黒つぶれ映像１Ｋ″ｂとして表示される。したがって、被写体１Ｋの低輝度部分１Ｋｂの様子は、モニタ映像１Ｋ″によっては見ることができない。

撮像画像１Ｋ′ｃの部分については、室内部分１Ｋｃの明るさに適したフレームレートで撮像が行われているため、適正映像１Ｋ″ｃとして表示される。この適正映像１Ｋ″ｃにより、室内部分１Ｋｃの様子をモニタ１５０により見ることができる。

モニタ１５０に上記のようにモニタ映像１Ｋ″が表示された後、モニタ映像１Ｋ″の基になっている画像データを、図６（Ｄ）の（１）に示すように画像データ１Ｍｋとしてメモリ１４４に記憶する（ステップＳ７）。ここでは、モニタ映像１Ｋ″は、撮像画像１Ｋ′、すなわち撮像画像１Ｋ′ａ，１Ｋ′ｂおよび１Ｋ′ｃの画像データに基づくものである。したがって、画像データ１Ｍｋの内容は、撮像画像１Ｋ′ａの画像データである１Ｋ′am、撮像画像１Ｋ′ｂの画像データである１Ｋ′bmおよび撮像画像１Ｋ′ｃの画像データである１Ｋ′cmになっている。

次いで、図６（Ａ）の（２）に示す被写体２Ｋを撮影する２フレーム目の撮影に移行する。この撮影では、先ず、フレームレートを４０フレーム／秒に設定する（ステップ１）。 このフレームレートの設定は、前回（１フレーム目）撮像された撮像画像１Ｋ′の受光レベルの測定結果（ステップＳ３）に基づいて行い、前回の撮影のときに白とびした撮像画像１Ｋ′ａとして撮像された高輝度部分２Ｋａが白とびしないように、露光時間を短く設定する。

４０フレーム／秒のフレームレートで被写体２Ｋを撮影すると（ステップＳ２）、撮像素子１３０の撮像面には、図６（Ｂ）の（２）に示す撮像画像２Ｋ′が形成される。 この撮影（２フレーム目）のフレームレートは、高輝度部分１Ｋａの撮像画像が適正な露出で撮像されるように設定されている。そのため、撮像画像２Ｋ′の撮像画像２Ｋａ′は、撮像画像１Ｋ′の撮像画像１Ｋ′ａに対応する部分に当るが、この２フレーム目の撮影においては、撮像素子１３０の電荷蓄積量が適正な撮像画像となる。すなわち、前回（１フレーム目）撮像された撮像画像１Ｋ′においては白とびしていた撮像画像１Ｋ′ａは、適正な撮像画像２Ｋ′ａとして撮像される。

一方、撮像画像２Ｋ′の撮像画像２Ｋ′ｂは、撮像画像１Ｋ′の撮像画像１Ｋ′ｂに対応する部分に当るが、この２フレーム目の撮影においても、撮像素子１３０の電荷蓄積量が不足した状態となり、黒つぶれした撮像画像として撮像される。つまり、フレームレートが４０フレーム／秒のため、撮像画像２Ｋ′ｂの部分はさらに露出アンダーとなり、電荷蓄積量が不足した状態の黒つぶれの撮像画像となる。また、撮像画像２Ｋ′ｃの部分についても露出アンダーとなり、電荷蓄積量が不足した状態の黒つぶれの撮像画像となる。

この撮像画像２Ｋ′について、受光レベルを測定し（ステップＳ３）、撮像画像２Ｋ′の各画素が所定の受光レベル内であるかどうかを判断する（ステップＳ４）。撮像画像２Ｋ′については、上述したように、撮像画像２Ｋ′ｂと撮像画像２Ｋ′ｃの部分が黒つぶれの撮像画像となっている。したがって、この受光レベルの判断（ステップＳ４）において、撮像画像２Ｋ′ｂと撮像画像２Ｋ′ｃの画素が所定の受光レベル外の画素として判断される（ステップＳ４においてＮｏ）。

そして、この撮像画像２Ｋ′より前に撮像した撮像画像において、撮像画像２Ｋ′ｂまたは撮像画像２Ｋ′ｃの画素に対応する位置の画素であって、所定の受光レベル内の画素が在るかどうかを、メモリ１４４に記憶された画像データを参照しながら判定する（ステップＳ５）。

ここでは、撮像画像２Ｋ′ｃについて、撮像画像１Ｋ′の撮像画像１Ｋ′ｃの画像データ１Ｋ′cmが、条件に合うデータとして判断される（スッテプＳ５におおいてＹｅｓ）。 この判断に従い、画像置換部１４３ｅにより撮像画像２Ｋ′の画像データのうち、撮像画像２Ｋ′ｃに対応する画像データを画像データ１Ｋ′cmに置き換える（ステップＳ８）。

そして、図６（Ｃ）の（２）に示すように、撮像画像２Ｋ′ｃの画像データが画像データ１Ｋ′cmに置き換えられた撮像画像２Ｋ′の画像データに基づくモニタ映像２Ｋ″をモニタ１５０に表示する（ステップＳ６）。すなわち、モニタ映像２Ｋ″の撮像画像２Ｋ′ｃに対応する部分については、画像データ１Ｋ′cmに基づく適正映像１Ｋ″ｃが表示される。

モニタ映像２Ｋ″の撮像画像２Ｋ′ａに対応する部分については、この撮像画像２Ｋ′ａの画像データに基づく映像である適正映像２Ｋ″ａが表示される。さらに、モニタ映像２Ｋ″の撮像画像２Ｋ′ｂに対応する部分については、この撮像画像２Ｋ′ｂの画像データに基づく映像である黒つぶれした黒つぶれ映像２Ｋ″ｂが表示されることになる。

このように、前回の撮影におけるモニタ映像１Ｋ″においては、高輝度部分１Ｋａの映像は白とび映像１Ｋ″ａとなってしまい、この部分の被写体の様子をモニタ１５０上で見ることができなかったが、今回の撮影におけるモニタ映像２Ｋ″においては、適正映像２Ｋ″ａとして見ることができる。適正映像２Ｋ″ｃについては、今回の撮影によるリアルタイムの映像ではないが、１フレーム分だけ前の極めて直前の映像である。したがって、実際の撮影内容とモニタ映像２Ｋ″の表示内容には、大きな差はない。

そして、メモリ１４４に、モニタ映像２Ｋ″の基になっている撮像画像２Ｋ′ａ、撮像画像２Ｋ′ｂおよび撮像画像１Ｋ′ｃの画像データが画像データ２Ｍｋとして記憶される（ステップＳ７）。

この画像データ２Ｍｋの内容は、撮像画像２Ｋ′ａの画像である画像データ２Ｋ′amと撮像画像２Ｋ′ｂの画像データである画像データ２Ｋ′bm、および撮像画像１Ｋ′ｃの画像データである画像データ１Ｋ′cmになっている。

なお、２フレーム目に低輝度部分２Ｋｂを撮影した撮像画像２Ｋ′ｂよりも、１フレーム目に低輝度部分１Ｋｂを撮影した撮像画像１Ｋ′ｂの方が、小さいフレームレートで撮像されている。低輝度部分については、フレームレートを小さくして長い露光時間で撮影した方が、黒つぶれの程度を抑えることができる。したがって、撮像画像２Ｋ′ｂに比べて撮像画像１Ｋ′ｂの方が黒つぶれの程度が少ない場合がある。そこで、モニタ映像２Ｋ″のモニタ映像２Ｋ″ｂの替わりに、画像データ１Ｍｋの画像データ１Ｋ′bmに基づく映像を表示することにしてもよい。

すなわち、上述のステップＳ５において、撮像画像１Ｋ′ｂの画素が所定の受光レベル内の画素でないと判断されても、撮像画像２Ｋ′ｂに比べて所定レベル内により収まっている場合には、撮像画像２Ｋ′ｂの画像データを撮像画像１Ｋ′ｂの画像データである１Ｋ′bmと置き換えるようにしてもよい。

続いて、図６（Ａ）の（３）に示す被写体３Ｋを撮影する３フレーム目の撮影に移行する。この撮影では、先ず、フレームレートを１０フレーム／秒に設定する（ステップ１）。

このフレームレートの設定は、前回（２フレーム目の撮影）または前々回（１フレーム目の撮影）撮像された撮像画像２Ｋ′または撮像画像１Ｋ′の受光レベルの測定結果（ステップＳ３）に基づいて行い、前回または前々回の撮影のときに黒つぶれした撮像画像２Ｋ′ｂまたは撮像画像１Ｋ′ｂとして撮像された低輝度部分３Ｋｂが黒つぶれしないように設定される。そして、１０フレーム／秒のフレームレートで被写体３Ｋの撮影を行うと（ステップＳ２）、撮像素子１３０の撮像面には、図６（Ｂ）の（２）に示す撮像画像３Ｋ′が形成される。

この撮影（３フレーム目）のフレームレートは、低輝度部分３Ｋｂの撮像画像が適正の露出で撮像されるように設定されている。そのため、撮像画像３Ｋ′の撮像画像３Ｋｂ′は、撮像画像１Ｋ′の撮像画像１Ｋ′ｂおよび撮像画像２Ｋ′の撮像画像２Ｋ′ｂに対応する部分に当るが、この３フレーム目の撮影においては、撮像素子１３０の電荷蓄積量が適正な撮像画像となる。すなわち、１フレーム目および２フレーム目に撮像された撮像画像１Ｋ′，２Ｋ′においては黒つぶれしていた撮像画像１Ｋ′ｂ，２Ｋ′ｂは、適正な撮像画像３Ｋ′ｂとして撮像される。

一方、撮像画像３Ｋ′の撮像画像３Ｋ′ａは、撮像画像２Ｋ′の撮像画像２Ｋ′ａに対応する部分に当るが、この３フレーム目の撮影においては、撮像素子１３０の電荷蓄積量が飽和状態となり、白とびした撮像画像として撮像される。つまり、フレームレートが１０フレーム／秒のため、撮像画像３Ｋ′ａの部分は露出オーバーとなり、電荷蓄積量が飽和状態となり白とびした撮像画像となる。

また、撮像画像３Ｋ′の撮像画像３Ｋ′ｃは、撮像画像２Ｋ′の撮像画像２Ｋ′ｃに対応する部分に当るが、この３フレーム目の撮影においては、撮像素子１３０の電荷蓄積量が飽和状態となり、白とびした撮像画像として撮像される。つまり、フレームレートが１０フレーム／秒のため、撮像画像３Ｋ′ｃの部分は露出オーバーとなり、電荷蓄積量が飽和状態となり白とびした撮像画像となる。

この撮像画像３Ｋ′について、輝度レベルを測定し（ステップＳ３）、撮像画像３Ｋ′の各画素が所定の受光レベル内であるかどうかを判断する（ステップＳ４）。

撮像画像３Ｋ′については、上述したように、撮像画像３Ｋ′ａと撮像画像３Ｋ′ｃの部分が白とびした撮像画像となっている。そのため、この輝度レベルの判断（ステップＳ４）において、撮像画像３Ｋ′ａと撮像画像３Ｋ′ｃの画素が、所定の受光レベル外の画素として判断される（ステップＳ４においてＮｏ）。

そして、この撮像画像３Ｋ′より前に撮像した撮像画像において、撮像画像３Ｋ′ａおよび撮像画像３Ｋ′ｃの画素に対応する位置の画素であって、所定の受光レベル内の画素が在るかどうかを、メモリ１４４に記憶された画像データを参照しながら判定する（ステップＳ５）。ここでは、撮像画像１Ｋ′の撮像画像１Ｋ′ｃの画像データ１Ｋ′cmと撮像画像２Ｋ′の撮像画像２Ｋ′ａの画像データ２Ｋ′amとが条件に合うデータとして判断される（スッテプＳ５におおいてＹｅｓ）。この判断に従い、撮像画像３Ｋ′の画像データのうち、撮像画像３Ｋ′ａに対応する画像データを画像データ２Ｋ′amに置き換える、また、撮像画像３Ｋ′ｃに対応する画像データを画像データ１Ｋ′cmに置き換える（ステップＳ８）。

そして、撮像画像３Ｋ′ａと撮像画像３Ｋ′ｃの画像データがそれぞれ画像データ２Ｋ′amと画像データ１Ｋ′cmに置き換えられた撮像画像３Ｋ′の画像データに基づくモニタ映像３Ｋ″をモニタ１５０に表示する（ステップＳ６）。すなわち、モニタ映像３Ｋ″の撮像画像３Ｋ′ａに対応する部分については、画像データ２Ｋ′amに基づく適正映像２Ｋ″ａが表示される。また、モニタ映像３Ｋ″の撮像画像３Ｋ′ｃに対応する部分については、画像データ１Ｋ′cmに基づく適正映像１Ｋ″ｃが表示される。

モニタ映像３Ｋ″の撮像画像３Ｋ″ｂに対応する部分については、この撮像画像３Ｋ′ｂの画像データに基づく映像である適正映像３Ｋ″ｂが表示される。今回（３フレーム目）の撮影においては、高輝度部分３Ｋａの撮像映像３Ｋ′ａと室内部分３Ｋｃの撮像映像３Ｋ′ｃは白とびた撮像画像であるが、モニタ１５０には、適正映像２Ｋ″ａと適正映像１Ｋ″ｃが表示される。すなわち、モニタ映像３Ｋ″は、適正な映像としてモニタ１５０に表示される。

モニタ映像３Ｋ″の適正映像２Ｋ″ａについては、今回（３フレーム目）の撮影によるリアルタイムの映像ではないが、１フレーム分だけ前の極めて直前の映像である。また、モニタ映像３Ｋ″の適正映像１Ｋ″ｃについても、今回の撮影によるリアルタイムの映像ではないが、２フレーム分だけ前の極めて直前の映像である。したがって、実際の撮影内容とモニタ映像３Ｋ″の表示内容には、大きな差はない。

そして、メモリ１４４に、モニタ映像３Ｋ″の基になっている撮像画像２Ｋ′ａ、撮像画像３Ｋ′ｂおよび撮像画像１Ｋ′ｃの画像データが画像データ３Ｍｋとして記憶される（ステップＳ７）。

この画像データ３Ｍｋの内容は、撮像画像２Ｋ′ａの画像である画像データ２Ｋ′amと撮像画像３Ｋ′ｂの画像データである画像データ３Ｋ′bm、および撮像画像３Ｋ′ｃの画像データである画像データ１Ｋ′cmになっている。

以降の撮影、すなわち、４フレーム目、５フレーム目、６フレーム目…の撮影を行った場合のモニタ１５０におけるモニタ映像についても、上述した１フレーム目から３フレーム目で行ったのと同様の画像の置換処理が行われた映像が表示される。したがって、モニタ１５０において、被写体の撮影映像を白とびや黒つぶれのない状態で見ることができる。

上述のカメラ装置１００においては、撮像素子１３０の受光レベルが所定のレベル内でるかどうかの判断を画素毎に行なう例を示した。このように画素毎に判断をする代わりに、撮像素子１３０の撮像エリアを、例えば、マトリクス状に分けたエリア毎に受光レベルが所定レベル内かどうかを判断し、このエリア単位で、画像データの置換を行うようにしてもよい。例えば、エリア内の画素の受光レベルの平均が、所定の受光レベル内かどうかを判断し、所定のレベル内にないときは、他の撮像画像の対応するエリア位置にある所定の受光レベル内の画像データと置換をする。

エリア単位で画像の置換を行う場合には、エリア内の画素間の受光レベルの差が小さくなるように、エリアはできるだけ小さい方が好ましい。すなわち、例えば、エリアの半分に高輝度の被写体があり、残りの半分に低輝度の被写体がある場合には、フレームレートを変えて撮影を行っても、両方の被写体の撮像画像の受光レベルを同時に所定の受光レベルにすることができないことがある。したがって、撮影する被写体の内容に応じてエリアの大きさ、すなわち、エリア内の画素数やエリアの形状等を決定する。

例えば、本実施の形態のように画角の広い撮影レンズ１２１により、沢山の被写体を撮影する場合には、被写体の１つ１つが狭い結像範囲で撮像面に結像し、しかも、被写体毎に輝度が大きく相違する傾向が強いことがある。このような場合には、エリアの大きさを小さくすることが好ましい。

逆に、撮影レンズ１２１の画角を狭くすることにより、被写体の数が少なくなり、被写体の輝度差があまりないことが予想される場合には、エリアの大きさを大きくすることにより、画像処理のスピードを速くすることができる。

また、上述のカメラ装置１００においては、被写体の映像をモニタ１５０を介してリアルタイムで見る例を示したが、フレームレートを変えて撮影した撮像画像をメモリ１４４に記憶しておき、置換する画像データを、置換される画像データを有する撮像画像の撮影時点よりも後に撮影された撮像画像のものを用いても良い。

また、上述のカメラ装置１００においては、フレームレートを１フレーム毎に変化させて、１フレーム毎に露光時間を変える構成としたが、フレームレートは数フレーム毎等、被写体の変化や被写体の輝度の変化等に応じて適宜のタイミングで変化させるようにしてもよい。

なお、フレームレートの設定は、被写体の明るい部分と暗い部分に合わせた後は、被写体の明るさに大きな変化がない限りは、被写体の明るい部分に合わせた大きなフレームレートと、被写体の暗い部分に合わせた小さなフレームレートを交互に使用するようにしてもよい。すなわち、撮像画像の受光レベル判断（上述のステップＳ４）を、フレーム毎に行なわず、最初の２回のみ行い、その後は、このフレームレートを使用するとうにしてもよい。あるいは、受光レベル判断（上述のステップＳ４）は、数回に１回、または数秒に１回等、間欠的に行なうようにしてもよい。

また、上述のカメラ装置１００においては、フレームレートを変えることにより、撮像素子１３０の露光時間を変えたが、撮像素子１３０の蓄積時間を電子的に可変することにより、露光時間を変えるようにしてもよい。すなわち、撮像素子１３０をいわゆる電子シャッタとして動作させてもよい。このように、撮像素子１３０を電子シャッタとして動作させる場合には、上述したフレームレートを変える代わりに、各フレームにおける撮像素子１３０のシャッタ速度を変えることになる。

つまり、図２におけるフレームレート設定部１４３ａは、シャッタ速度設定部として構成し、また、図３におけるフレームレートの設定（ステップＳ１）は、シャッタ速度を設定する処理を行うことになる。

具体的には、例えば、撮影の開始に先立ち、ステップＳ１におけるフレームレートの設定の代わりに、シャッタ速度を標準のシャッタ速度として１／６０秒に設定する。そして、このシャッタ速度で１フレーム目を撮影する。

この標準のシャッタ速度で撮影した撮像画像について、受光レベルを測定し（ステップＳ３）、撮像画像の各画素が所定の受光レベル内であるかどうかを判断する（ステップＳ４）。そして、２フレーム目においては、ステップＳ３の受光レベルの測定結果に基づいて、１フレーム目の撮影で、白とびしたり黒つぶれした画素が適正な露出で露光されるように、シャッタ速度が設定される。

白とびしている高輝度部分を白とびしないようにするには、シャッタ速度を、例えば、１／９０秒にして露光時間を短くする。また、黒つぶれしている低輝度部分を黒つぶれしないようにするには、シャッタ速度を、例えば、１／３０秒にして露光時間を長くする。以降の撮影におけるフレームにおいても、フレームレートを設定する代わりにシャッタ速度の設定が行われる点を除いて、上述した図３から図６を参照しながら説明したカメラ装置１００の動作と同様の動作が行われる。

なお、撮像素子１３０を電子シャッタとして動作する代わりに、撮像素子１３０の前（被写体側）にいわゆる機械シャッタを配置し、この機械シャッタにより露光時間を制御するようにしてもよい。

また、上述のカメラ装置１００においては、フレームレートを変えることにより、撮像素子１３０の露光時間を変えたが、露光量の総量を変えることが重要であるため、光学系１２０に、可変アイリスを設け、この可変アイリスの開口量を制御することにより、単位時間あたりの露光量を所定のタイミングで変えるようにしてもよい。しかしながら、フレームレートを変えることにより、撮像素子１３０の露光時間を変える方が、露光時間の変更を容易に、かつ、早いタイミングで変えることができる。

また、フレームレートの設定（ステップＳ１）に当っては、撮影開始前の被写体の明るい所、暗い所の各輝度レベルを測定し、その各輝度レベルに合った２つまたは３つ以上のフレームレートを予め設定しておいてもよい。そして、これらのフレームレートを適宜の順で使用して撮影を行うようにしてもよい。設定するフレームレートの数を増やし、フレームレートが異なる撮影画像の数を多くして、この中から適切な露光部分を選択して合成すことにより、モニタ映像の画質の向上を図ることができる。

上述の実施の形態では、白とびや黒つぶれの部分が生じた部分を例として説明したが、そのような白とびや黒つぶれが発生しない場合でも、フレームレートが大きい撮像画像とフレームレートが小さい撮像画像を得て、これらの撮像画像を合成するようにしてもよい。撮像画像を合成する場合には、フレームレートの大きい撮像画像の中の明るい部分と、フレームレートの小さい撮像画像の中の暗い部分とを合成する。

この場合、フレームレートが大きい撮像画像とこれに隣接するフレームレートが小さい撮像画像について、上述のステップＳ５における受光レベルの判断を行なうことなく、２つの撮像画像を合成して、モニタ１５０に表示するようにしてもよい。

明るい部分と暗い部分以外は、フレームレートの大きい撮像画像のものを採用したり、フレームレートの小さい撮像画像の中のものを採用して、白とびや黒つぶれの部分を含めて全体が明瞭となる撮像画像を生成する。明るい部分と暗い部分以外は、フレームレートの大きい撮像画像とフレームレートの小さい撮像画像の両者の輝度の中間的な値を用いるようにしてもよい。

上述の実施の形態では、カメラ装置１００は、モニタ１５０を備える例を示したが、カメラ装置１００にモニタ１５０を有しない構成としてもよい。この場合には、映像は、ネットワークを介して接続されるパソコン等のモニタに表示することができる。この場合、ステップＳ４からステップＳ８の画像処理をパソコン等において実施することとし、ネットワークを介してのパソコン等を含めてカメラ装置１００としてもよい。

本発明の実施の形態に係るカメラ装置の構成を示す斜視図である。 図１のカメラ装置の構成を示すブロック図である。 図１のカメラ装置の動作を示すフローチャートである。 図１のカメラ装置で、高輝度部分を有する被写体を撮影する場合の図で、（Ａ）は、高輝度部分を有する被写体を示す図で、（Ｂ）は、（Ａ）に示す被写体を撮影した撮像画像を示す図で、（Ｃ）は、（Ｂ）に示す撮像画像の画像データに対して置換処理を行った画像データに基づくモニタ映像を示す図で、（Ｄ）は、メモリに記憶された画像データの置換処理用の画像データの内容を示す図である。 図１のカメラ装置で、低輝度部分を有する被写体を撮影する場合の図で、（Ａ）は、低輝度部分を有する被写体を示す図で、（Ｂ）は、（Ａ）に示す被写体を撮影した撮像画像を示す図で、（Ｃ）は、（Ｂ）に示す撮像画像の画像データに対して置換処理を行った画像データに基づくモニタ映像を示す図で、（Ｄ）は、メモリに記憶された画像データの置換処理用の画像データの内容を示す図である。 図１のカメラ装置で、高輝度部分と低輝度部分を有する被写体を撮影する場合の図で、 （Ａ）は、高輝度部分と低輝度部分を有する被写体を示す図で、（Ｂ）は、（Ａ）に示す被写体を撮影した撮像画像を示す図で、（Ｃ）は、（Ｂ）に示す撮像画像の画像データに対して置換処理を行った画像データに基づくモニタ映像を示す図で、（Ｄ）は、メモリに記憶された画像データの置換処理用の画像データの内容を示す図である。

符号の説明

１００ … カメラ装置
１２１ … 撮影レンズ
１３０ … 撮像素子（撮像手段）
１４０ … 回路装置（画像処理制御手段）
１４３ａ … フレームレート設定部（露光時間変化手段）
１４３ｂ … 受光レベル測定部（受光レベル測定手段）
１４３ｃ … 受光レベル判定部（受光レベル判定手段）
１４３ｅ … 画像置換部（画像置換手段）

Claims (10)

1. 撮影レンズと、
   撮影レンズを透過した被写体光が結像する撮像手段と、
   上記撮像手段に結像した撮像画像の画像データの画像処理を行う画像処理制御手段とを備え、上記被写体を連続して撮影するカメラ装置において、
   上記撮像手段の露光時間を少なくとも２段階に所定のタイミングで変化させる露光時間変化手段と、
   上記撮像手段の受光レベルを撮像画像の部分単位で測定する受光レベル測定手段と、
   上記撮像手段の上記部分単位の受光レベルが所定の受光レベル内か否かを判断する受光レベル判定手段と、
   上記受光レベル判定手段により受光レベルを判定された部分が、所定の受光レベル内にないと判断された受光レベル不適正部分であるときは、この受光レベル不適正部分の画像データを、他の撮像画像の上記受光レベル不適正部分と対応する画像位置の部分であって所定の受光レベル内の受光レベル適正部分の画像データに置換する画像置換手段と、
   を備えることを特徴とするカメラ装置。
2. 前記受光レベル不適正部分と置換される前記受光レベル適正部分を有する撮像画像が複数あるときは、前記受光レベル不適正部分を有する撮像画像を撮像した時期に一番近い撮像画像の前記受光レベル適正部分と置換することを特徴する請求項１に記載のカメラ装置。
3. 前記露光時間変化手段は、前記撮像手段の撮像フレーム毎に前記露光時間を変化させることを特徴とする請求項１または請求項２のいずれか１項に記載のカメラ装置。
4. 前記露光時間変化手段は、フレームレート変更手段であることを特長とする請求項１から請求項３のいずれか１項に記載のカメラ装置。
5. 前記露光時間変化手段は、シャッタ速度変更手段であることを特長とする請求項１から請求項３のいずれか１項に記載のカメラ装置。
6. 前記少なくとも２段階の露光時間の１の露光時間は、前記受光レベル不適正部分の受光レベルを所定の受光レベル内にする露光時間であることを特徴とする請求項１から請求項５のいずれか１項に記載のカメラ装置。
7. 前記撮像レンズは、広角レンズであることを特徴とする請求項１から請求項６のいずれか１項に記載するカメラ装置。
8. 撮影レンズにより撮像手段に結像した被写体の撮像画像について画像処理を行う画像処理方法において、
   上記撮像手段の露光時間を少なくとも２段階に所定のタイミングで変化させる露光時間変化ステップと、
   上記撮像手段の受光レベルを撮像画像の部分単位で測定する受光レベル測定ステップと、
   上記撮像手段の上記部分単位の受光レベルが所定の受光レベル内か否かを判断する受光レベル判定ステップと、
   上記受光レベル判定ステップにより受光レベルを判定された部分が、所定の受光レベル内にないと判断された受光レベル不適正部分であるときは、この受光レベル不適正部分の画像データを、他の撮像画像の上記受光レベル不適正部分と対応する画像位置の部分であって所定の受光レベル内の受光レベル適正部分の画像データに置換する画像置換ステップと、
   を備えることを特徴とする画像処理方法。
9. 撮影レンズと、
   撮影レンズを透過した被写体光が結像する撮像手段と、
   上記撮像手段に結像した撮像画像の画像データの画像処理を行う画像処理制御手段とを備え、上記被写体を連続して撮影するカメラ装置において、
   上記撮像手段の露光時間を少なくとも２段階に変化させて撮影した露光時間が異なる複数の撮像画像の明瞭な部分同士を合成して全体が明瞭となる撮像画像を記録または表示することを特徴とするカメラ装置
10. 撮影レンズにより撮像手段に結像した被写体の撮像画像について画像処理を行う画像処理方法において、
    上記撮像手段の露光時間を少なくとも２段階に変化させて露光時間が異なる複数の撮像画像を撮影し、これらの露光時間が異なる複数の撮像画像の明瞭な部分同士を合成して全体が明瞭となる撮像画像を記録または表示することを特徴とする画像処理方法。

Images