JP2011109267A - カメラ - Google Patents

Abstract

【課題】水面が変動する撮像又は撮影状況においても、水上被写体及び水中被写体の両画像を同時に含む画像を取得するのに適したカメラを提供する。
【解決手段】水面上部側と水面下部側の被写体を同時に撮影するための撮像部３と、撮像部３で撮像した画像から水面上部側の画像と水面下部側の画像との境界の水面部に対応する水面部画像を検出する水面部画像検出部４ｅと、水面部画像の検出結果に基づいて、実際に撮像部３により撮像された画像における水面上部側又は水面下部側の画像を補間するように合成画像を生成する画像合成部４ａとを有する。
【選択図】図１

Description

本発明は、水上の被写体と水中の被写体とを同時に撮影するカメラに関する。

近年、カメラなど携帯機器は、防水機能を向上させて水中に落としても壊れないようなものが多く出て来ており、さらに水中での利用を可能としたものが増加している。特に、水中には陸上とは異なる被写体が存在するため、撮影機能などを強化することによって、ユーザの楽しみは増加する傾向にある。
例えば、従来例としての特許３６３５５００号においては、水中であるか否かを判定する判定手段を備えることにより、水中における被写体の撮影も行うことができるカメラが開示されている。

しかし、水辺の撮影では、水上側と水中側とを同時撮影したいというニーズがあるが、上記従来例は、水中での撮影を行うことを想定したものであったので、一部が水上にある被写体のシーンの撮影に対する対応が考慮されていなかった。
このため、水上側となる水上被写体と、水中側となる水中被写体とを同時に撮影できるカメラが望まれる。
しかし、波により水面が変動するような状況においては、水上被写体像と水中被写体像とを撮像面に同時に含む（又は収めた）タイミングで、撮影することが困難になる。

なお、特開２００５−２１５６８４号公報には、カメラの撮影タイミングを自動で決定することが開示されている。
しかし、この公報は、人物の顔に関するもので、被写体そのものの特徴を検出するものであって、被写体を取り巻く、特殊な環境に対応するものでない。
本発明は上述した点に鑑みてなされたもので、水面が変動する撮像又は撮影状況においても、水上被写体及び水中被写体の両画像を同時に含む画像を取得するのに適したカメラを提供することを目的とする。

本発明の１形態に係るカメラは、水面上部側の水上被写体と、水面下部側の水中被写体とを同時に撮影するための撮像部と、
上記撮像部で撮像した被写体の画像から、上記水上被写体の水上被写体画像と、上記水中被写体の水中被写体画像との境界の上記水面部に対応する水面部画像を検出する水面部画像検出部と、
上記水面部画像の検出結果に基づいて、上記撮像部の視野内における上記水面部の存在によって撮影が妨げられた上記水上被写体画像及び上記水中被写体画像の少なくとも一方を補間するための合成画像を生成する画像合成部と、
を具備することを特徴とする。
本発明の１形態に係るカメラは、水面上部側の水上被写体と、水面下部側の水中被写体とを同時に撮影するための撮像部と、
上記撮像部が上記水上被写体と上記水中被写体とを同時に撮影するための撮影モードとしての半水中撮影モードの撮影状態に設定されたことを自動的に検出する半水中撮影モード判定部と、
上記半水中撮影モード判定部による半水中撮影モードの撮影状態の判定後における複数の撮影タイミングにより上記撮像部により撮影された複数の画像から水面が変動する水面部により発生する水面部画像を検出し、該水面部画像の少なくとも一部に上記水上被写体の水上被写体画像又は上記水中被写体の水中被写体画像を合成して上記水面部画像の領域を低減した合成画像を生成する画像合成部と、
を具備することを特徴とする。

本発明の１形態に係るカメラは、水面上部側の水上被写体と、水面下部側の水中被写体とを同時に撮影するための撮像部と、
上記撮像部で撮像した被写体の画像から、水面が変動する水面部によって生じる水面部画像を検出し、上記水上被写体の水上被写体画像と、上記水中被写体の水中被写体画像の同時撮影するための撮影タイミングを決定する撮影タイミング決定部と、
上記撮影タイミング決定部で決定した撮影タイミング付近の複数のタイミングで撮影された複数の上記被写体の画像から合成画像を生成する画像合成部と、
を具備することを特徴とする。

本発明によれば、水面が変動する撮像又は撮影状況においても、水上被写体及び水中被写体の両画像を同時に含む画像を取得するのに適したカメラを実現できる。

図１は本発明の第１の実施形態に係るカメラの構成を示すブロック図。 図２Ａはカメラの前面側の構成を示す斜視図。 図２Ｂはカメラの背面側の構成を示す斜視図。 図３Ａは水上及び水中にまたがる被写体を示す図。 図３Ｂは図３Ａの水上及び水中にまたがる被写体をユーザがカメラにより両方同時に撮影する半水中撮影モード時の様子を示す図。 図４は半水中撮影モード時のピント合わせを行う場合の説明図。 図５は第１の実施形態における半水中撮影モード時に実際にピント合わせした様子の動作説明図。 図６は図５に示したピント合わせを行う場合の処理手順を示すフローチャート。 図７は水面が局所的に変動する波がある場合に、乱れた水面部分により本来の撮影対象の被写体像が結像されない状況が発生する様子の説明図。 図８Ａは撮影レンズ径よりも大きな波がある状態で半水中撮影モードの撮影状態で撮影している様子を示す図。 図８Ｂは図８Ａと同様の状態において、時間的に変動する波により図８Ａとは異なる撮影状態になった様子を示す図。 図９Ａは図８Ａの状態で撮影された画像例を示す図。 図９Ｂは図８Ｂの状態で撮影された画像例を示す図。 図９Ｃは第１の実施形態における画像合成部により生成される合成画像例を示す図。 図１０は第１の実施形態における画像処理＆制御部による撮影を行う場合の処理手順の１例を示すフローチャート。 図１１は図１０における水面パターン検知の処理手順を示すフローチャート。 図１２は図１０における半水中撮影モードの撮影状態であるか否かの判定を行う処理手順を示すフローチャート。 図１３の（Ａ），（Ｂ），（Ｃ），（Ｄ）は図１２の処理手順における説明図。 図１４は図１２の判定結果に対応した表示切換を行う場合の処理手順を示すフローチャート。 図１５Ａは変形例における図１２の半水中撮影モードの撮影状態であるか否かの判定を行う処理手順を示すフローチャート。 図１５Ｂは半水中撮影モードに対応した代表的な被写体を示す説明図。 図１６は本発明の第２の実施形態に係る携帯電話の携帯カメラ部の構成を示すブロック図。 図１７はユーザが携帯電話を用いて池内の亀を撮像して鑑賞している様子を示す図。 図１８Ａは図１７におけるあるタイミングにより得られる画像例を示す図。 図１８Ｂは図１７におけるあるタイミングにより得られる画像例を示す図。 図１８Ｃは図１７におけるあるタイミングにより得られる画像例を示す図。 図１９は第２の実施形態における画像処理＆制御部による鑑賞を行う場合の処理手順の１例を示すフローチャート。 図２０は図１９に対応した動作説明用のタイミング図。 図２１Ａは表示と撮影・記録とを連動させた場合の処理手順の一部を示すフローチャート。 図２１Ｂは合成画像も撮影・記録する場合の処理手順の一部を示すフローチャート。

以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１に示す本発明の第１の実施形態の撮影機能を備えた防水構造のカメラ１は、図２Ａ及び図２Ｂに示すように箱型形状である。このカメラ１の外装体としての防水構造のケース２の前面における中央から左側に、かつ上部側に寄った位置に、被写体を撮像（撮影）する撮像部３を構成する撮影レンズ３ａが設けられている。
実際には、図４、図５、図６に示すように撮影レンズ３ａの前にカバーガラス３ｃが配置され、撮影レンズ３ａを防水して保護している。また、カバーガラス３ｃ及び撮影レンズ３ａは、図示しないレンズ鏡筒に取り付けられている。そして、撮影レンズ３ａの結像位置には、電荷結合素子（ＣＣＤ）等の撮像素子３ｂが配置されており、撮影レンズ３ａと撮像素子３ｂとにより図１の撮像部３が形成される。

また、図１に示すように撮像部３は、ピント合わせ部３ｄにより、撮像素子３ｂの撮像面に結像される被写体像のピント合わせを行うことができる。このピント合わせ部３ｄは、例えば撮影レンズ３ａを、その光軸方向に移動させる駆動部３ｅ（図４参照）を用いて構成される。
なお、駆動部３ｅにより撮影レンズ３ａを移動する代わりに、撮像素子３ｂを光軸方向に移動させる構成にしても良い。また、図１等においては撮像部３とピント合わせ部３ｄとを別体で示しているが、撮像部３がピント合わせ部３ｄを含む構成でも良い。
この撮像部３の撮像素子３ｂは、その撮像面に結像された被写体像を光電変換した撮像信号を、図１に示す画像処理と制御とを行う画像処理＆制御部４に出力する。

画像処理＆制御部４は、撮像信号に対する画像処理を行い、表示用の画像信号を生成して表示部５に出力する。表示部５は、入力される表示用の画像信号に対応する画像をその表示画面（単に画面とも言う）で表示する。
この表示部５で表示される画像は、撮像素子３ｂの撮像面に結像された被写体像に対応する画像であり、ユーザはこの画像を観察することにより、撮影画像として記録するか否かを確認する。
このため、通常の撮影モードにおいては、画像処理＆制御部４は、撮像素子３ｂの撮像面に結像された被写体像を、表示部５の画面に通常画像として表示する。

表示部５は、図２Ｂに示すようにケース２の背面側に形成され、この背面における全面よりも若干小さい矩形サイズで、例えば液晶パネルを用いて形成されている。
また、図２Ａ、図２Ｂに示すようにケース２の上面における例えば右寄りの位置には撮影操作を行うレリーズボタン６ａが設けられている。撮影者（ユーザ）により図１に示すようにレリーズボタン６ａを含む操作部６が操作されると、操作結果が操作判定部７により判定される。
この操作判定部７による判定結果の情報は、画像処理＆制御部４に入力される。画像処理＆制御部４は、判定結果に対応した制御を行う。
操作判定部７が、レリーズ操作（撮影指示操作）であると判定した場合には、画像処理＆制御部４は、撮像部３により撮像された画像を、撮影画像として記録部８に記録する。

また、図１に示す操作部６として、図２Ｂに示すようにモード設定スイッチ６ｂが設けられている。
ユーザは、モード設定スイッチ６ｂを操作して、スイッチメニューから撮影モードや、再生モードの設定を行ったり、後述する半水中撮影モードに設定したり、ピント合わせの設定等を行うことができるようにしている。
そして、このモード設定スイッチ６ｂは、半水中撮影モードに設定するための半水中撮影モード設定部の機能を持つ。
なお、複数の設定機能を持つモード設定スイッチ６ｂの他に、ユーザが各種の指示操作を直接行う操作ボタンなどを設けるようにしても良い。また、モード設定スイッチ６ｂから選択して行うことができる複数の機能を、独立して行う操作ボタンを設けるようにしても良い。

例えば、図１においては、操作部６内に半水中撮影モードに設定するための半水中撮影モード設定部としての半水中撮影モードボタン６ｃを独立して設けた例を示している。なお、本実施形態においては、画像処理＆制御部４は、後述するように半水中撮影モードの撮影状態を自動認識する半水中撮影モード判定部４ｇの機能を備えている。このため、自動認識を行う設定状態においては、ユーザは手動による半水中撮影モードボタン６ｃの操作を必要としない。
また、本実施形態においては、半水中撮影モード（設定）時においては、水上側の被写体の（水上被写体）画像に対してピント合わせの制御を行うが、水上側の被写体までの距離が大きい場合（例えが透明度に応じて設定された境界距離Ｌｂを超える場合）には、水中での透明度を考慮して水中側の被写体の（水中被写体）画像にピント合わせを優先して行う条件を設けている。

この境界距離Ｌｂは、デフォルト設定においては、例えばＬｂ＝３ｍに設定されている。ユーザは、図示しない境界距離設定ボタンを操作して、実際の水中の透明度に応じた値に変更設定することができる。
画像処理＆制御部４には、時計の情報を出力する時計部９が接続され、撮影操作等が行われた場合には画像処理＆制御部４は、記録部８に記録する画像に撮影日時の情報を追加して記録する。また、図２Ａに示すようにケース２の前面にはストロボ装置１０が設けられている。
また、画像処理＆制御部４には、このカメラ１の特に撮影時の姿勢を検出する姿勢検出部としての加速度検知部１１が接続されている。この加速度検知部１１は、ケース２内に、そのケース２の上下、左右（水平）、及び奥行き方向に働く加速度をそれぞれ検知する３個の加速度センサにより構成される。

なお、図１３（Ｂ）では、半水中撮影を行う場合に適したカメラ１の撮像部３が下寄りとなるようにケース２の長辺が重力が作用する上下方向に平行な縦長となる状態を示し、この場合にはこの縦長の方向に働く重力（加速度）を検知する点線で示す加速度センサ１１ａにより、その縦長の方向が画像の上下方向に該当する姿勢であることが検出される。
本実施形態のカメラ１は、図３Ａに示すように水上（水面上部）側の人物の顔や船や風景等の水上被写体と、水中（水面下部）側の人物部分や魚や亀や水草等の水中被写体を同時に（つまり、同じ画面内に入れて）、撮影することができるようにすることを目的の１つとする。そして、このように水上被写体と水中被写体とを同時に撮影することを「半水中撮影」と呼ぶ。

図３Ａに示すような被写体を、図３Ｂに示すようにユーザ１３がカメラ１を半水中撮影モードの撮影状態（姿勢状態）に設定し、半水中撮影モードボタン６ｃをＯＮする指示操作をすることにより、画像処理＆制御部４は、カメラ１を半水中撮影モードの動作状態にする。
なお、図３Ａ及び図３Ｂにおいて符号Ｗは水面を示し、また水上側部分（つまり空気中側）をＷｕ、水中側部分をＷｉで示している。また、符号Ｔは、半水中撮影モードにおける撮影対象の被写体における（簡単化のために）水上及び水中にまたがる人物の被写体に付けている。
そして、本実施形態においては、図１の画像処理＆制御部４が、以下に説明するように画像合成部４ａ、表示制御部４ｂ、ピント制御部４ｃ、距離換算部４ｄ、ローコントラスト領域検出部４ｆの各機能を持つ構成にしている。

また、画像処理＆制御部４は、例えばＣＰＵを用いて構成され、上記の各機能を実行するためのプログラムを格納したメモリ１２が画像処理＆制御部４に接続されている。なお、このメモリ１２は、例えばフラッシュメモリ等の不揮発性メモリにより構成されている。また、画像処理＆制御部４は、その内部に各種の機能を実行する場合のデータ等を一時的に記憶するためにＲＡＭなどのメモリ（図示略）を備えている。
上記のように半水中撮影を行う場合、図３Ｂに示すようにユーザ１３は、カメラ１の（撮像部３の）撮影レンズ３ａの下半分近くを水面下に水没させて、半水中撮影を行う半水中撮影モードの撮影状態にする。
図３Ｂに示すカメラ１は、図４に示すような状態に設定される。図４のように設定された半水中撮影モードの状態においては、カメラ１の前面側の撮像部３の撮影レンズ３ａは、その下半分程度が水面下に水没する。

また、図４においては半水中撮影モードに設定された被写体に対して、撮像部３の撮影レンズ３ａを例えば水上側の被写体にピント合わせを行った状態を示している。
なお、図４にて示す撮像部３を構成する撮影レンズ３ａは、ピント合わせ部３ｄを構成する駆動部３ｅにより光軸方向に移動可能となる。また、ピント合わせ部３ｄは、位置センサ３ｆを備え、駆動部３ｅにより設定された撮影レンズ３ａの位置を検出して、その位置情報を画像処理＆制御部４のピント制御部４ｃ及び距離換算部４ｄに出力する。
図４に示すように水上側の被写体としての例えば人物の被写体Ｔにピントを合わせた状態に設定すると、水中での屈折率ｎｗによって、水中では人物の被写体Ｔの後ろの（距離）位置にピントが合った状態となってしまう。

この場合（水中では人物の被写体Ｔの後ろにピントが合った状態）には、人物の被写体Ｔよりも手前側にある魚などに対しては、よりピントが合わなくなる方向となるために都合が悪い。また、水中の透明度（透過率）の関係から、水上に比較すると、水中では遠景側は不鮮明になり易い。この理由からも、水中側を水上側よりも遠方側にピントを合わせしてしまう事は、不都合となる。
このため、本実施形態においては、画像処理＆制御部４のピント制御部４ｃは、図４に示すピント合わせ位置よりも近距離側にピント合わせ（フォーカス設定）を行うように制御する。
このピント制御部４ｃによるピント合わせした制御状態の撮像部３（の撮影レンズ３ａ）の状態を図５に示す。図５に示すように撮影レンズ３ａは、図４に示した撮影レンズ３ａの位置（図５において点線で示した位置）よりも前方側に移動した位置にセットされる。

このようにセットすることにより、図４のピント合わせの位置よりも近距離側にピント合わせした状態になる。なお、図５中においては、水面上の位置から水中側でピント合わせした状態に対して、水上側の光路を経て撮像素子３ｂに結像させた場合におけるずれ量から概略のボケ量Ｕとして示している。
ここでのピント合わせする処理方法は、図６に示すようになる。半水中撮影モードでのピント合わせが開始すると、最初のステップＳ１において画像処理＆制御部４のピント制御部４ｃは、ピント合わせ部３ｄの駆動部３ｅを駆動させて撮影レンズ３ａを光軸方向に移動させる。
移動の際に、画像処理＆制御部４は、撮像素子３ｂの撮像信号の各フレームから得られる最も明るい部分の輝度信号と最も暗い部分の輝度信号との差に相当するコントラスト信号を検出する。

ステップＳ２において画像処理＆制御部４は、コントラスト信号がピークとなる位置に撮影レンズ３ａを設定する。設定されたその位置は、位置センサ３ｆにより検出され、位置センサ３ｆは、その位置情報を距離換算部４ｄに送る。
次のステップＳ３において距離換算部４ｄは位置情報から、このピント合わせした被写体までの距離（被写体距離という）Ｌを算出する。
さらに次のステップＳ４において距離換算部４ｄは、得られた被写体距離Ｌに対して、水の屈折率ｎｗ（＝１．３３）を考慮して、その被写体距離Ｌよりも近距離側の距離を、実際にピント合わせするピント合わせ距離Ｌｈとして算出する。
この場合、画像処理＆制御部４の距離換算部４ｄは、被写体距離Ｌに対して予め用意した補正係数Ｃ（例えば、図１０にて説明するようにデフォルト値としてＣ＝１．３）を用いて、ピント合わせ距離ＬｈをＬ／Ｃにより決定する。

換言すると、距離換算部４ｄは、水上側で求めた被写体距離Ｌを、水上及び水中の両方の被写体に対して鮮明に（撮像及び）撮影するのに適したピント合わせ距離Ｌｈに換算する。
そして、距離換算部４ｄは、そのピント合わせ距離Ｌｈをピント制御部４ｃに送り、図６のピント合わせ距離Ｌｈを算出する処理を終了する。
従って、本実施形態におけるピント制御部４ｃは、半水中撮影モード設定時において、ピント合わせをする場合には、水上被写体に対する被写体距離Ｌを算出して、水中の屈折率を考慮してピント合わせをするピント位置に設定する制御を行う。
上述した図５等に示す場合は、水面Ｗの高さが変動していない状態の場合を示しているが、実際には水面Ｗの高さが風などにより局所的に変動して波３１が発生する場合がある。図７は、波３１の発生により、撮像素子３ｂの撮像面に結像される撮影対象となる被写体像が影響を受ける様子を示す。

この図７に示すように撮影レンズ３ａに被写体側から入射される光は、水面Ｗが変動した波３１における山となる部分から谷となる部分、つまり図７中の斜線で示す領域３２の水面部によって、実質的に遮られて、撮像素子３ｂに結像することが妨げられる。 図７に示す状態においては、水面Ｗの変動により撮像素子３ｂの撮像面における一部の領域が影響を受ける様子を示していたが、図８Ａ及び図８Ｂの場合のように（撮像部３の）撮影レンズ３ａのレンズ径よりも大きな波３１がある状態においては、より大きな影響を受ける。
図８Ａは、撮影レンズ３ａの直前に波３１が谷となった状態を示す。この状態は、撮影レンズ３ａは水面Ｗの上の空気中に望む状態となる。この状態においては、撮影レンズ３ａの直前の波３１における谷となる部分から山となる斜線で示す部分は、（撮影対象となる）被写体の撮像を遮る領域（つまりピントがずれてかつ低コントラスト状態で不鮮明に撮像を行い、実質的に撮影対象となる被写体の撮影が不能または欠落する領域）３２ａとなる。なお、θは、カメラ１の撮像部３の視野を表している。

この場合には、（撮像部３の）撮像素子３ｂの撮像面に結像される被写体像から取得される画像、又はその画像を表示部５に表示した場合の画像ＩＡは、図９Ａのようになる。
図９Ａに示すように、図８Ａで示した（水面Ｗの高さが変動する水面部）領域３２ａのためにカメラ１の視野θの上部側部分の水上被写体における一部の画像Ａとして撮像により取得することができるが、その下側は領域３２ａのために、撮影対象の被写体を実質的に撮影できない水面パターン（水面部画像）としての画像領域３２ｂが発生する。
換言すると、本来の撮影対象の被写体を撮像した場合の画像において、水面Ｗの高さが局所的に変動する水面部の為に、実質的に撮影できない（又は欠落する）画像領域３２ｂが発生する。後述するように、この画像領域３２ｂは、水面パターン（水面部画像）として検出される。

また、図８Ｂは、カメラ１が波３１の山の中に水没した状態を示す。この状態においても、斜線で示す部分が、撮影対象の被写体に対する撮像を遮る領域３２ｃとなる。そして、この場合に取得できる画像ＩＢは図９Ｂのようになる。
図９Ｂに示すように、図８Ｂで示した領域３２ｃのためにカメラ１の視野θの下部側部分の水中被写体の一部の画像Ｂとして撮像により取得することができるが、その上側は領域３２ｃのために、撮影対象の被写体を撮影できない水面パターンとしての画像領域３２ｄが発生する。
そして、本実施形態における画像処理＆制御部４の画像合成部４ａは、水面部により撮影が妨げられた水上被写体の画像及び水中被写体の画像の少なくとも一方を補間する合成画像を生成する。具体的には、画像合成部４ａは、図９Ａの画像ＩＡと図９Ｂとの画像ＩＢを合成して図９Ｃに示すような合成画像ＩＣを生成する画像合成処理を行う。そして、表示制御部４ｂは、この画像合成部４ａが生成した合成画像ＩＣを表示部５に出力し、表示部５は図９Ｃの合成画像ＩＣを表示する。

図９Ｃに示す合成画像ＩＣは、画像ＩＡの下部側のローコントラスト領域の画像領域３２ｂに、画像ＩＢの上部側のローコントラスト領域以外（つまり画像Ｂ）を合成する。この場合には、中央部に水面付近のみによる水面パターンが残るが、その上下に水上被写体に相当する（水上被写体）画像Ａと、水中被写体に相当する（水中被写体）画像Ｂを同時に収めた合成画像ＩＣが得られる。
なお、画像ＩＡと画像ＩＢとをそれぞれ取得した撮影タイミングの時間差は、通常小さいと考えられるので、撮像部３による視野の変化を無視して、同じ撮影状態と見なして、図９Ａにおける画像ＩＡの下部側のローコントラスト領域の画像領域３２ｂを、図９Ｂの画像ＩＢにおける画像Ｂによる置換や補間することにより、図９Ｃに示す合成画像ＩＣを生成する画像合成を行う。

換言すると、本実施形態においては、半水中撮影モードの撮影状態において、水上被写体及び水中被写体を撮影した場合、水面が変動する水面部による影響のために水上被写体及び水中被写体の一方の画像が取得できない場合には、その一方の画像に対して、取得できた他方の画像又はその他の画像によって（置換の場合を含む）補間等を行って、合成画像を生成する画像合成部４ａを有する。
画像処理＆制御部４は、図９Ｃに示すような合成画像ＩＣを生成するために、図９Ａと図９Ｂとの各画像における実質的に撮像できない画像領域３２ｂ又は３２ｄを水面が変動する水面部の画像としての水面部画像を検出するための図１に示す水面部画像検出部４ｅの機能を持つ。

この水面部画像検出部４ｅは、水面部が持つ特性としてのコントラストが低い領域としてのローコントラスト領域を検出するローコントラスト領域検出部４ｆの機能を含む。なお、本明細書においては、水面部は、主に変動する水面の場合に用いているが、変動しない水面の場合もあり得る。
このローコントラスト領域検出部４ｆは、撮像素子３ｂにより撮像された画像の各画素の輝度値を予め設定された閾値以下となるか否か比較し、この閾値以下となる画素の領域を水面部による水面部画像の可能性が高いローコントラスト領域として検出する。

水面部画像検出部４ｅは、検出されたローコントラスト領域が、後述の図１１にて説明する所定の条件を満たす判定結果の場合に水面部画像（水面パターン）であると判定する。
また、図８Ａ及び図８Ｂの場合に対応する図９Ａ及び図９Ｂの画像状態は、時間的に変化する。このため、本実施形態においては、撮像により取得される画像の上下部分での明るさ（コントラスト）の変化を時間的に監視する。

本実施形態に係るカメラ１は、水面上部側の水上被写体と、水面下部側の水中被写体とを同時に撮影するための撮像部３と、この記撮像部３で撮像した被写体の画像から、水上被写体の（水上被写体）画像と、水中被写体の（水中被写体）画像との境界の水面部に対応する水面部画像を検出する水面部画像検出部４ｅと、水面部画像の検出結果に基づいて、撮像部３の視野内における水面部の存在によって撮影が妨げられた（水上被写体）画像及び（水中被写体）画像の少なくとも一方を補間するための合成画像を生成する画像合成部４ａと、を具備することを特徴とする。
また、このカメラ１は、撮像部３が水上被写体と水中被写体とを同時に撮影するための撮影モードとしての半水中撮影モードの撮影状態に設定されたことを自動的に検出する半水中撮影モード判定部４ｇを有し、画像合成部４ａは、半水中撮影モード判定部４ｇによる半水中撮影モードの撮影状態の判定後における複数の撮影タイミングにより撮像部３により撮影された複数の画像から水面が変動する水面部により発生する水面部画像を検出し、該水面部画像の少なくとも一部に水上被写体の（水上被写体）画像又は水中被写体の（水中被写体）画像を合成して水面部画像の領域を低減した合成画像を生成する機能を持つことを特徴とする。

次に図１０を参照して本実施形態におけるカメラ１の主に画像処理＆制御部４による撮影・記録と共に、合成画像を生成して表示する処理手順を説明する。
撮影の動作が開始すると、最初のステップＳ１１において画像処理＆制御部４は、ユーザ１３により撮影モードに設定されたか否かの判定を行う。撮影モードに設定された場合には、次のステップＳ１２において画像処理＆制御部４は、撮像部３により撮像された画像を、表示部５で表示するための画像処理を行って、表示部５に出力し、表示部５は（撮像素子３ｂにより撮像された被写体の画像としての）スルー画として表示する。

次のステップＳ１３において画像処理＆制御部４は、カメラ１が半水中撮影モードの撮影状態に設定されたか否かの判定を行う。この判定を自動判定で行う設定となっている場合には、半水中撮影モードの撮影状態の自動判定が、後述する図１２の処理手順により行われる。
半水中撮影モードの撮影状態に設定されていない場合には、ステップＳ１４に示すように画像処理＆制御部４のピント制御部４ｃは、画面中央でピント合わせを行う。その後、次のステップＳ１５において画像処理＆制御部４は、通常撮影の処理を行った後、ステップＳ１１の処理に移る。
一方、ステップＳ１３において、半水中撮影モードの撮影状態であると判定された場合には、ステップＳ１６において画像処理＆制御部４のピント制御部４ｃは、画面上部でピント合わせを行い、かつ画面下部で露出を決定する。

なお、画像処理＆制御部４は、ピント合わせ等の処理を撮像素子３ｂの撮像面に結像された被写体像の画像（例えば被写体は撮像面に上下反転して結像される）に対して行うが、表示部５の画面に被写体像を、実際の被写体の上下関係を保った状態で表示した場合を基準にして説明する。
つまり、ピント制御部４ｃは、水上側の被写体を撮像した撮像信号（画像信号）に基づいてピント合わせを行い、上述した被写体距離Ｌを算出（検出）する。一方、露出に関しては水中側の被写体の撮影に適した明るさとなるように露出を決定する。
また、本実施形態においては、上述したように水中部分の被写体も鮮明に撮影できるようにピント合わせ距離Ｌｈに設定する制御処理を行う。
次のステップＳ１７において画像処理＆制御部４の距離換算部４ｄは、被写体距離Ｌから実際にピント合わせするピント合わせ距離Ｌｈに換算する換算を行う。具体的には、この距離換算部４ｄは、被写体距離Ｌを、補正係数Ｃとしての１．３により除算してピント合わせ距離Ｌｈを算出する。つまりＬｈ＝Ｌ／１．３に設定する。そして、ピント制御部４ｃは、撮影レンズ３ａをこのピント合わせ距離Ｌｈのピント位置に設定する。

そして、ステップＳ１８の処理に進む。ステップＳ１７の処理により設定された撮像部３の撮影状態は、図５に示した状態に対応する。
このような設定は、人物の被写体Ｔにおける水中部分の身体部分の手前の魚と、水上の身体部分とのピントのバランスがより良好になる（両方の被写体に対するピントがバランスし、一方が不鮮明となってしまうようなピント合わせにならない）との考慮に基づく。
上記の場合には、補正係数ＣとしてＣ＝１．３にしているが、水中の魚を主な撮影対象としないで、水上の身体部分と水面下の身体部分を主な撮影対象とする場合には、ピント合わせ距離ＬｈをＬ／１．２程度に設定してもよい。
このために、補正係数Ｃとして、デフォルト値として例えばＣ＝１．３に設定し、ユーザ１３による選択操作により補正係数Ｃの値を例えば１．１〜１．３の範囲程度で変更することができるようにしても良い。

また、水中の被写体は、（水上側に比較して透明度のため）暗くなったり、コントラストが下がったり、浮遊物の影響などを受けやすいので、ステップＳ１６において、信頼性の高い水上被写体からピント合わせをして、信頼性（精度の）高い被写体距離Ｌを求めることができるようにしている。
また、このようなシーンの撮影においては、特に水中の方に撮影したいものがあると考え、水中側の被写体の明るさにより露出を決める制御を行うようにしている。また、領域を水中と水上とに分けて、それぞれの領域の画像に対して、画像処理＆制御部４で画像処理する場合の増幅率（ゲイン）を切り替えて両方の明るさが適切になるようにしても良い。

ステップＳ１８において画像処理＆制御部４は、レリーズ操作がされたか否かを判定する。そして、レリーズ操作が行われていない場合には、ステップＳ１１の処理に戻る。
一方、レリーズ操作が行われた場合には、次のステップＳ１９において画像処理＆制御部４の水面部画像検出部４ｅは、図９Ａ又は図９Ｂのように水面部のために欠落する画像領域の発生があるか否かつまり、水面パターン（水面部画像）が発生しているか否かの検出を行う。
そして、次のステップＳ２０において水面部画像検出部（水面パターン検出部）４ｅは、水面パターンが中央部に存在し、かつ画面下部がローコントラスト領域であるか否かをローコントラスト領域検出部４ｆの機能を用いて判定する。

この判定結果に該当する場合には、次のステップＳ２１において画像処理＆制御部４は、この判定が行われた画像を画像ＩＡとして時計部９による日時情報を付加して撮影すると共に、記録部８に記録する。そして、ステップＳ２０の処理に戻る。
一方、ステップＳ２０の判定結果に該当しない場合にもステップＳ２２の処理に進む。
ステップＳ２２において水面部画像検出部４ｅは、水面パターンが中央部に存在し、かつ画面上部がローコントラスト領域であるか否かをローコントラスト領域検出部４ｆの機能を用いて判定する。
この判定結果に該当する場合には、次のステップＳ２３において画像処理＆制御部４は、この判定が行われた画像を画像ＩＢとして時計部９による日時情報を付加して撮影すると共に、記録部８に記録する。そして、次のステップＳ２２の処理に戻る。

一方、ステップＳ２２の判定結果に該当しない場合には、ステップＳ２４の処理に進む。
ステップＳ２４において画像処理＆制御部４の画像合成部４ａは、画像ＩＡが記録部８に記録されている場合には、この画像ＩＡのローコントラスト領域に、画像ＩＢのローコントラスト領域以外の画像を合成して合成画像ＩＣを生成する。表示制御部４ｂは、この合成画像ＩＣを表示部５で表示する制御を行い、表示部５において、図９Ｃのような合成画像ＩＣが表示される。
従って、本実施形態においては図９Ａ又は図９Ｂに示すように本来の撮影対象となる被写体の一部しか撮影できないタイミングで撮影を行った場合においても、複数のタイミングで撮影した画像を合成して被写体のほぼ全容を表す図９Ｃに示すような合成画像ＩＣを表示部５で表示するので、ユーザ１３は、その合成画像ＩＣを観察することができるようになる。

このステップＳ２４の処理の後、最初のステップＳ１１の処理に戻る。なお、ユーザ１３の設定に応じて、画像処理＆制御部４が合成画像ＩＣを記録部８に記録するようにしても良い。
一方、ステップＳ１１において撮影モードでない場合には、ステップＳ２５において画像処理＆制御部４は、再生モードであるか否かの判定を行う。再生モードでない場合には、ステップＳ２７に移る。
ステップＳ１１の判定結果が再生モードの場合には、ステップＳ２６において画像処理＆制御部４は、記録部８に記録されている画像を再生する。次のステップＳ２７において画像処理＆制御部４は、終了の操作が行われたか否かの判定を行う。終了の操作が行われていない場合には、ステップＳ１１の処理に戻り、終了の操作が行われた場合にはカメラ１の電源をＯＦＦにして、図１０の処理を終了する。

図１１は図１０のステップＳ１９の水面パターン検出の処理手順の１例を示す。水面パターン検出の処理が開始すると、最初のステップＳ３１において画像処理＆制御部４の水面部画像検出部４ｅは、画面中央部に所定値以上のコントラスト変化があるか否かの判定を行う。
なお、この場合、画像処理＆制御部４の水面部画像検出部４ｅは、加速度センサによる重力加速度の方向により、カメラ１の上下方向を識別（判別）する。そして画面の上下方向の中央部付近に、所定値以上のコントラスト変化があるか否かの判定を行う。

画面中央部に水の境界となる水面（水面部）があると、その水面を境界として光を吸収する水中側と、光の吸収の少ない水上側とで、明暗（コントラスト）変化がある。そして、水面部画像検出部４ｅは、そのコントラスト変化を判定する。
次のステップＳ３２において水面部画像検出部４ｅは、コントラスト変化の境界、又はそのコントラスト変化している部分の（低いコントラスト領域としての）ローコントラスト領域の水平方向の範囲を判定する。
そして次のステップＳ３３において水面部画像検出部４ｅは、ローコントラスト領域が（水面の様に）水平方向に帯状に存在しているか否かの判定を行う。
ローコントラスト領域が水平方向に帯状に存在する判定結果の場合には、次のステップＳ３４において水面部画像検出部４ｅは、画面の上下でコントラスト差があるか否かの判定を行う。

画面の上下でコントラスト差があると判定した場合には、ステップＳ３５において水面部画像検出部４ｅは、ステップＳ３３及びＳ３４の条件に該当するローコントラスト領域を水面パターン（水面部画像）と判定し、この図１１の処理を終了する。
また、ステップＳ３３の判定に該当しない判定結果の場合、及びステップＳ３４の判定に該当しない判定結果の場合には水面パターンに該当しないと判定して、図１１の処理を終了する。図１１の処理が終了すると、図１０のステップＳ２０の処理に移る。また、図１０におけるステップＳ１３の半水中撮影モードの撮影状態であるか否かを自動判定する処理手順は、図１２のようになる。

この半水中撮影モードの撮影状態であるか否かの判定処理が開始すると、最初のステップＳ４１において画像処理＆制御部４は、画面中央部にローコントラスト領域が存在するか否かの判定を行う。ローコントラスト領域が存在する判定結果の場合には次のステップＳ４２において画像処理＆制御部４は、画面の上下の判定を行う。
この場合、画像処理＆制御部４は、加速度センサによる検知結果を利用して上下の判定を行う。
その後ステップＳ４３において画像処理＆制御部４は、ローコントラスト領域が帯状に画面を水平方向に横断しているかの判定を行う。この判定結果に該当する場合には、次のステップＳ４４において画像処理＆制御部４は、加速度センサの検知結果を用いて、カメラ１に倒れ無しかの判定を行う。

ユーザ１３は、図１Ａ、図１Ｂに示したカメラ１により半水中撮影を行う場合、図８Ａ又は図８Ｂのように撮影レンズ３ａが、カメラ１の中央位置よりも下寄りとなる姿勢状態に保持する。
また、このカメラ１の場合には、ユーザ１３は、カメラ１の縦長の方向を、重力が作用する上下方向に設定した状態となる。図１３（Ｂ）は、図８Ａに相当するカメラ１の姿勢状態を示す。
この場合、画像処理＆制御部４は、点線で示す加速度センサ１１ａと、この加速度センサ１１ａによる上下方向と垂直となる紙面横方向の加速度を検出する図示しない加速度センサによる検知結果を用いて、カメラ１に倒れ無しかの判定を行う。

図１３（Ｂ）の状態は、カメラ１の縦長の方向が上下方向に平行な倒れ（傾き）が無い状態を示し、これに対して図１３（Ｃ）及び図１３（Ｄ）は、時計回り方向及び反時計回り方向に倒れがある状態を示している。
図１３（Ｂ）のように倒れが無い判定結果の場合には、ステップＳ４５において画像処理＆制御部４は、この状態のカメラ１が半水中撮影モードの撮影状態であると判定して、この図１２の処理を終了する。
一方、ステップＳ４１の判定に該当しない判定結果、ステップＳ４３の判定に該当しない判定結果、ステップＳ４４の判定に該当しない判定結果の場合には、ステップＳ４６において画像処理＆制御部４は、この状態のカメラ１が半水中撮影モードの撮影状態でないと判定して、この図１２の処理を終了する。

なお、図１２におけるステップＳ４５及びステップＳ４６の判定の後、ステップＳ４７に示すように判定結果に応じた（表示部５による）表示切換を行うようにしても良い。情報を表示部５で表示するようにしても良い。
図１４はこの場合の処理手順を示す。表示切換の処理が開始すると、最初のステップＳ６１において画像処理＆制御部４は、半水中撮影モードの撮影状態であるかの判定を行う。
半水中撮影モードの撮影状態である判定結果の場合には次のステップＳ６２において画像処理＆制御部４は、図１３（Ａ）に示すように表示部５の例えば上半分に、この判定結果のモード表示、例えば「半水中撮影モードです」という主旨の表示を行う。そして、この表示切換の処理を終了する。

一方、ステップＳ６１の判定が半水中撮影モードの撮影状態でない場合には次のステップＳ６３において画像処理＆制御部４は、通常の画像表示（つまり表示部５の表示面に通常の画像を全画面表示）を行い、この表示切換の処理を終了する。
このような表示を行うようにすると、ユーザ１３は半水中撮影モードの撮影状態に設定されたことを確認できる。そして、このような表示を行うことにより、ユーザ１３に対する操作性を向上できる。
なお、図１２に示す半水中撮影モードの撮影状態を判定する処理手順の変形例として図１５Ａに示す処理手順を採用しても良い。なお、この変形例の処理手順は、半水中撮影モードの撮影状態の判定を行うと共に、その判定の処理手順において水面パターンの判定も行う。このため、図１０に適用した場合には、ステップＳ１８の次の水面パターンの検出処理を行う際に上記の判定結果を用いて次のステップＳ２０の処理に進むことができる。

図１５Ａに示す半水中撮影モードの撮影状態に対する判定処理が開始すると、最初のステップＳ７１において画像処理＆制御部４は、画面中央部にコントラスト変化があるか否かの判定を行う。この場合、画像処理＆制御部４は、加速度センサによる重力加速度の方向により、カメラ１の上下方向を識別（判別）する。そして画面の上下方向の中央部付近にコントラスト変化があるか否かの判定を行う。
画面中央部に水の境界となる水面があると、その水面を境界として光を吸収する水中側と、光の吸収の少ない水上側とで、コントラスト（明暗）変化がある。
そして、画面中央部にコントラスト変化があると判定した場合には次のステップＳ７２において画像処理＆制御部４は、コントラスト変化の境界は、画面を水平方向（横方向）に横断しているか否かの判定を行う。水面の場合には、コントラスト変化の境界が画面を横断していることになる。

コントラスト変化の境界が、画面を横断している判定結果の場合には、次のステップＳ７３において画像処理＆制御部４は、画面の上下の明暗を比較する処理を行う。この場合にも、画像処理＆制御部４は、加速度センサの信号から画面の上下（の姿勢）を判定（識別）する。
次のステップＳ７４において画像処理＆制御部４は、コントラストが低いローコントラスト領域が下に暗いか（つまり、下側が暗いローコントラスト領域となっているか）否かの判定を行う。この場合の判定として、ローコントラスト領域の判定を行わないで単に、上の画像に比較して下の画像が暗いか否かの判定を行うようにしても良い。図１５Ｂのような被写体の場合には、下の水中側が暗くなる。

下が暗い判定結果の場合には、次のステップＳ７５において画像処理＆制御部４は、画面の上下の色調を比較する。そして、次のステップＳ７６において画像処理＆制御部４は、上部に比較して下部に赤成分が少ないかを判定する。
上部に比較して下部に赤成分が少ないと、ステップＳ７７において画像処理＆制御部４は、半水中撮影モードの撮影状態であると判定する。また、ステップＳ７９に示すようにコントラスト変化の境界を水面パターンと判定する。
そして、画像処理＆制御部４は、図１０のステップＳ１６の処理に進む。
一方、ステップＳ７１，Ｓ７２、Ｓ７４、Ｓ７６の判定に該当しない場合には、ステップＳ７８において画像処理＆制御部４は、半水中撮影モードの撮影状態でないと判定して、図１０のステップＳ１４の処理に進む。

なお、２つのステップＳ７４及びＳ７６の判定処理の一方の判定結果からステップＳ７７又はＳ７８の判定を行うようにしても良い。
図１５Ａの処理によると、ステップＳ７７の判定結果から、ステップＳ７２の画面中央部でコントラスト変化の境界が画面を横断している部分を水面パターンと判定して、その上部側が水上被写体、下部側が水中被写体と判定（識別）することができる。
図１５Ｂは、図１５Ａの半水中撮影モードの判定に対応する説明図で、この図１５Ｂは、半水中撮影モードの撮影状態における被写体の代表例を示す。
図１５Ｂに示すように水中は水上に比較して、透明度が低く、また光の吸収により暗く、また浮遊物が存在することがしばしばあり、これらによりコントラストが低いローコントラスト領域となる。

また、可視領域における特に長波長側の赤い波長が、短波長側よりも吸収されやすく、青の色調になり易い（換言すると、赤成分が少ない色調となる）。従って、図１５Ａの処理手順により、半水中撮影モードの判定を行うことができる。
このような動作を行う第１の実施形態に係るカメラ１によれば、水面Ｗが変動する水面部のために水上被写体あるいは水中被写体部分が欠落又は撮影できないような撮影タイミングで撮影を行った複数の画像を合成することにより、水上被写体及び水中被写体を同時に含む合成画像を生成することが可能となる。
従って、ユーザ１３は、水面Ｗの変動による影響を低減した水上被写体及び水中被写体を同時に含む良好な画質の画像としての合成画像を取得でき、また、その良好な画質の画像を観察（鑑賞）することができる。

（第２の実施形態）
図１６は本発明の第２の実施形態の携帯カメラ部（図面中では、単にカメラ部）１Ｂの構成を示す。本実施形態の携帯カメラ部１Ｂは、図１７に示すように防水機能を持つ携帯電話５１に搭載されている。この携帯電話５１は、携帯カメラ部１Ｂと表示部５とが別体であり、携帯カメラ部１Ｂと表示部５は折り曲げ部により折り曲げ可能に連結されている。
図１６に示す携帯カメラ部１Ｂは、図１に示したカメラ１においてさらに画像処理＆制御部４内に、少なくとも複数枚分の画像を記録する記録容量を持って、所定期間中、撮像された画像を一時的に記録（記憶）する仮記録部４ｈを備える。なお、一時的に画像を記録することを仮記録とも言う。また、仮記録部４ｈに画像を一時的に記録する場合、その画像を仮記録するタイミングも同時に記録する。
また、本実施形態においては、画像処理＆制御部４は、半水中撮影モードにおける実質的に良好と考えられる画像を撮影画像として記録部８に記録（撮影・記録）する撮影タイミングを決定する撮影タイミング決定部４ｉの機能を持つ。

ローコントラスト領域検出部４ｆは、撮像している画像においてローコントラスト領域を検出した場合には、仮記録部４ｈにその画像を仮記録（一時的に記録）する。仮記録された画像は、画像合成部４ａ及び表示制御部４ｂを経て、良好と判定された画像が表示部５に表示される。
図１７は、図１６に示した構成の携帯カメラ部１Ｂを備えた携帯電話５１を用いて、ユーザ１３が池５３の水面付近で泳いでいる亀を鑑賞対象の被写体として撮像して、鑑賞している様子を示す。
この図１７に示すようにユーザ１３は、携帯カメラ部１Ｂの（撮像部３の）撮影レンズ３ａの中央位置を水面付近に設定して、池５３の水上被写体及び水中被写体を撮影する半水中撮影モードの撮影状態に設定することができる。

上述した図７において説明したように水面Ｗが変動した斜線で示す領域３２によって、視野θ内における被写体像の結像が実質的に妨げられる。このため、図１７の撮影状態で撮像したある撮像タイミングで取得した画像を表示部５で表示した場合には、図１８Ａのような画像ＩＣ′になる。
この場合には、中央付近に水面パターン（水面部画像）が発生し、その上下が水上被写体の（水上被写体）画像及び水中被写体の（水中被写体）画像となる。
水面Ｗは、風などのために時間的に変動する状況であると、撮像タイミングに依存して、図１８Ｂ、図１８Ｃに示す画像ＩＡ′、ＩＢ′のように図１８Ａの画像ＩＣ′に比較すると良好でない画像になる。このため、本実施形態は、図１８Ｂ、図１８Ｃのような画像の場合には表示を行わないで、より良好な図１８Ａのような画像、又はより良好な合成画像を表示することができるようにしている。
なお、実際には、これらの画像がそれぞれ良好な画像であるか、又は水面パターンによりかなり影響された良好でない画像であるかを判定する処理を行うことが必要となる。このため、判定結果が決まるまでの間においては、図１８Ｂ、図１８Ｃのような画像も一時的に表示するようにしても良い。
画像処理＆制御部４は、ローコントラスト領域を検出した場合には仮記録部４ｈにその画像を一時的に記録する。そして、画像処理＆制御部４は、図１９に示す表示制御の処理手順に従って表示部５に画像を表示する制御を行う。

図１９の表示制御の処理が開始すると、最初のステップＳ１０１において画像処理＆制御部４は、撮像部３により撮像された被写体の画像の取り込みを行う。次のステップＳ１０２において画像処理＆制御部４のローコントラスト領域検出部４ｆは、撮像した画像におけるローコントラスト領域の検出を行う。
そして、ローコントラスト領域検出部４ｆは、検出したローコントラスト領域が図１８Ａのように画面の（上下方向における）中央部のみか否かの判定を行う。この判定を行う場合、画像処理＆制御部４は、加速度センサによる検知結果を利用して画面の上下方向を認識する。なお、中央部のみか否かの判定を行う場合、コントラストが低いローコントラスト領域の上下方向の幅、つまりローコントラスト領域が水平方向に帯状になっている場合のその帯の幅が所定値（又は閾値）以下であるか否かにより判定する。その幅が所定値以下であると良好な画像であると判定される。
ローコントラスト領域が中央部のみでない判定結果の場合には、次のステップＳ１０３において画像処理＆制御部４は、画面の上方部分がローコントラスト領域であるか否か、つまり、図１８Ｂのようにローコントラスト領域が上方に広がっているか否かの判定を行う。

画面の上方部分がローコントラスト領域である判定結果の場合には、次のステップＳ１０４において画像処理＆制御部４は、この画像を仮記録部４ｈに画像ＩＡ′として仮記録し、ステップＳ１１１の処理に移る。
図１８Ｂは、この画像ＩＡ′の場合の１例である。この場合には、下部側の水中被写体の画像Ａ′と共に、その上部側に水面部による水面部画像（水面パターン）としてのローコントラスト領域の画像領域３２ｅが発生した画像ＩＡ′となる。
一方、ステップＳ１０３において画面の上方部分がローコントラスト領域でない判定結果の場合には、ステップＳ１０５において画像処理＆制御部４は、画面の下方部分がローコントラスト領域であるか、つまり、図１８Ｃのようにローコントラスト領域が下方に広がっているか否かの判定を行う。

画面の下方部分がローコントラスト領域である判定結果の場合には、次のステップＳ１０６において画像処理＆制御部４は、この画像を仮記録部４ｈに画像ＩＢ′として仮記録する。図１８Ｃは、この画像ＩＢ′の場合の１例である。この場合には、上部側の水中被写体の画像Ｂ′と共に、その下部側に水面部による水面部画像（水面パターン）としてのローコントラスト領域の画像領域３２ｆが発生した画像ＩＢ′となる。
次のステップＳ１０７において画像処理＆制御部４は、上記仮記録部４ｈに仮記録した画像ＩＡ′のローコントラスト領域に、画像ＩＢ′のローコントラスト領域以外の画像部分を合成した合成画像を生成し、この合成画像を表示部５で表示する。
図１８Ｂの画像ＩＡ′に、図１８Ｃの画像ＩＢ′を合成した場合には、図１８Ａの画像ＩＣ′に示すものに類似した合成画像となる。
このように良好な画像でないと判定した場合には、仮記録した複数の画像を合成することにより、良好な画像を生成して表示する。具体的には、上方にローコントラスト領域が広がった画像ＩＡ′と、下方にローコントラスト領域が広がった画像ＩＢ′とから、一方のローコントラスト領域を他方の画像におけるローコントラスト領域以外の画像で置換による補間を行うことによって、良好な合成画像を生成して表示する。
従って、ユーザ１３は、良好でない画像しか撮像できない状況であっても、良好な画像を観察（鑑賞）することができる。

ステップＳ１０７の処理の後、画像処理＆制御部４は、ステップＳ１１１の処理に進む。
なお、ステップＳ１０５において画面の上方部分がローコントラスト領域でない判定結果の場合には、ステップＳ１０８において画像処理＆制御部４は、その画像を表示することなく、ステップＳ１１１の処理に進む。
また、ステップＳ１０２においてローコントラスト領域が中央部のみの判定結果の場合には、ステップＳ１０９において画像処理＆制御部４は、その画像を仮記録部４ｈに仮記録する。図１８Ａの画像ＩＣ′は、この場合に該当する画像例である。
そして、次のステップＳ１１０において画像処理＆制御部４は、仮記録部４ｈに仮記録した画像を（良好な画像であるために）そのまま表示部５で表示する。そして、画像処理＆制御部４は、ステップＳ１１１の処理に進む。

ステップＳ１１１において画像処理＆制御部４は、表示終了の操作が行われたか否かの判定を行う。表示終了の操作が行われていない場合には、ステップＳ１０１に戻り、次の画像の取り込みを行い、同様の処理を行う。一方、表示終了の操作が行われた場合には、図１９の処理を終了する。
なお、図１９に示すフローチャートでは、ステップＳ１０６の画像ＩＢ′の仮記録の後に、ステップＳ１０７において合成画像を生成して表示する処理を行う処理手順にしているが、この処理手順に限定されるものでない。
例えば、仮記録部４ｈに画像ＩＡ′又は画像ＩＢ′を仮記録した場合、合成を行うべき画像ＩＢ′又は画像ＩＡ′がすでに仮記録されている場合には、合成画像を生成して表示するようにしても良い。

具体的には、図１９のステップＳ１０５の処理の後、ステップＳ１０７に進むようにしても良い。但し、ステップＳ１０７においては、上記のように合成を行うべき画像ＩＢ′又は画像ＩＡ′がすでに仮記録されているか否かを判定し、仮記録されていない場合には合成画像を生成しないで、ステップＳ１１１に進み、仮記録されている場合には合成画像を生成して表示する。
また、図１９に示すステップＳ１０７に記載した場合に限定されるものでなく、画像ＩＢ′のローコントラスト領域に画像ＩＡ′のローコントラスト以外の画像を合成して表示するようにしても良い。
図２０は、このような処理手順（図１９を若干修正）に対応した表示制御のタイミング図を示し、横方向が時間ｔを示す。また、符号Ｔｆは、撮像部３による被写体を１画面（フレーム）分、撮像する場合の撮像周期を示し、表示周期と同じとしている。

最上段（１段目）は、撮像部３により撮像されて、画像処理＆制御部４に取り込まれた画像ＩＣ′、ＩＡ′、ＩＢ′における時間順の（撮像）画像Ｃｊ、Ａｊ、Ｂｊ、をそれぞれ示し、その下段（２段目）には表示部５で実際に表示される画像Ｃｊ、Ｄｊを示す。なお画像ＩＣ′は、ローコントラスト領域が中央部のみの場合の良好と考えられる画像を意味する。
これに対して、画像Ａｊ，Ｂｊは、画像Ｃｊ程には良好ではない画像のため、そのままでは表示されない。そして、画像Ｄｊは、画像Ａｊ、Ｂｊ（ｊが異なる場合もある）を合成した合成画像であり、表示される画像となる。また、ｊ＝１，２，３，…は、撮像された画像の時間順を示すパラメータである。

図２０に示すように画像Ｃ１が撮像された場合には、次のフレームから、表示部５によりその画像Ｃ１が表示される。この画像Ｃ１は、次の画像Ｃ２が表示されるまで、又は合成画像Ｄ１が表示されるまで、その表示が継続する。
図２０の例では、画像Ｃ２の次に、画像Ａ１、Ａ２が撮像されるが、まだ画像Ｂ１が撮像されていない（そして仮記録もされていない）ので、表示されない。そして、画像Ｂ１が撮像されると、（画像Ｂ１と画像Ａ２との合成による）合成画像Ｄ１として表示される。
なお、この表示例では、合成画像を表示する場合、Ｂｊ（具体的にはＢ１）以前に複数の画像Ａｊ（具体的では画像Ａ１，Ａ２）が仮記録されている場合、最新の画像（Ａ２）と合成する。画像Ｂ１の次に画像Ｂ２が撮像されると、この画像Ｂ２と画像Ａ２との合成画像Ｄ２が表示される。

その後、画像Ｃ３が撮像されてその画像Ｃ３が表示される。その後、画像Ａ３が撮像されると、この画像Ａ３と、その時間前における最新の画像Ｂ２とで合成画像Ｄ３が表示される。以後も同様の規則で表示されることになる。
このように表示制御することにより、水面部のために、水上被写体のみの画像や、水中被写体のみの画像しか撮像できない状況においても、水上被写体及び水中被写体を同時に含む合成画像（図２０における画像Ｄ１，Ｄ２等）や、中央部のみがローコントラスト領域となる水上被写体及び水中被写体を同時に含むと考えられる画像（図２０における画像Ｃ１，Ｃ２等）を表示部５で表示することができるようになる。
従って、ユーザ１３はこのように鑑賞対象の被写体を良好に撮像した状態に相当する画像を鑑賞することができる。

図２０に示した表示の変形例として、合成画像を表示する場合、上下方向のローコントラスト領域が小さいもの、つまり上下方向にローコントラスト領域の広がりが小さいものを選択して合成画像を生成して表示するようにしても良い。
また、上述においては、撮像した画像を表示する場合に関する説明であった。本実施形態は、さらに表示と撮影・記録との制御とを連動させるような撮影モードを選択することもできる。この撮影・記録は、仮記録ではなく、記録部８に画像を記録することを意味し、その意味が明らかな場合には簡略的には撮影又は記録とも言う。
本実施形態においては、表示と撮影との制御とを連動させる場合、上述した画像Ｃ１等の良好な画像のみを撮影・記録するモードと、さらに合成画像も撮影・記録するモードを選択することができるようにしている。また、本実施形態においては、仮記録部４ｈを設けることにより、撮影タイミングを逃すことなく、画像Ｃ１等の良好な画像を、記録部８に撮影・記録することができるようにしている。

この場合に係る携帯カメラ１Ｂは、水面上部側の水上被写体と、水面下部側の水中被写体とを同時に撮影するための撮像部３と、この撮像部３で撮像した被写体の画像から、水面が変動する水面部によって生じる水面部画像を検出し、水上被写体の（水上被写体）画像と水中被写体の（水中被写体）画像の同時撮影に適した撮影タイミングを決定する撮影タイミング決定部４ｉと、撮影タイミング決定部４ｉで決定した撮影タイミング付近の複数のタイミングで撮像された複数の被写体の画像から合成画像を生成する画像合成部４ａと、を具備することを特徴とする。
より具体的には、画像処理＆制御部４の撮影タイミング決定部４ｉは、（仮記録部４ｈに記録可能な）所定期間中に撮像部３によりそれぞれ撮像された複数の画像を、そのタイミングと共に一時的に仮記録部４ｈに記録する。

さらに、撮影タイミング決定部４ｉは、仮記録部４ｈに一時的に記録された画像に対して水面部画像における水面部の影響が小さい、又は（水上被写体）画像及び（水中被写体）画像の同時撮影に該当する撮影すべき撮影画像であるか否かを決定（判定）する。そして、撮影タイミング決定部４ｉは、決定した撮影画像を仮記録部４ｈから記録部８に撮影画像として撮影・記録するタイミングを、撮影すべき撮影画像を撮影する撮影タイミングとして決定する（撮影タイミングとする）ことを特徴とする。
なお、この場合の撮影画像は、図１８Ａに示すようにローコントラスト領域が画面の中央部のみに存在するものが該当する。

図２１Ａは表示と撮影とを連動させた場合の処理手順の一部のフローチャートを示す。
図２１Ａは、例えば図１９のフローチャートにおいて、ステップＳ１１０とステップＳ１１１との間にステップＳ１２１とステップＳ１２２との処理を行う処理手順となっている。ステップＳ１１０において図２０の画像Ｃ１，Ｃ２等をそのまま表示部５に表示した後、ステップＳ１２１において画像処理＆制御部４は、表示と撮影・記録との制御を連動させる設定（選択）であるかの判定を行う。
ユーザ１３は、表示と撮影との制御を連動させる場合には、例えばモード設定スイッチ６ｂの操作によるメニュー画面から連動を選択すれば良い。画像処理＆制御部４は、この選択結果を参照することにより連動させるモードであるか否かを判定する。

連動させない判定結果の場合には、画像処理＆制御部４は、ステップＳ１２１の後ステップＳ１１１に進む。この場合には、図１９と同様の処理を行うことになる。
一方、連動の判定結果の場合には、ステップＳ１２１の処理の後、ステップＳ１２２において画像処理＆制御部４は、表示部５で表示した場合の画像を撮影し、記録部８に記録する処理を行った後、ステップＳ１１１に進む。その他は、図１９、又は上述したように合成画像の生成、表示に関する一部を変形した処理手順と同様である。
図２１Ａに示した処理手順に沿った場合の撮影・記録の様子を図２０の３段目に示す。なお、図２０の３段目においては、撮影・記録（１）として示している。具体的にはローコントラスト領域が中央部のみとなる画質が良好と考えられる画像Ｃ１が（２段目に示すように）表示されると、その表示に連動して、３段目に示すように画像Ｃ１が撮影すべき撮影画像として仮記録部４ｈから記録部８に撮影・記録される。

この場合、撮影画像と共に、仮記録部４ｈに仮記録されたタイミング又は記録部８に記録されるタイミングが撮影タイミングとして記録される。なお、画像Ｃ１が継続して表示された場合には、その撮影・記録は最初の画像Ｃ１のみとなる。その後の画像Ｃ２等においても、表示に連動して撮影・記録が行われる。
従って、この場合には、画像処理＆制御部４は、表示部５に表示する画質が良好と考えられる画像に連動して撮影して記録する撮影タイミングを決定する撮影タイミング決定部４ｉの機能を持つ。また、上記の説明のように、この撮影タイミング付近のタイミング（なお、このタイミングも撮影タイミングに含まれるように定義しても良い）において、画像合成部４ａは合成画像を生成し、生成された合成画像は表示部５で表示される。

また、画像Ｃ１、Ｃ２等の撮影・記録の他に合成画像を撮影・記録するようにしても良い。この場合の１例として、図２０の２段目の表示と連動して合成画像Ｄ１，Ｄ２，…を撮影・記録する。この他に、図２０の４段目に撮影・記録（２）に示すように撮影・記録しても良い。図２０の４段目に示す例では、複数の合成画像を連続して表示した場合には、その中から、例えが上下方向におけるローコントラスト領域の広がりの最も小さい画像を用いて生成した合成画像のみを撮影・記録するようにしている。

具体例においては、画像Ｂ１が撮像されると、この画像Ｂ１と仮記録された表示されない最新の画像Ａ２とによる合成画像Ｄ１が表示され、次のフレームにおいて画像Ｂ２と画像Ａ２とによる合成画像Ｄ２とが連続して表示される。この場合、上下方向におけるローコントラスト領域の広がりが画像Ｂ１よりも画像Ｂ２の方が小さい場合であるとして、合成画像Ｄ２を撮影・記録する。なお、合成画像Ｄ２を記録部８に実際に記録するタイミングは、合成画像Ｄ２の表示後となる。
図２１Ｂはこのような処理を行う処理手順を示す。図２１Ｂの処理手順は、図１９におけるステップＳ１０６からステップＳ１１１に進む処理手順を変形した内容に該当する。

ステップＳ１０６において画像ＩＢ′（図２０では画像Ｂ１）として仮記録した後、ステップＳ１３１において画像処理＆制御部４は、仮記録部４ｈに画像ＩＡ′が仮記録されているか否かの判定を行う。
仮記録部４ｈに画像ＩＡ′が仮記録されていない場合にはステップＳ１１１に進み、逆に仮記録部４ｈに画像ＩＡ′が仮記録されている場合にはステップＳ１３２に進む。
このステップＳ１３２において画像処理＆制御部４は、画像ＩＢ′と、仮記録部４ｈに仮記録され、表示されない最新の画像ＩＡ′とで合成画像を生成し、その合成画像を表示する。この場合、画像処理＆制御部４は、例えば画像ＩＢ′のローコントラスト領域に、最新の画像ＩＡ′のローコントラスト領域以外の画像を合成して表示部５に表示する。つまり、画像ＩＢ′のローコントラスト領域を、画像ＩＡ′の（ローコントラスト領域以外の）画像で置換による補正を行い、画像ＩＢ′のローコントラスト領域を低減した良好な画像を生成して、表示部５で表示する。

さらに次のステップＳ１３３において画像処理＆制御部４は、複数の画像ＩＢ′が連続して存在し、連続しているものの最後の画像であるか否かの判定を行う。これに該当しない場合にはステップＳ１１１に進む。
一方、Ｓ１３３の判定に該当する場合には次のステップＳ１３４において画像処理＆制御部４は、上下方向（より厳密には中央部から下方向）にローコントラスト領域の広がりが最も小さい画像をＩＢ′ｍｉｎを検出する。そして、画像処理＆制御部４は、この画像ＩＢ′ｍｉｎと画像ＩＡ′による合成画像を撮影・記録して、ステップＳ１１１に進む。

なお、画像ＩＢ′ｍｉｎを検出するためには、連続する画像ＩＢ′の最後の画像の検出（判定）が必要になるため、上記のように実際に記録部８に合成画像を撮影・記録するタイミングは、撮像したタイミングや仮記録したタイミングよりも若干遅れる。但し、仮記録する場合、仮記録するタイミング（時間）を同時に仮記録しておくことにより、実際に記録部８に記録する撮影タイミング（時間）として、それらのタイミングを記録するようにすれば、実際の記録動作が若干遅れることは問題にならない。また、仮記録するタイミングと記録部８に記録するタイミングとの差が小さいような場合には、いずれのタイミングを用いても良い。
図２０の４段目においては、さらに画像Ｃ３の次に画像Ａ３、Ａ４が順次撮像されると、図２１Ｂに示した処理と類似した処理（ＩＡ′とＩＢ′とを入れ替えた処理）が行われる。

そして、同様に合成画像Ｄ３、Ｄ４においては、上下方向におけるローコントラスト領域の広がりが最も小さい画像を用いた場合の合成画像Ｄ４を撮影・記録する。ここで、上下方向におけるローコントラスト領域の広がりは、画像Ａ３よりも画像Ａ４の方が小さいとしている。
このように表示と撮影の制御を行う第２の実施形態によれば、第１の実施形態の効果の他に、水上被写体及び水中被写体とを同時に含むような良好な撮像状態に相当する画像を表示することも、記録部８に撮影・記録することができる。
なお、第１の実施形態においても、合成画像における例えばローコントラスト領域が上下方向において閾値よりも小さいか否かを判定し、閾値よりも小さい判定結果の場合には良好な画像として記録部８に記録するようにしても良い。また、水面部の影響が小さいと判定した合成画像を撮影画像として記録部８に記録しても良い。
また、上述した実施形態等を部分的に組み合わせたり、発明の要旨を変更することなく変形して構成される実施形態も本発明に属する。

１…カメラ、１Ｂ…携帯カメラ部、２…ケース、３…撮像部、３ａ…撮影レンズ、３ｂ…撮像素子、３ｄ…ピント合わせ部、４…画像処理＆制御部、４ａ…画像合成部、４ｂ…表示制御部、４ｃ…ピント制御部、４ｅ…水面部画像検出部、４ｆ…ローコントラスト領域検出部、４ｇ…半水中撮影モード判定部、４ｈ…仮記録部、４ｉ…撮影タイミング決定部、５…表示部、８…記録部、１５…加速度検知部、３１…波

特許３６３５５００号 特開２００５−２１５６８４号公報

Claims (10)

1. 水面上部側の水上被写体と、水面下部側の水中被写体とを同時に撮影するための撮像部と、
   上記撮像部で撮像した被写体の画像から、上記水上被写体の水上被写体画像と、上記水中被写体の水中被写体画像との境界の上記水面部に対応する水面部画像を検出する水面部画像検出部と、
   上記水面部画像の検出結果に基づいて、上記撮像部の視野内における上記水面部の存在によって撮影が妨げられた上記水上被写体画像及び上記水中被写体画像の少なくとも一方を補間するための合成画像を生成する画像合成部と、
   を具備することを特徴とするカメラ。
2. 上記画像合成部は、
   上記撮像部で撮像した被写体の画像における上記水面部画像の上側に上記水中被写体画像、又は上記水面部画像の下側に上記水上被写体画像を合成して、上記合成画像を生成することを特徴とする請求項１に記載のカメラ。
3. さらに、撮影者により上記カメラが上記水上被写体と上記水中被写体とを同時に撮影可能にする半水中撮影モードの撮影状態に設定したことを判定する半水中撮影モード判定部を有することを特徴とする請求項１に記載のカメラ。
4. 上記水面部画像検出部は、
   上記撮像部で撮像した被写体の画像から、少なくとも水平方向に帯状に延びるローコントラストのローコントラスト領域の検出結果により上記水面を含む水面部に対応する水面部画像を検出することを特徴とする請求項２に記載のカメラ。
5. 上記画像合成部は、
   水平方向に帯状に延びる上記ローコントラスト領域が上又は下方向に広がって存在している場合の上記水面部画像を含む被写体の画像に対して、上記水中被写体画像又は上記水上被写体画像を合成して、上記合成画像を生成することを特徴とする請求項４に記載のカメラ。
6. 上記合成画像を画像を表示する表示部に表示すると共に、上記ローコントラスト領域が上下方向に閾値以下と判定された合成画像を、撮影画像として記録部に記録することを特徴とする請求項５に記載のカメラ。
7. 水面上部側の水上被写体と、水面下部側の水中被写体とを同時に撮影するための撮像部と、
   上記撮像部が上記水上被写体と上記水中被写体とを同時に撮影するための撮影モードとしての半水中撮影モードの撮影状態に設定されたことを自動的に検出する半水中撮影モード判定部と、
   上記半水中撮影モード判定部による半水中撮影モードの撮影状態の判定後における複数の撮影タイミングにより上記撮像部により撮影された複数の画像から水面が変動する水面部により発生する水面部画像を検出し、該水面部画像の少なくとも一部に上記水上被写体の水上被写体画像又は上記水中被写体の水中被写体画像を合成して上記水面部画像の領域を低減した合成画像を生成する画像合成部と、
   を具備することを特徴とするカメラ。
8. 水面上部側の水上被写体と、水面下部側の水中被写体とを同時に撮影するための撮像部と、
   上記撮像部で撮像した被写体の画像から、水面が変動する水面部によって生じる水面部画像を検出し、上記水上被写体の水上被写体画像と上記水中被写体の水中被写体画像の同時撮影に適した撮影タイミングを決定する撮影タイミング決定部と、
   上記撮影タイミング決定部で決定した撮影タイミング付近の複数のタイミングで撮像された複数の上記被写体の画像から合成画像を生成する画像合成部と、
   を具備することを特徴とするカメラ。
9. 上記撮影タイミング決定部は、所定期間中に上記撮像部によりそれぞれ撮像された複数の画像を、撮像したタイミングと共に一時的に仮記録部に記録し、該仮記録部に一時的に記録された画像に対して上記水面部画像における水面部の影響が小さい、又は上記水上被写体画像及び上記水中被写体画像の同時撮影に該当する撮影すべき撮影画像であるか否かを決定し、決定した撮影画像を上記仮記録部から記録部に撮影画像として撮影タイミングと共に記録することを特徴とする請求項８に記載のカメラ。
10. 上記水面部の影響が小さいと判定された合成画像を、撮影画像として上記記録部に記録することを特徴とする請求項９に記載のカメラ。

Images