JP2019129474A - 画像撮影装置 - Google Patents

Abstract

【課題】移動中の電車において、車窓越しの風景は相対的には移動物体となることからＨＤＲ撮影における位置あわせ処理が困難であり、車内風景、車窓風景の両方に好適な画像を記録することは困難である。
【解決手段】撮影開始時に撮像領域を撮影条件の異なる第１の領域と第２の領域に分割する分割手段と、前記第１の領域の撮影に適する第１の撮影パラメータと前記第２の領域の撮影に適する第２の撮影パラメータを算出する算出手段と、を有し、一連の撮影において、前記第１の撮影パラメータで撮影される第１の画像と、前記第２の撮影パラメータで撮影される第２の画像と、を順に撮影し、前記第１の画像における第２の領域を、第２の画像における第２の領域によって置き換えることで撮影画像を生成、記録することを特徴とする。
【選択図】図１

Description

本発明は、画像撮影装置であり、特に領域毎に撮影条件が異なる場合において好適な画像を得るための技術に関する。

電車など乗り物での移動中に記念撮影を行う場合、電車内の風景を被写対象とする車内領域と、車窓越しの風景を被写対象とする車窓領域では著しく撮影条件が異なる。

例えば、天気の良い日中での撮影の場合、車窓越しの風景を撮影するのに好適な露出設定で撮影すると、暗い車内風景を撮影するには光量が足りない。結果として撮影画像中の車内領域は黒く潰れたようになってしまう。

これに対して特許文献１には複数画像に対して、輝度レンジ毎の領域分割を行い、各領域に対して位置ずれ補正とＨＤＲを行う技術が開示されている。

特開２０１０−２７８８９号公報

しかしながら、移動中の電車においては車窓越しの風景は相対的な移動物体となり、ＨＤＲ撮影における位置あわせ処理が困難になる。そのため、前記特許文献１の手法によると、車窓領域にゴーストが発生してしまい、結果として車内風景、車窓風景の両者を好適な状態で記録画像として残すことが困難である。

上記の課題を解決するために、本発明に係る撮影装置は、
撮影開始時に撮像領域を撮影条件の異なる第１の領域と第２の領域に分割する分割手段と、
前記第１の領域の撮影に適する第１の撮影パラメータと前記第２の領域の撮影に適する第２の撮影パラメータを算出する算出手段と、
を有し、
一連の撮影において、前記第１の撮影パラメータで撮影される第１の画像と、前記第２の撮影パラメータで撮影される第２の画像と、を順に撮影し、前記第１の画像における第２の領域を、第２の画像における第２の領域によって置き換えることで撮影画像を生成、記録することを特徴とする。

本発明に係る撮影装置によれば、列車移動中などの写真撮影において、車内風景、及び、車窓風景のそれぞれに対し好適な状態での記録が可能となる。

本発明に関わる撮影装置のブロック図である。 本発明による撮影画像の一例である。 本発明による撮影処理のフローチャートである。 本発明による領域境界の形状情報の一例である。 本発明による車内向け撮影、及び、車窓向け撮影の一例である。 本発明による撮影パラメータの一例である。 本発明における合成処理のフローチャートである。

以下に、本発明を実施するための形態について、添付の図面を用いて詳細に説明する。

なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されてもよい。また、各実施の形態を適宜組み合せることも可能である。

図１を用いて本撮影装置の構成を説明する。

符号１００は本実施例における撮影装置である。符号１０１は撮像装置１００全体の制御を担う制御部すなわちＣＰＵである。符号１０２は不揮発性メモリであり、制御部１０１で動作させるプログラムが格納される。符号１０３は本撮像装置のユーザインターフェース機能を有する操作部である。撮影装置に対する撮影設定などの操作を受け付ける。

符号１０４はバスである。制御部１０１からのコマンドを各ブロックへ伝達する他、メモリ１０５と各ブロックの間のデータ伝達機能を有す。符号１０５は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような大容量のメモリであり、 画像データや、撮影に関わる設定値、プログラムの変数などの各種データを一時的に保持することが可能である。

符号１０６は撮像部であり、例えば、レンズと、レンズを経て導入された光を電気的な画像信号に変換する撮像素子、及び各種センサーなどで構成される。撮像部１０６は、制御部１０１に制御されることで撮像部１０６に含まれるレンズにて結像された被写体光を撮像素子によって画像信号に変換し、デジタルデータとしてメモリ１０５に格納する。また、撮像部１０６は、各画素における輝度値を算出しメモリ１０５に格納する。

符号１０７は画像処理部であり、前記１０６によって得られた画像信号を現像処理し、画像データを生成する。生成された画像データはメモリ１０５に格納する。符号１０８は表示部であり、液晶パネルなどの表示部材と、前記液晶パネルに表示する画面を生成する制御回路からなり、メモリ１０５に格納された画像データや、画面データの表示を行う。また、対話式の操作を行うためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）表示も行う。

符号１０９は記録媒体であり、例えば撮像装置１００に装着されたメモリカードである。例えば複数の撮影装置による撮影画像など、各種データが記録されている。符号１１０は記録媒体１０９とのインターフェースである記録媒体ＩＦである。記録媒体ＩＦ１１０は、制御部１０１の指示によって、メモリ１０５の各種データを読み込み記録媒体１０９へ記録する。また、制御部１０１の指示により、記録媒体１０９に記録された画像データなどの各種データをメモリ１０５に読み出すことも可能である。

符号１１１は通信部である。制御部１０１の制御により、サーバーやその他ネットワーク形成可能な端末などと、各種データの送受信を行う。データ受信時には制御部１０１に対して、受信完了を伝える機能も有す。符号１１２はＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機であり、撮影装置１０１の現在位置座標を取得することが可能である。

符号１１３は認識部であり、メモリ１０５に保存された画像データのパターン認識を行い、画像データ中における直線などの形状情報を抽出する。前記抽出した形状情報はメモリ１０５に格納する。また認識部１１３は、連続する複数画像データの差分情報を用いて、移動物体を抽出することも可能である。前記抽出した移動物体も同様に形状情報としてメモリ１０５に格納する。加えて、認識部１１３は、メモリ１０５に記憶された画像データの一部ないしは全部と、前記抽出された形状情報とを比較し類似性を判定することが可能である。これによって特定領域の切り出しが可能である。

符号１１４はパラメータ算出部である。ユーザインターフェース１０３より入力された撮影設定、及び、撮像部１０６における各種センサーへの入力情報から撮影条件を計算し撮影パラメータとしてメモリ１０５に格納する。符号１１５は画面生成部である。表示部１０８で表示する画面データを生成しメモリ１０５に格納する。

以上が、本装置の構成となる。

次に、本実施例において、撮影条件の異なる領域に分割しながら、１枚の画像を撮影する形態について説明する。なお、本実施例では、列車内で撮影する場合を想定し説明するがこの限りではない。

はじめに、本実施例における撮影装置１００は、従来どおりの撮影を行う通常撮影状態と、室内や車内から車窓風景も含めて撮影する場合に適した撮影手段を提供する車窓撮影状態とを有する。前記車窓撮影状態への遷移は、操作部１０３より行われるユーザ操作によってなされても良い。また、制御部１０１がＧＰＳ１１２からの情報を利用して室内や車内にいることを検知し自動的に遷移しても良い。

ここで、図２に本撮影装置による撮影画像例を記載する。

符号２００は通常撮影状態で撮影された画像である。画像２００は電車内から車内風景と車窓越しの外景とを撮影したものであり、符号２０１は撮影画像２００において車窓越しに見られる外景が記録された車窓領域である。また、符号２０２は撮影画像２００において車内風景が記録された車内領域である。また、符号２０３は符号２００と同一の撮影条件において、車窓撮影状態で撮影された画像である。画像２０３においては、符号２０４が車窓領域であり、符号２０５が車内領域であるが、いずれの領域も鮮明に記録されていることを表している。

次に、図３を用いて本実施例における車窓撮影状態時の撮影フローを説明する。

制御部１０１は操作部１０３より撮影開始の指示を受け取ると、Ｓ３０１にて領域判定処理を行う。

本実施例における領域判定処理について、輝度差を用いて行う方法について以下に説明する。

制御部１０１はパラメータ算出部を制御し領域判定用の露出条件を算出する。また、制御部１０１は前記取得した露出条件となるよう撮像部１０６を制御する。

次に、制御部１０１は撮像部１０６から輝度情報を取得し、不揮発性メモリ１０２に格納された閾値情報と比較することで、高輝度領域と低輝度領域に分割する。ここでは高輝度の領域を車窓領域２０１とし、低輝度の領域を車内領域２０２とする。なお、閾値は複数用意しても良い。また、直前の撮影条件を元に閾値を更新した上でメモリ１０５に記憶しておき、その情報を用いても良い。また、天気や時間などの条件で判断基準を変更してもよい。

なお、本実施例では輝度差を用いて領域判定を行ったが、例えば図示しないが赤外光投影器を付属し、前記が発する赤外光の透過性から窓領域を検知することで車窓領域を検知してもよい。他にも、認識部１１３を用いて画像内の動体領域を検出すること車窓領域を検知してもよい。

以上がＳ３０１における領域判定処理となる。

次に、Ｓ３０２において、制御部１０１は、前記領域判定処理の結果、車内領域２０２と車窓領域２０１に領域分割できた場合、Ｓ３０３の処理に進み、分割できなかった場合はＳ３１４に進む。

制御部１０１は撮影開始指示を受けてからの経過時間を計測しており、所定時間経過した場合は、通常撮影モードに切り替えてＳ３１５に進む。一方で所定時間経過していなければ、Ｓ３０１に制御を戻し、再び領域判定処理より行う。この際、制御部１０１は、前記領域判定用の露出条件を再度算出しなおすことで、新たな領域分割の結果を得ることも可能である。

なお、前記の所定時間は不揮発性メモリ１０２に記録された値を用いる。

次にＳ３０３で、制御部１０１は前記領域判定処理によって取得した車窓領域２０１の形状情報と、前記形状の座標情報をメモリ１０５に記憶する。

これは例えば、２値化した画像情報として保存してもよい。図４に前記２値化した形状情報の例を示す。

図４の例は、境界近傍のみの画像情報を切りだして記憶されたものである。この場合、左上を始点とし、前記始点の元画像２００における座標空間上のｘ、ｙ座標も座標情報としてメモリ１０５に記憶しておく必要がある。

次に、Ｓ３０４で、制御部１０１は、パラメータ算出部１１４を制御し前記で分割した領域毎に適切な撮影パラメータを算出する。パラメータ算出部１１４は、前記２値化した画像情報として記憶した形状情報を用いて前記の車内領域２０２及び、前記車窓領域２０１を撮像部１０６の撮像面座標へ変換する。これによって、領域毎に適正な撮影パラメータを算出する上で有効となる画素領域を決定できる。

なお、本実施例では、人物優先モードと、風景優先モードの２種類を持ち、前記２つのモードにあわせて以降の処理順序を変化させる。

本実施例のように列車内で撮影する場合、撮影対象となる人物は列車内に同乗していることが大半である。よって、人物優先モードの場合は車内領域を優先して撮影する。一方、撮影対象となる風景は、車窓越しに撮影することが大半である。ここで、列車移動中の撮影となることから、撮影指示から撮影までのタイムラグが大きくなった場合は、所望する風景写真が得られなくなることが考えられる。そのため、風景優先モードの場合、車窓領域を優先して撮影する。

つまり、制御部１０１はＳ３０５にて人物優先モードであることを認識した場合は、車内向け撮影Ｓ３０６を行った後に車窓向け撮影Ｓ３０７を行う。一方、Ｓ３０５にて人物優先モードでないこと、つまり、風景優先モードであることを認識した場合は、車窓向け撮影Ｓ３０８を先に行った後に、車内向け撮影Ｓ３０９を行う。

前記車窓向け撮影、及び、車内向け撮影は、Ｓ３０４で制御部１０１がパラメータ算出手段１１４を制御して算出した各領域に対する適正パラメータを用いる。前記パラメータについては図６に示す。図６の説明については後述する。

また、図５に車内向け撮影による撮影画像の例と、車外向け撮影による撮影画像の例をそれぞれ示す。繰り返しになるが、本例では車内における光度が車外よりも低い場合の撮影を例に説明する。

５００は車内向け撮影によって撮影された画像例である。ここで、画像例５００において、５０１は車窓領域を、５０２は車内領域を表す。前記車内向け撮影は、比較的暗い車内領域に対しての適正露出による撮影であることから、車窓領域５０１が白飛びしていることを表す。

また、５１０は車窓向け撮影によって撮影された画像例である。ここで、画像例５１０において、５１１は車窓領域を、５１２は車内領域を表す。前記車窓向け撮影は、比較的明るい車窓領域に対しての適正露出による撮影であることから、車内領域５１２が黒つぶれしていることを表す。

再び、図３のフローチャートによる処理の説明に戻る。

制御部１０１はＳ３１０の処理にて、前記車内向け撮影、及び、車窓向け撮影にて撮像部１０６が取得した画像データからそれぞれにおける有効領域を切り出す。有効領域の切り出しは、制御部が認識部１１３を制御し、境界情報４００に類似する領域を切り出すことで行う。ここで、前記車内向け撮影における有効領域は、画像例５００における５０２であり、前記車窓向け撮影における有効領域は、画像例５１０における５１１となる。

次に、制御部１０１はＳ３１１の処理にて、前記車内向けの有効領域５０２と車窓向けの有効領域５１１を合成し１枚の撮影データを生成する。

前記各領域を合成し１枚の撮影データを生成する処理は図７を用いて後述する。

最後に制御部１０１はＳ３１２にて、Ｓ３１１で生成された撮影データを１枚の画像として記録する。この時、制御部１０１は前記の境界情報も同時に記録する。また前記記録された境界情報のファイル名は、前記撮影データのＥｘｉｆ情報（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）として記録する。前記Ｅｘｉｆ情報を用いることで、例えば画像再生時に窓枠内のみに対してぼかし処理のようなエフェクト効果を付加することも可能となる。これにより、本撮影装置を用いて２０３に示した画像を撮影することが可能となる。

次に、図６を用いてパラメータ算出部１１４によって算出される、車内向け撮影パラメータ、及び、車窓向け撮影パラメータの例を示す。

６００−（ａ）は車内向け撮影パラメータの例であり、６００−（ｂ）は車外向け撮影パラメータの例である。６０１〜６０５は本実施例で対象とする撮影パラメータ種類を表す。６０１はＡＦモードであり、オートフォーカスの方式を表す。６０２はＡＶ値であり、撮影時のレンズの絞り量を表す。６０３はＴＶ値であり、撮影時のシャッター速度を表す。

６０４はＩＳＯ感度であり、撮影時の感度を表す。６０５はショットモードであり、連写の有無、ＨＤＲなどの特殊撮影の有無を表す。

６１１〜６１５は、車内領域５０２の撮影に適したパラメータの例である。６１１は、車内領域５０２に人物が認識されるため、人物撮影に適した顔優先モードが選択されたことを表す。６１２は、人物撮影に適する被写界深度の浅い作画が得られるよう、小さい絞り値が選択されている。６１３は、上記絞り値６１２にあわせたシャッター速度が選択されている。６１４は、上記絞り値、及び、シャッター速度にあわせて適正な露出が得られるＩＳＯ感度が選択されている。６１５は、車内領域のみに対してＨＤＲ撮影を有効にすることを表している。車内撮影においては、主な動体部分は車窓領域であり、車窓領域は車内撮影においては無効領域となることから、車内領域に対して効果的なＨＤＲ撮影が行える。

６２１〜６２５は、車窓領域５０１の撮影に適するパラメータの例である。６２１は、電車での移動中であり、車窓領域は移動体になることからサーボモードが選択されたことを表す。６２２は、風景撮影に適する被写界深度の深い作画が得られるよう、大きい絞り値が選択されたことを表す。６２３は、移動体の撮影に適した高速のシャッター速度が選択されたことを表す。６２４は、上記絞り値、及び、シャッター速度にあわせて適正な露出がえられるＩＳＯ感度が選択されている。６２５は、車窓領域のみに対して連続撮影が有効になることを表している。

本実施例のように電車移動中の撮影の場合、車窓領域は相対的に移動物体となることから連続撮影を有効として複数枚の画像を撮影することで、所望の対象物を撮り逃す事態を防止する。なお、合成時は、前記連続撮影によって得られた画像から評価値を元に最適な画像を選択してもよい。また、表示部１０８を介し、撮影者に対して画像の選択を促しても良い。

以上が、撮影パラメータ算出手段１１３によって算出される撮影パラメータの例である。なお、本実施例では前記５つのパラメータを撮影パラメータとして例示したがこれに限定されるものではない。

次に、図７を用いて、制御部１０１における車内領域と車窓領域の合成処理について説明する。

制御部１０１は、Ｓ７０１にて車内向け画像５００から有効領域以外、すなわち、車窓領域５０１の画像データをメモリ１０５より参照する。

続けて制御部１０１は、Ｓ７０２にて車窓向け画像５１０から有効領域、すなわち、車窓領域５１１の画像データをメモリ１０５より参照する。

ここでＳ７０３にて、制御部１０１は前記抽出した２つの領域形状を比較する。制御部１０１は、前記比較結果を元に車窓領域５１１の水平方向、垂直方法の傾きを補正し、前記無効領域として抽出した車窓領域５０１の形状に近づける。

Ｓ７０４にて、前記抽出した各領域を同一の座標系に展開し、４００で表す境界線の直線部を基準として位置あわせを行う。ここで、例えば４０１の様に直線以外が含まれる場合、車窓領域５１１の画素データが、車内領域５０２にはみ出して重畳される可能性がある。なお、前記４０１は車窓領域５０２における人物が車窓領域にはみ出した部分を表している。

制御部１０１は、前記重畳が発生した画素データを検知した場合、Ｓ７０６にて重畳領域の画素データを車内領域の画素データで置き換える。また、重畳が発生しない場合は、例えば撮影装置の姿勢にズレが生じており、Ｓ７０３の傾き補正によって車窓領域が小さくなってしまったことが考えられる。そのため、この場合はＳ７０７にて前記車窓領域を拡大した上でＳ７０６の処理に進む。これにより、車内領域向け撮影と車窓領域向け撮影による有効領域をそれぞれ合成することが可能となる。

以上により、本発明を用いて列車での移動中に好適な撮影画像を得るための実施形態を説明した。

１００ 撮影装置、１０１ ＣＰＵ、１０２ 不揮発性メモリ、１０３ 操作部

Claims (8)

1. 撮影装置であり、
   撮影開始時に撮像領域を撮影条件の異なる第１の領域と第２の領域に分割する分割手段と、
   前記第１の領域の撮影に適する第１の撮影パラメータと前記第２の領域の撮影に適する第２の撮影パラメータを算出する算出手段と、
   を有し、
   一連の撮影において、前記第１の撮影パラメータで撮影される第１の画像と、前記第２の撮影パラメータで撮影される第２の画像と、を順に撮影し、前記第１の画像における第２の領域を、第２の画像における第２の領域によって置き換えることで撮影画像を生成、記録することを特徴とする撮影装置。
2. 前記分割手段は、前記手段によって生成される第１の領域は室内もしくは車内の記録画素からなり、第２の領域は室外もしくは車外であることを特徴とする請求項１に記載の撮影装置。
3. 前記分割手段は、窓領域検出手段をさらに有し、撮影画像中の窓枠を境界として撮像領域を分割することを特徴とする請求項１に記載の撮影装置。
4. 前記分割手段における窓領域検出手段は、少なくとも撮影領域中の輝度差により、窓領域を検出することを特徴とする請求項１乃至請求項３の何れか一項に記載の撮影装置。
5. 前記第１の領域と前記第２の領域の境界を領域境界情報として記憶することを特徴とする請求項１に記載の撮影装置。
6. 前記第１の撮影パラメータ及び前記第２の撮影パラメータに少なくとも、ＡＦ設定、ＴＶ設定、ＡＶ設定、多重露光の有無、連写枚数を含むことを特徴とする請求項１に記載の撮影装置。
7. 設定されたモードによって、第１の撮影画像と第２の撮影画像の撮影順序を切り替えることを特徴とする請求項１に記載の撮影装置。
8. 前記領域境界情報、及び、第１の撮影パラメータ、前記第２の撮影パラメータを記録画像と対に参照可能な付随情報として記録することを特徴とする請求項１に記載の撮影装置。