JP2011082750A

JP2011082750A - 撮像装置

Info

Publication number: JP2011082750A
Application number: JP2009232571A
Authority: JP
Inventors: Masayuki Yamazaki; 将幸山崎
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-10-06
Filing date: 2009-10-06
Publication date: 2011-04-21
Anticipated expiration: 2029-10-06
Also published as: JP5471263B2

Abstract

【課題】撮像装置が高速に移動している場合であっても、撮像時の制御内容を的確に決定すること。
【解決手段】撮像装置であって、光学系による像を撮像し画像を生成する撮像部と、自装置の移動に関する情報を取得する移動情報取得部と、取得された移動に関する情報に基づいて、撮像指示が入力される前の像の画像内の範囲を決定する範囲決定部と、撮像指示が入力される前の像の画像のうち、範囲決定部によって決定された範囲に含まれる画像に基づいて、撮像に関する制御を行う撮像制御部と、を備えることを特徴とする。
【選択図】図２

Description

本発明は、静止画像又は動画像を撮像する撮像装置に関する。

従来、予め撮像を行って得られた画像に基づいて、次に撮像する際の制御内容（露光時間、露光感度、ホワイトバランス等）を決定する技術が提案されている。例えば特許文献１に開示された技術では、検出された明るさに応じて、撮像素子の露光時間および露光感度のいずれか一方を変えて露出を制御する。

特開２００８−１９３６３５号公報

しかしながら、撮影者が自動車や電車などに乗って高速に移動している場合、予め撮像を行って得られた画像のフレーム（撮影範囲）と、次に撮像して得られる画像のフレームとは大きく異なってしまう。そのため、予め撮像を行って得られた画像に基づいて決定された制御内容が、次に撮像して得られる画像に適したものではなくなり、次に撮像して得られる画像の画質が低下してしまうという問題があった。
そこで本発明は上記問題を鑑み、撮像装置が高速に移動している場合であっても、撮像時の制御内容を的確に決定することを可能とする撮像装置を提供することを目的としている。

本発明の一態様は、撮像装置であって、光学系による像を撮像し画像を生成する撮像部と、自装置の移動に関する情報を取得する移動情報取得部と、取得された前記移動に関する情報に基づいて、撮像指示が入力される前の像の画像内の範囲を決定する範囲決定部と、撮像指示が入力される前の像の画像のうち、前記範囲決定部によって決定された範囲に含まれる画像に基づいて、撮像に関する制御を行う撮像制御部と、を備えることを特徴とする。

本発明の一態様は、上記の撮像装置であって、前記範囲決定部は、取得された前記移動に関する情報に基づいて、撮像指示が入力される前の像の画像と撮像指示が入力されたことに応じて撮像される像の画像との重複範囲を推測し、推測された範囲を前記画像内の範囲として決定することを特徴とする。

本発明の撮像装置では、撮像装置が高速に移動している場合であっても、撮像時の制御内容を的確に決定することが可能となる。

撮像装置の外観を表す図である。撮像装置の機能構成を表す概略ブロック図である。範囲決定部の処理内容の概略を表す概略図である。範囲決定部の処理内容の概略を表す概略図である。範囲決定部の処理内容の概略を表す概略図である。撮像制御部が複数の処理対象画像に基づいて制御内容を決定する場合の処理の概略を表す概略図である。撮像装置の処理の流れを表すフローチャートである。

図１は、撮像装置１の外観を表す図である。図１は、撮像装置１がコンパクトデジタルスチルカメラとして構成される場合の機能構成を表すが、撮像装置１は一眼レフレックス・デジタルスチルカメラやビデオカメラや撮像機能付き携帯電話機等の各種撮像装置として構成されても良いし、レンズ交換式であるか否かも問われない。図１Ａは撮像装置１の表面を表す図であり、図１Ｂは撮像装置１の裏面を表す図である。撮像装置１は、筐体の表面に、電源スイッチ１０１、レリーズ釦１０２、ストロボ１０３、鏡筒１０４、ディスプレイ１０５、モード選択ボタン１０６を備える。

電源スイッチ１０１は、ユーザーが撮像装置１の電源オン・オフ状態を切り替えるための指示を入力するための操作部である。電源スイッチ１０１がユーザーによって押下されると、電源オン・オフ状態を切り替える指示が撮像装置１に入力される。レリーズ釦１０２は、ユーザーが撮像装置１に撮像指示を入力するための操作部である。撮像装置１が電源オン状態である場合にレリーズ釦１０２がユーザーによって押下（全押し）されると、撮像指示が撮像装置１に入力される。ストロボ１０３は、撮像装置１の設定に応じて撮像時に発光する発光装置である。鏡筒１０４は撮像光学系を内部に備える。ディスプレイ１０５は、液晶ディスプレイや有機ＥＬディスプレイ等の画像表示装置によって構成され、撮像された画像や各種の情報を表示する。モード選択ボタン１０６は、ユーザーが撮像装置１の撮像モードを切り替えるための指示を入力するための操作部である。撮像モードとは、撮像装置１の制御状態を示し、例えば静止画モードや、動画モードや、動画付きセルフモードなどがある。

図２は、撮像装置１の機能構成を表す概略ブロック図である。撮像装置１は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、撮像装置１の制御プログラムを実行することによって、撮像光学系２０１、撮像部２０２、操作部２０３、画像記録部２０４、加速度センサー２０５、移動情報検出部２０６、範囲決定部２０７、撮像制御部２０８を備える装置として機能する。

撮像光学系２０１は、１枚以上のレンズや絞りによって構成され、撮像部２０２の撮像面に被写体の光を結像させる。撮像部２０２は、ＣＭＯＳセンサー（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の受光素子が配列されて構成される。撮像部２０２は、撮像光学系２０１を透過した被写体からの光を受光して電気信号に変換し、静止画像の電子データ（以下、「静止画像データ」という。）や、動画像の電子データ（以下、「動画像データ」という。）を生成する。

操作部２０３は、撮像装置１をユーザーが操作するための各種のスイッチやボタン等を有する。操作部２０３は、例えば電源スイッチ１０１やレリーズ釦１０２やモード選択ボタン１０６や、その他の各種ボタン等によって構成される。画像記録部２０４は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成され、静止画像データや動画像データを記録する。

加速度センサー２０５は、撮像装置１が移動する際の加速度及び加速方向を検出する。移動情報検出部２０６は、加速度センサー２０５によって検出される加速度に基づいて撮像装置１の移動に関する情報（以下、「移動情報」という。）を検出する。移動情報とは、例えば移動方向や移動速度である。移動情報検出部２０６は、加速方向に基づいて加速度を積分することによって、撮像装置１の移動方向及び移動速度を算出する。

なお、撮像装置１の移動方向とは、撮像装置１が水平に設置された場合の移動方向を表す。したがって、撮影者の移動方向が同じであったとしても、撮像装置１が水平に維持されている場合と、撮像装置が垂直に（縦に）維持されている場合とでは、算出される移動方向は９０度ずれる。

範囲決定部２０７は、速度検出部２０６によって算出された移動情報に基づいて、撮像指示が入力される前に撮像された画像（以下、「予備画像」という。）において撮像制御部２０８の処理に用いられる範囲（以下、「処理対象範囲」という。）を決定する。例えば、範囲決定部２０７は、現時点で撮像指示が入力された場合にこの撮像指示に応じて撮像される画像（以下、「本画像」という。）と予備画像とのフレーム（撮影範囲）の重複範囲を推測し、推測された重複範囲を処理対象範囲として決定する。範囲決定部２０７の具体的な処理については後述する。

撮像制御部２０８は、予備画像において処理対象範囲に含まれる部分の画像（以下、「処理対象画像」という。）に基づいて、本画像の撮像時の制御内容を決定し、決定された制御内容に基づいて撮像光学系２０１及び撮像部２０２の制御を行う。制御内容とは、露光時間、露光感度、ホワイトバランスなどである。なお、処理対象画像に基づいて撮像時の制御内容を決定する方法は、既存の技術により実現される。

図３、図４、図５は範囲決定部２０７の処理内容の概略を表す概略図である。図３では、撮像装置１の移動方向は水平左方向である。Ｆ１は予備画像のフレームを表し、Ｗ１は予備画像のフレームの横幅を表し、Ｆ２は本画像のフレームを表し、Ｗ２は予備画像のフレームと本画像のフレームとの重複範囲の横幅を表す。範囲決定部２０７は、移動方向に基づいてＷ２の基点を求める。例えば、移動方向が水平左方向である場合には、範囲決定部２０７はＷ２の基点をＦ１の左端とし、移動方向が水平右方向である場合には、範囲決定部２０７はＷ２の基点をＦ１の右端とする。

また、範囲決定部２０７は、移動方向、移動速度、撮像部２０２の撮像素子の有効領域の大きさ、撮像光学系２０１のズーム量、予備画像が撮像されてから本画像が撮像されるまでのタイムラグに基づいてＷ２の値を求める。そして、範囲決定部２０７は、Ｗ２の値に基づいて定義される重複範囲を処理対象範囲ＤＡとして決定する。

図４では、撮像装置１の移動方向は左下方向である。Ｆ１は予備画像のフレームを表し、Ｗ１は予備画像のフレームの横幅を表し、Ｈ１は予備画像のフレームの高さを表し、Ｆ２は本画像のフレームを表し、Ｗ２は予備画像のフレームと本画像のフレームとの重複範囲ＤＡの横幅を表し、Ｈ２は予備画像のフレームと本画像のフレームとの重複範囲ＤＡの高さを表す。この場合、範囲決定部２０７は移動方向に基づいてＷ２の基点をＦ１の左端とし、Ｈ２の基点をＦ１の下端とする。この場合、範囲決定部２０７は、移動方向、移動速度、撮像部２０２の撮像素子の有効領域の大きさ、撮像光学系２０１のズーム量、予備画像が撮像されてから本画像が撮像されるまでのタイムラグに基づいてＷ２及びＨ２の値を求める。そして、範囲決定部２０７は、Ｗ２及びＨ２の値に基づいて定義される重複範囲を処理対象範囲ＤＡとして決定する。

図５では、撮像装置１の移動方向は撮像面に対して垂直正面方向である。Ｆ１は予備画像のフレームを表し、Ｗ１は予備画像のフレームの横幅を表し、Ｈ１は予備画像のフレームの高さを表し、Ｆ２は本画像のフレームを表し、Ｗ２は予備画像のフレームと本画像のフレームとの重複範囲ＤＡの横幅を表し、Ｈ２は予備画像のフレームと本画像のフレームとの重複範囲ＤＡの高さを表し、Ｗ３は予備画像左端から本画像左端までの長さを表し、Ｈ３は予備画像下端から本画像下端までの長さを表す。この場合、範囲決定部２０７は移動方向に基づいてＷ２の基点をＦ１の左端とし、Ｈ２の基点をＦ１の下端とする。この場合、範囲決定部２０７は、移動方向、移動速度、撮像部２０２の撮像素子の有効領域の大きさ、撮像光学系２０１のズーム量、予備画像が撮像されてから本画像が撮像されるまでのタイムラグに基づいてＷ２、Ｈ２、Ｗ３、Ｈ３の値を求める。そして、範囲決定部２０７は、Ｗ２、Ｈ２、Ｗ３、Ｈ３の値に基づいて定義される重複範囲を処理対象範囲ＤＡとして決定する。

撮像制御部２０８は、予備画像上の処理対象範囲内の画像（以下、「処理対象画像」という。）に基づいて制御内容を決定する。このとき、撮像制御部２０８は、一つの処理対象画像のみに基づいて制御内容を決定しても良いし、複数の処理対象画像に基づいて制御内容を決定しても良い。

図６は、撮像制御部２０８が複数の処理対象画像に基づいて制御内容を決定する場合の処理の概略を表す概略図である。図６において、右向きの矢印は時間軸を表し、時間軸上の矩形は各時間ｔ（ｎ）〜ｔ（ｎ−３）に撮像された本画像及び予備画像を表す。図６では、時間ｔ（ｎ）の時点での本画像の撮像における制御内容を決定するために、三つの予備画像における処理対象画像が用いられる。三つの予備画像は、それぞれｔ（ｎ−１）、ｔ（ｎ−２）、ｔ（ｎ−３）の時点で撮像され、撮像制御部２０８の一時記憶領域に記憶されている。この場合、範囲決定部２０７は、ｔ（ｎ−１）、ｔ（ｎ−２）、ｔ（ｎ−３）の時点で撮像された各予備画像について処理対象範囲ＤＡ１、ＤＡ２、ＤＡ３を決定する。このとき、ｔ（ｎ−１）からｔ（ｎ）までの時間が、処理対象範囲ＤＡ１を決定する際に用いられるタイムラグの値であり、ｔ（ｎ−２）からｔ（ｎ）までの時間が、処理対象範囲ＤＡ２を決定する際に用いられるタイムラグの値であり、ｔ（ｎ−３）からｔ（ｎ）までの時間が、処理対象範囲ＤＡ３を決定する際に用いられるタイムラグの値である。そして、撮像制御部２０８は、三つの処理対象範囲ＤＡ１、ＤＡ２、ＤＡ３に対応した三つの処理対象画像に基づいて制御内容を決定する。

例えば、撮像制御部２０８は、三つの処理対象画像それぞれに対応した制御内容を算出し、その平均値を最終的な制御内容として決定しても良い。また、撮像制御部２０８は、各処理対象画像に対応した制御内容に対して重み付けを行うことによって最終的な制御内容を決定しても良い。例えば、本画像が撮像されるタイミングに近い処理対象画像ほど最終的な制御内容に対する影響が大きくなり、本画像が撮像されるタイミングから離れた処理対象画像ほど最終的な制御内容に対する影響が小さくなるように重み付けがなされても良い。

なお、処理対象画像の数は三つに限定される必要はなく、二つであっても良いし四つ以上であっても良い。また、処理対象画像の数は固定される必要はなく、移動速度に応じて増減しても良い。例えば、撮像制御部２０８は、移動速度が速いほど処理対象画像の数を多く決定し、移動速度が遅いほど処理対象画像の数を少なく決定しても良い。この場合、撮像制御部２０８は、決定された処理対象画像の数に応じた予備画像を一時記憶領域に記憶する。また、撮像制御部２０８は、決定された処理対象画像の数を範囲決定部２０７に通知する。範囲決定部２０７は、通知された処理対象画像の数に応じて、それぞれのもととなる予備画像における処理対象範囲を決定する。

図７は、撮像装置１の処理の流れを表すフローチャートである。まず、移動情報検出部２０６が移動情報を検出する（ステップＳ１０１）。次に、範囲決定部２０７が処理対象範囲を決定する（ステップＳ１０２）。次に、撮像制御部２０８が、撮像部２０２によって撮像された予備画像のデータを一時記憶領域に記憶し（ステップＳ１０３）、一時記憶領域に記憶された予備画像の処理対象範囲の画像（処理対象画像）に基づいて制御内容を決定する（ステップＳ１０４）。操作部２０３のレリーズ釦が全押しされて撮像指示が撮像装置１に入力されるまで、ステップＳ１０１〜Ｓ１０４の処理が繰り返し実行される（ステップＳ１０５−ＮＯ）。撮像指示が入力されると（ステップＳ１０５−ＹＥＳ）、その時点で最新の制御内容に基づいて撮像制御部２０８が撮像に関する制御を行い、この制御のもとで撮像部２０２が本画像の撮像を行い、撮像された本画像のデータを画像記録部２０４が記録する（ステップＳ１０６）。

このように構成された撮像装置１では、予め撮像を行って得られた予備画像のフレーム内の全ての画像に基づいて制御内容が決定されるのではなく、撮像装置１の移動方向や移動速度に基づいて決定された処理対象範囲内の画像（処理対象画像）に基づいて制御内容が決定される。そのため、撮像指示が入力されることに応じて撮像される本画像のフレーム内に含まれる可能性の高い部分の画像に基づいて制御内容が決定されることとなり、本画像の撮像時の制御内容を的確に決定することが可能となる。

特に、上記のように、処理対象範囲として予備画像のフレームと本画像のフレームとの重複部分を推測し、推測された重複部分を処理対象範囲として決定することにより、本画像の撮像時の制御内容をより的確に決定することが可能となる。

＜変形例＞
移動情報検出部２０６は、加速度センサー２０５の出力から移動情報を算出するのではなく、他の方法によって移動情報を検出しても良い。例えば、移動情報検出部２０６は、走行中の電車や自動車が車輪の回転などに基づいて算出した移動情報を有線通信や無線通信で受信することによって移動情報を取得しても良い。また、移動情報検出部２０６は、ＧＰＳ（Global Positioning System）アンテナを搭載し、位置情報の履歴に基づいて移動情報を検出しても良い。

また、撮像装置１の上記の処理を動画像の撮像に適用することも可能である。図６を例に説明すると、この場合、時間ｔ（ｎ−３）〜ｔ（ｎ）までの各画像は、動画像を構成する各時間の画像となる。そして、撮像制御部２０８は、ある時間ｔ（ｎ）の画像を撮像する際に、それ以前に撮像された所定の枚数の画像の各処理対象範囲内の画像に基づいて、制御内容を決定する。

また、図７のフローチャートにおいて、ステップＳ１０１〜Ｓ１０３の処理の順番はどのような順番で実現されても良い。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…撮像装置，２０１…撮像光学系，２０２…撮像部，２０３…操作部，２０４…画像記録部，２０５…加速度センサー，２０６…移動情報検出部，２０７…範囲決定部，２０８…撮像制御部

Claims

光学系による像を撮像し画像を生成する撮像部と、
自装置の移動に関する情報を取得する移動情報取得部と、
取得された前記移動に関する情報に基づいて、撮像指示が入力される前の像の画像内の範囲を決定する範囲決定部と、
撮像指示が入力される前の像の画像のうち、前記範囲決定部によって決定された範囲に含まれる画像に基づいて、撮像に関する制御を行う撮像制御部と、
を備えることを特徴とする撮像装置。
請求項１に記載された撮像装置であって、
前記範囲決定部は、取得された前記移動に関する情報に基づいて、撮像指示が入力される前の像の画像と撮像指示が入力されたことに応じて撮像される像の画像との重複範囲を推測し、推測された範囲を前記画像内の範囲として決定することを特徴とする。