JP2008301230A - 撮像システム及び撮像装置 - Google Patents

Abstract

【課題】通常のズーム撮影では得られないズーム画像を得ることが可能な撮像システム及び撮像装置を提供すること。
【解決手段】デジタルカメラ１のズームボタン１０２ａが押し下げられると、まずズームレンズを用いた光学ズーム駆動が実行されてズーム画像が表示パネル１１１に表示される。さらにズームボタン１０２ａが押し下げられると、デジタルカメラ１の現在位置、向き、ズームボタン１０２ａの操作量の情報等がサーバ４に送信される。そして、サーバ４の位置特定部４０２において風景画像データを取得すべき仮想空間内の位置が特定され、特定された位置に対応した風景画像データとデジタルカメラ１から送信された画像データにおける人物被写体部の画像データとが画像合成部４０５において合成された後、これによって得られる仮想ズーム画像データがデジタルカメラ１に戻され、表示パネル１１１に表示される。
【選択図】図１

Description

本発明は、ズーム画像を得ることが可能な撮像システム及び撮像装置に関する。

従来、デジタルスチルカメラやデジタルムービーカメラにおいて、光学ズームと電子ズームとを併用するズーム手法が知られている。この手法では、ズームの範囲が光学ズームによるズーム可能範囲（ワイド端及びテレ端）を超えるまでは光学ズームによるズーミングを実行することで、得られる画像の画質を高め、ズームの範囲が光学ズームによるズーム可能範囲を超えた場合にはそのときに得られている画像を拡大又は縮小することでズーム画像を生成して光学ズームによるズーム可能範囲外でのズームをも可能としている。ここで、従来の光学ズームと電子ズームとを併用した手法では、光学ズームによって得られる画像を利用して電子ズームを行うので、画像として鑑賞に堪えるズーム画像を得ることができる範囲にはやはり限界がある。

また、旅先等の遠隔地における画像撮影に関連する技術として、例えば特許文献１では、携帯型のＧＰＳ受信機を携帯したユーザが、記念写真を撮りたい場所に行ったときに位置情報を計測して所定のメモリに記憶させておき、その後に、画像合成装置において位置情報に対応した風景画像をデータベースから取得して、取得した風景画像をユーザの画像と合成することで記念写真を得る手法が提案されている。このような手法によれば、ユーザが旅先に行った際にカメラを所有していなかった場合でも、あたかもその場所で記念写真撮影を行ったかのような画像を得ることができる。
特開２００５−２１０４１２号公報

ここで、特許文献１の手法はユーザが実際に記念写真を撮影したい場所に実際に行き、その場所の位置情報を取得しなければ合成画像を得ることができないため、上述したズーム撮影に特許文献１の手法を適用することは困難である。

本発明は、上記の事情に鑑みてなされたもので、通常のズーム撮影では得られないズーム画像を得ることが可能な撮像システム及び撮像装置を提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様の撮像システムは、互いに通信自在に接続された撮像装置とサーバとを有する撮像システムであって、上記撮像装置は、ズーム位置変化の指示を与えるための操作部と、上記撮像装置の現在位置及び向きを検出する位置検出部と、上記現在位置において被写体の画像を取得する被写体画像取得部とを具備し、上記サーバは、上記現在位置から上記向きに上記操作部の操作量に応じた距離だけ離れた位置を特定する位置特定部と、複数の風景画像を記憶するとともに、上記特定された位置に対応する風景画像を出力する風景画像記憶部と、上記出力された風景画像に上記被写体の画像を合成してズーム画像を生成する画像合成部とを具備することを特徴とする。

また、上記の目的を達成するために、本発明の第２の態様の撮像装置は、ズーム位置変化の指示を与えるための操作部と、当該撮像装置の現在位置及び向きを検出する位置検出部と、上記現在位置において被写体の画像を取得する被写体画像取得部と、上記現在位置から上記向きに上記操作部の操作量に応じた距離だけ離れた位置を特定する位置特定部と、複数の風景画像を記憶するとともに、上記特定された位置に対応する風景画像を出力する風景画像記憶部と、上記出力された風景画像に上記被写体の画像を合成してズーム画像を生成する画像合成部とを具備することを特徴とする。

本発明によれば、通常のズーム撮影では得られないズーム画像を得ることが可能な撮像システム及び撮像装置を提供することができる。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る撮像システムの構成を示す図である。図１に示す撮像システムは、撮像装置の一例としてのデジタルカメラ１と、パーソナルコンピュータ（ＰＣ）３と、サーバ４とを有している。そして、デジタルカメラ１は、ＰＣ３を介してサーバ４と通信自在に接続されている。さらに、デジタルカメラ１は、ＧＰＳ受信機２からの測位データを受信可能に構成されている。なお、ＧＰＳ受信機２は、デジタルカメラ１に内蔵するようにしても良い。

ここで、図１においては、デジタルカメラ１とサーバ４とがＰＣ３を介して通信自在に接続される例を示しているが、デジタルカメラ１に例えば無線ＬＡＮ機能等を持たせることによって、デジタルカメラ１とサーバ４とがＰＣ３を介さずに通信できるように構成しても良い。

図１のデジタルカメラ１は、背面から見た外観を示している。図１に示すように、デジタルカメラ１の背面にはズームボタン１０２ａと、十字ボタン１０２ｂと、表示パネル１１１とが配置されている。また、デジタルカメラ１の上面には、レリーズボタン１０２ｃが配置されている。

ズームボタン１０２ａは、テレ（Ｔ）ボタンとワイド（Ｗ）ボタンとから構成され、ユーザがデジタルカメラ１によるズーム駆動の実行を指示するための操作部である。ユーザによってＴボタンが押し下げられることによってデジタルカメラ１における望遠側のズーム駆動が行われる。一方、ユーザによってＷボタンが押し下げられることによってデジタルカメラ１における広角側のズーム駆動が行われる。十字ボタン１０２ｂはユーザがデジタルカメラ１における各種の選択操作を行うための操作部である。表示パネル１１１は例えば液晶ディスプレイ等の表示パネルであり、各種の画像が表示される。レリーズボタン１０２ｃはユーザがデジタルカメラ１による撮影実行を指示するための操作部である。

図２は、デジタルカメラ１の内部の構成の一例を示すブロック図である。図２に示すように、デジタルカメラ１は、制御部１０１と、操作部１０２と、撮影レンズ１０３と、レンズ駆動部１０４と、撮像部１０５と、前処理部１０６と、バス１０７と、記憶部１０８と、画像処理部１０９と、表示制御部１１０と、表示パネル１１１と、圧縮/伸張部１１２と、記録メディア１１３と、角度検出部１１４と、通信部１１５とを有している。

制御部１０１は、デジタルカメラ１の各種シーケンスを統括的に制御する。この制御部１０１には、操作部１０２が接続されている。操作部１０２は、図１に示すズームボタン１０２ａ、十字ボタン１０２ｂ、レリーズボタン１０２ｃ等の操作部である。また、図２において、ズームボタン１０２ａは操作量検出部１０２ｄを介して制御部１０１に接続されている。操作量検出部１０２ｄはズームボタン１０２ａの操作量を検出して制御部１０１に出力する。操作量検出部１０２ｄによって検出される操作量は例えばズームボタン１０２ａの押下時間や押圧力である。ユーザによって操作部１０２の各操作部が操作されることにより、制御部１０１は、ユーザ操作に応じた各種シーケンスを実行する。

撮影レンズ１０３は、図示しない被写体からの光学像を集光して撮像部１０５に入射させる。ここで、図１に示すデジタルカメラ１は撮影レンズ１０３の焦点距離を変化させるためのズームレンズ１０３ａと、撮影レンズ１０３の焦点を調節するためのフォーカスレンズ１０３ｂとを有している。レンズ駆動部１０４は、ズームレンズ１０３ａを駆動するためのズーム駆動部１０４ａと、フォーカスレンズ１０３ｂを駆動するためのフォーカス駆動部１０４ｂとを有している。そして、レンズ駆動部１０４は、制御部１０１による制御に従ってズームレンズ１０３ａ又はフォーカスレンズ１０３ｂの駆動を行う。

被写体画像取得部としての機能を有する撮像部１０５は、撮影レンズ１０３により集光された光を光電変換によって電気信号に変換して前処理部１０６に出力する。前処理部１０６は、撮像部１０５から出力される電気信号に対し、相関二重サンプリング処理、波形整形処理、ゲイン調整処理等のアナログ処理や、これらのアナログ処理がなされた電気信号をデジタル信号に変換する処理等の前処理を行う。

バス１０７は、デジタルカメラ１の内部で発生した各種データをカメラ内の各部に転送するための転送路であり、制御部１０１と、前処理部１０６と、記憶部１０８と、画像処理部１０９と、表示制御部１１０と、圧縮/伸張部１１２と、記録メディア１１３と、通信部１１５とに接続されている。記憶部１０８は、前処理部１０６において得られた画像データや、画像処理部１０９、圧縮/伸張部１１２において処理される画像データ等の各種データを一時的に記憶する。

画像処理部１０９は、前処理部１０６で前処理され、記憶部１０８に記憶された画像データを読み出して、ホワイトバランス補正や、色補正、階調補正等の各種の画像処理を施す。表示制御部１１０は、表示パネル１１１に各種の画像を表示させる。圧縮/伸張部１１２は、画像処理部１０９において画像処理がなされた画像データや、後述する仮想ズーム駆動によって得られた仮想ズーム画像データ等を所定の符号化形式に従って圧縮する。また、圧縮/伸張部１１２は、記録メディア１１３に圧縮記録される画像データを読み出して、伸張する機能も有している。記録メディア１１３は、例えばデジタルカメラ本体に着脱可能なメモリカードからなる記録メディアであり、圧縮/伸張部１１２によって圧縮された画像データを記録する。

角度検出部１１４は、例えば複数の角速度センサから構成され、デジタルカメラ１の水平方向及び垂直方向の回転角度を検出して、撮影時におけるデジタルカメラ１の向き（方位、仰角）を検出する。

通信部１１５は、画像処理部１０９で処理された画像データやデジタルカメラ１において発生した各種の情報をサーバ４等の外部に送信したり、サーバ４から詳細は後述する仮想ズーム画像データやその他の各種の情報を受信したりする際の処理を行う。

ＧＰＳ受信機２は、図示しない複数のＧＰＳ衛星からの電波信号を受信するとともに、各ＧＰＳ衛星から受信される電波信号の伝搬時間と各ＧＰＳ衛星の位置とから、デジタルカメラ１の現在位置（経度及び緯度）を測定する。ここで、角度検出部１１４とＧＰＳ受信機２とにより位置検出部が構成される。ＰＣ３は、デジタルカメラ１との通信機能及びサーバ４との通信機能を有するＰＣである。

サーバ４は、デジタルカメラ１における仮想ズーム駆動時の各種処理を行うためのサーバである。このサーバ４は、情報入力部４０１と、位置特定部４０２と、画像データベース（ＤＢ）４０３と、画像入出力部４０４と、画像合成部４０５とを有している。

情報入力部４０１は、デジタルカメラ１からＰＣ３を介して入力される、デジタルカメラ１の現在位置（経度及び緯度）情報、向き情報、ズームボタン１０２ａの操作量情報や十字ボタン１０２ｂの操作方向情報、現在日時情報等を受信する。

位置特定部４０２は、情報入力部４０１で受信された情報から、仮想ズーム駆動時に選択すべき風景画像データを特定する。風景画像記憶部としての機能を有する画像ＤＢ４０３は、所定距離間隔で撮影された多数の風景画像データを仮想空間内の位置（経度及び緯度）と対応付けて記憶しており、位置特定部４０２において特定された風景画像データを画像合成部４０５に出力する。ここで、仮想空間は、現実空間の延長上で現実の地図と対応した位置情報を有する。なお、画像ＤＢ４０３には、現実空間内の各地の風景画像データを記憶させておくことが好ましいが、データ量の削減のために、観光地等の特定の風景画像データのみを記憶させるようにしても良い。

また、画像ＤＢ４０３は１つの仮想空間内の位置に対応して異なる時間帯（例えば、朝、昼、夕）や異なる季節（例えば、春、夏、秋、冬）に撮影された複数の風景画像データを記憶しており、ユーザ操作に従って異なる時間帯や異なる季節の風景画像データを画像合成部４０５に出力可能になされている。

画像入出力部４０４は、デジタルカメラ１からＰＣ３を介して入力される画像データを受信するとともに、画像合成部４０５において合成される仮想ズーム画像データを、ＰＣ３を介してデジタルカメラ１に出力する。画像合成部４０５は、デジタルカメラ１からＰＣ３を介して入力される画像データに写っている人物被写体を、例えば輪郭抽出等の手法によって切り出し、切り出した人物被写体部の画像データと画像ＤＢ４０３から出力された風景画像データとを合成して仮想ズーム画像データを得る。

以下、本実施形態の撮像システムの動作について説明する。図３は、図１の撮像システムにおけるデジタルカメラ１の撮影時のメイン動作を示すフローチャートである。

図３において、制御部１０１は、ライブビュー表示を行うため処理を実行する（ステップＳ１）。このライブビュー表示において、制御部１０１は、撮像部１０５を連続動作させ、これによって得られる画像データを、逐次、画像処理部１０９によって処理する。その後、表示制御部１１０は、画像処理後の画像データを映像信号に変換し、この映像信号に基づいて撮像部１０５において得られる画像を、逐次、表示パネル１１１に表示させる。このようなライブビュー表示を行うことにより、ユーザは表示パネル１１１に表示された画像を利用してフレーミングを行うことが可能である。

ライブビュー表示の後、制御部１０１は、ユーザによってズームボタン１０２ａが押されたかを判定する（ステップＳ２）。ステップＳ２の判定において、ズームボタン１０２ａが押された場合に、制御部１０１はズーム動作を実行する（ステップＳ３）。ステップＳ３のズーム動作については後で詳しく説明する。一方、ステップＳ２の判定において、ズームボタン１０２ａが押されていない場合に、制御部１０１は、ステップＳ３の動作をスキップする。

ステップＳ２又はステップＳ３の後、制御部１０１は、ズームレンズ１０３ａのズーム位置が仮想ズーム域に達していたかを判定する（ステップＳ４）。ここで、仮想ズーム域とはズームレンズ１０３ａの駆動範囲（ワイド端、テレ端）外のズーム域のことを言うものであり、ユーザ操作を受けてワイド端又はテレ端を超えたズーム駆動が行われていた場合には、ズーム位置が仮想ズーム域に達していたと判定する。ステップＳ４の判定において、ズーム位置が仮想ズーム域に達していない場合に、制御部１０１は、以下のステップＳ５〜ステップＳ８の動作をスキップする。

一方、ステップＳ４の判定において、ズーム位置が仮想ズーム域に達している場合に、制御部１０１は、ユーザによって十字ボタン１０２ｂが押されたかを判定する（ステップＳ５）。ステップＳ５の判定において、十字ボタン１０２ｂが押された場合に、制御部１０１は、後述する空間切り替え処理１を実行する（ステップＳ６）。一方、ステップＳ５の判定において、十字ボタン１０２ｂが押されていない場合に、制御部１０１は、ユーザによって構図調整モードへの移行操作がなされたかを判定する（ステップＳ７）。この構図調整モードへの移行操作がなされたかの判定は、例えばデジタルカメラ１のメニュー項目内で該当する項目が選択されたか否かを判定することで行う。ステップＳ７の判定において、構図調整モードへの移行操作がなされた場合に、制御部１０１は、後述する空間切り替え処理２を実行する（ステップＳ８）。一方、ステップＳ７の判定において、構図調整モードへの移行操作がなされていない場合に、制御部１０１は、ステップＳ８の動作をスキップする。

ステップＳ４、ステップＳ７又はステップＳ８の後、制御部１０１は、ユーザによって１ｓｔレリーズ操作、即ちレリーズボタン１０２ｃの半押しがなされたかを判定する（ステップＳ９）。ステップＳ９の判定において、１ｓｔレリーズ操作がなされていない場合には、ステップＳ２に戻り、制御部１０１はユーザによってズームボタン１０２ａが押されたか否かを再び判定する。また、ステップＳ９の判定において、１ｓｔレリーズ操作がなされた場合に、制御部１０１は、自動露出制御（ＡＥ）、自動焦点調節（ＡＦ）の処理を実行する（ステップＳ１０）。ＡＥは、例えば撮像部１０５において得られる画像データの各色成分を所定区分毎に累積して得られる評価データから、撮影時における適正露出条件を求めることで行う。また、ＡＦは、例えばフォーカスレンズ１０３ｂを駆動しながら撮像部１０５において得られる画像データを輝度データに変換し、この輝度データを所定区分毎に累積して得られる評価データから、画像のコントラストが最大となるフォーカスレンズ１０３ｂの位置を求めることで行う。

ステップＳ１０のＡＥ、ＡＦの後、制御部１０１は、ユーザによって２ｎｄレリーズ操作、即ちレリーズボタン１０２ｃの全押しがなされたかを判定する（ステップＳ１１）。ステップＳ１１の判定において、２ｎｄレリーズ操作がなされていない場合に、制御部１０１は、ユーザによって１ｓｔレリーズ操作がなされているかを判定する（ステップＳ１２）。ステップＳ１２の判定において、１ｓｔレリーズ操作がなされている場合には、ステップＳ１１に戻り、制御部１０１はユーザによって２ｎｄレリーズ操作がなされたかを再び判定する。一方、ステップＳ１２の判定において、１ｓｔレリーズ操作がなされていない場合には、ステップＳ２に戻る。

また、ステップＳ１１の判定において、２ｎｄレリーズ操作がなされている場合に、制御部１０１は、ズームレンズ１０３ａのズーム位置が仮想ズーム域に達していたかを判定する（ステップＳ１３）。ステップＳ１３の判定において、ズーム位置が仮想ズーム域に達していない場合に、制御部１０１は通常の撮影動作を実行する（ステップＳ１４）。この場合には、ステップＳ１０のＡＥによって求められた露出条件に従って撮像部１０５を動作させ、これによって得られた画像データを画像処理部１０９において処理する。一方、ステップＳ１３の判定において、ズーム位置が仮想ズーム域に達している場合に、制御部１０１は仮想撮影動作を実行する（ステップＳ１５）。この場合には、ステップＳ１０のＡＥによって求められた露出条件に従って撮像部１０５を動作させ、これによって得られた画像データを、ＰＣ３を介してサーバ４に送信する。その後、後述するサーバ４の処理によって得られる仮想ズーム画像データを受信する。

ステップＳ１４又はステップＳ１５の後、制御部１０１は得られた画像データを記録メディア１１３に記録させた後（ステップＳ１６）、ステップＳ２に戻る。

次に、図３のステップＳ３のズーム動作の詳細について図４を参照して説明する。図４は、図３のステップＳ３のズーム動作の詳細について示すフローチャートである。

図４において、制御部１０１は、操作量検出部１０２ｄにより、ズームボタン１０２ａの押下時間及び押圧量を測定する（ステップＳ１０１）。次に、制御部１０１は、ユーザによって押されたズームボタンがテレ（Ｔ）ボタンであるかを判定する（ステップＳ１０２）。ステップＳ１０２の判定において、ユーザによって押されたズームボタンがＴボタンである場合に、ズーム位置が現実ズーム端か、即ち現在のズームレンズ１０３ａのズーム位置が望遠側の駆動端であるテレ端に達しているか否かを判定する（ステップＳ１０３）。ステップＳ１０３の判定において、現在のズームレンズ１０３ａのズーム位置がテレ端に達していない場合に、制御部１０１は、ズーム駆動部１０４ａを制御してズームレンズ１０３ａを所定量だけ望遠側（撮影レンズ１０３の焦点距離が長くなる側。図１では左側）に駆動させる望遠ズーム駆動を行う（ステップＳ１０４）。

また、ステップＳ１０２の判定において、ユーザによって押されたズームボタンがＴボタンでない場合に、制御部１０１は、ユーザによって押されたズームボタンがワイド（Ｗ）ボタンであるかを判定する（ステップＳ１０５）。ステップＳ１０５の判定において、ユーザによって押されたズームボタンがＷボタンである場合に、制御部１０１は、ズーム位置が現実ズーム端か、即ち現在のズームレンズ１０３ａのズーム位置が広角側の駆動端であるワイド端に達しているか否かを判定する（ステップＳ１０６）。ステップＳ１０６の判定において、ズームレンズ１０３ａのズーム位置がワイド端に達していない場合に、制御部１０１は、ズーム駆動部１０４ａを制御してズームレンズ１０３ａを所定量だけ広角側（撮影レンズ１０３の焦点距離が短くなる側。図１では右側）に駆動させる広角ズーム駆動を行う（ステップＳ１０７）。

ステップＳ１０４又はステップＳ１０７の後、制御部１０１は、撮像部１０５を動作させ、撮像部１０５を介して得られる画像をズーム画像として取得する（ステップＳ１０８）。次に、制御部１０１は、表示制御部１１０により、ステップＳ１０８において取得したズーム画像を表示パネル１１１に表示させる（ステップＳ１１３）。その後に、処理がステップＳ１０１に戻る。即ち、ズーム位置がズームレンズ１０３ａの駆動範囲内である場合には、ズームボタン１０２ａの押下げに応じて所定量毎のズームレンズ１０３ａの駆動が行われ、これによって得られる現実のズーム画像がライブビュー表示される。

また、ステップＳ１０３の判定においてズームレンズ１０３ａのズーム位置がテレ端に達している場合又はステップＳ１０６の判定においてズームレンズ１０３ａのズーム位置がワイド端に達している場合には、それ以上の光学ズーム駆動を行うことができない。この場合には、仮想ズーム域での仮想的なズーム駆動を行う。このために、制御部１０１は、ＧＰＳ受信機２において測定されたデジタルカメラ１の現在位置情報、角度検出部１１４によって検出されたデジタルカメラ１の向き情報、及びステップＳ１０１において測定されたズームボタン１０２ａの操作量（押下時間及び押圧量）の情報、現在日時情報を通信部１１５により、ＰＣ３を介してサーバ４に送信する（ステップＳ１０９）。続いて、制御部１０１は、撮像部１０５を動作させ、これによって得られた画像データを、通信部１１５により、ＰＣ３を介してサーバ４に送信する（ステップＳ１１０）。なお、ステップＳ１１０の処理の時点でズームレンズ１０３ａはテレ端若しくはワイド端に位置しているため、ステップＳ１１０において送信される画像データもテレ端若しくはワイド端における画像データとなる。

ステップＳ１１０において、サーバ４に画像データを送信した後、制御部１０１は、サーバ４からの通信要求がなされたかを判定し（ステップＳ１１１）、サーバ４からの通信要求がなされるまで待機する。サーバ４において後述する仮想ズーム画像データの合成処理が行われ、サーバ４からの通信要求がなされ後、制御部１０１は、通信部１１５により、ＰＣ３を介してサーバ４から仮想ズーム画像データを受信する（ステップＳ１１２）。次に、制御部１０１は、表示制御部１１０により、仮想ズーム画像を表示パネル１１１に表示させる（ステップＳ１１４）。その後に処理がステップＳ１０１に戻る。即ち、ズーム位置がズームレンズ１０３ａの駆動範囲外である場合にはサーバ４において生成される仮想ズーム画像がライブビュー表示される。

また、ステップＳ１０５の判定において、ユーザによって押されたズームボタンがＷボタンでない、即ちズームボタン１０２ａの押し操作が解除された場合に、制御部１０１は、図４のズーム動作を終了させる。

図５は、図１の撮像システムにおけるサーバ４の仮想ズーム駆動時の動作を示すフローチャートである。ここで、図５において説明するサーバ４の動作は仮想撮影時にも行われるものである。

図５において、サーバ４の情報入力部４０１は、ＰＣ３を介してデジタルカメラ１から、デジタルカメラ１の現在位置情報、デジタルカメラ１の向き情報、ズームボタン１０２ａの操作量の情報、現在日時情報を受信し、受信した各情報を位置特定部４０２に出力する（ステップＳ２０１）。また、サーバ４の画像入出力部４０４は、ＰＣ３を介してデジタルカメラ１から画像データを受信し、受信した画像データを画像合成部４０５に出力する（ステップＳ２０２）。

次に、位置特定部４０２は、デジタルカメラ１の現在位置情報、デジタルカメラ１の向き情報、ズームボタン１０２ａの操作量の情報によって特定される仮想空間内の位置を特定する（ステップＳ２０３）。この仮想空間内の位置特定について説明する。まず、ズームボタン１０２ａの操作量を距離に換算する。この距離は、押下時間及び押圧量に対して比例換算によって求めるようにしても良いが、仮想ズーム駆動における駆動範囲は光学ズーム駆動における駆動範囲と比べて格段に広いため、ユーザが、目的とする仮想ズーム画像データを得るまでには多大な時間がかかりやすい。そこで、本実施形態では、以下のようにして距離を決定する。

図６（ａ）は仮想ズーム駆動における、ズームボタン１０２ａの押下時間及び押圧力と仮想ズーム速度との関係の一例を示す図である。ここで、仮想ズーム速度とは、所定の単位時間当たりの仮想空間内での距離の変化量を表す値である。図６（ａ）に示すように、本実施形態では、ズームボタン１０２ａの押下時間及びズームボタン１０２ａの押圧力に応じて仮想ズーム速度を上限速度まで加速度的に上げるようにして、目的の仮想ズーム画像データを素早く得られるようにする。

また、目的の仮想ズーム画像データを得るまでの時間をさらに短縮できるように、仮想空間内の位置に応じて仮想ズーム速度を変えるようにしても良い。図６（ｂ）は仮想ズーム駆動における、ズームボタン１０２ａの押下時間及び仮想空間内の位置と仮想ズーム速度との関係の一例を示す図である。図６（ｂ）では、観光地等のユーザが撮影の目的としやすい場所付近の仮想ズーム速度を低速とし、海洋、砂漠、山岳地帯等のユーザが撮影の目的としにくい場所付近の仮想ズーム速度を高速とする例を示している。ここで、仮想ズーム速度の上限は遠方ほど上げるようにすることが好ましい。距離の演算時には、現在特定されている位置が、観光地付近であるか、海洋等であるかを判定し、この結果に従って図６（ｂ）の何れかの仮想ズーム速度を選択して距離を求めるようにする。

以上のようにしてズームボタン１０２ａの操作量を距離に換算した後、この距離に対応する仮想空間内の位置を特定する。即ち、この位置は、ＧＰＳ受信機２によって測定されたデジタルカメラ１の現在位置から、角度検出部１１４によって検出されたデジタルカメラ１の向きに、ズームボタン１０２ａの操作量から換算された距離を加算した位置（経度及び緯度）となる。

ステップＳ２０３において、仮想空間内での位置の特定を行った後、位置特定部４０２は、特定した位置を画像ＤＢ４０３に出力する。画像ＤＢ４０３は、位置特定部４０２において特定された位置と現在日時とに対応する風景画像データを検索し、検索した風景画像データを画像合成部４０５に出力する（ステップＳ２０４）。なお、特定された位置に対応する風景画像データが存在しない場合には、特定された位置と最も近い位置の風景画像データを検索するようにしても良い。画像合成部４０５は、画像入出力部４０４から入力された画像データから人物被写体部の画像データを抽出する。人物被写体部の画像データが抽出できた場合には、抽出した人物被写体部の画像データと風景画像データとを合成して仮想ズーム画像データを生成し、生成した仮想ズーム画像データを画像入出力部４０４に出力する（ステップＳ２０５）。その後、画像入出力部４０４は、仮想ズーム画像データを、ＰＣ３を介してデジタルカメラ１に送信する（ステップＳ２０６）。

図７は、上述したような本実施形態におけるズーム動作によって、表示パネル１１１に表示されるズーム画像の例を示す図である。図７において、例えば、撮影者は東京都庁の展望室にいて、西の方角（図示破線Ａに沿う方向）に立っている少年にデジタルカメラ１を向けているとする。このときには、表示パネル１１１には図７の参照符号５０１で示すような画像が表示される。この状態で撮影者がズームボタン１０２ａのＴボタンを押し下げると、ズームレンズ１０３ａが望遠側に駆動される。このとき、表示パネル１１１には例えば図７の参照符号５０２で示すような画像が表示され、遠方の富士山が確認できるようになる。

さらに、撮影者がズームボタン１０２ａのＴボタンを押し下げると、やがてズームレンズ１０３ａのズーム位置がテレ端を越え、この後は、仮想ズーム駆動が行われる。仮想ズーム駆動においては、撮影者のズームボタン１０２ａの押し下げに応じた位置の風景画像データがサーバ４において検索され、検索された風景画像データと少年の画像データとが合成された後、デジタルカメラ１に戻される。これにより、表示パネル１１１には、図示破線Ａ上に存在する風景を含む画像が順次表示される。図７の例では、ズームボタン１０２ａの押し下げに応じて例えば参照符号５０３で示す富士山が近景に見えるような画像が表示されたり、参照符号５０４で示す万里の長城が見えるような画像が表示されたり、参照符号５０５で示す凱旋門が見えるような画像が表示されたりする。このようなズーム駆動を行うことにより、通常のズーム撮影では得られないような遠方の風景の画像を撮影することが可能である。

なお、デジタルカメラ１が上方を向いている場合には空や宇宙の画像等と合成して仮想ズーム画像を得るようにしたり、デジタルカメラ１が下方を向いている場合には水中や地中の画像と合成して仮想ズーム画像を得るようにしても良い。

また、図７は、テレ側のズーム駆動について示しているが、ワイド側の仮想ズーム駆動においては、例えば人物被写体部の画像データと顕微鏡写真等の画像データとを合成する。

図８は、空間切り替え処理１について示すフローチャートである。空間繰り替え処理１は表示パネル１１１に表示されている風景画像を、十字ボタン１０２ｂの操作方向に対応した風景画像に切り替える処理である。ここで、十字ボタン１０２ｂの操作方向とそれに応じて切り替える風景画像との対応は予め設定しておくものである。これは、固定の設定としても良いし、ユーザが自由に設定できるようにしても良い。

空間切り替え処理１において、制御部１０１は、まず、十字ボタン１０２ｂの操作方向が上方向であるかを判定する（ステップＳ３０１）。ステップＳ３０１の判定において、操作方向が上方向である場合に、制御部１０１は、上方向が操作された旨を示す情報を通信部１１５によりＰＣ３を介してサーバ４に送信する（ステップＳ３０２）。その後、図８の処理を抜けて図４のステップＳ１１０以後の処理を実行する。上方向が操作された旨を示す情報がサーバ４に送信されると、位置特定部４０２は、図５のステップＳ２０３で説明した位置の特定を行わずに、上方向の操作に対応した風景画像データを画像ＤＢ４０３から出力させる。以後は、図４のステップＳ１１２において仮想ズーム画像データが受信され、この仮想ズーム画像データに基づいて表示パネル１１１に仮想ズーム画像が表示される。

また、ステップＳ３０１の判定において、操作方向が上方向でない場合に、制御部１０１は、十字ボタン１０２ｂの操作方向が右方向であるかを判定する（ステップＳ３０３）。ステップＳ３０３の判定において、操作方向が右方向である場合に、制御部１０１は、右方向が操作された旨を示す情報を通信部１１５によりＰＣ３を介してサーバ４に送信する（ステップＳ３０４）。その後、ステップＳ１１０以後の処理を実行する。右方向が操作された旨を示す情報がサーバ４に送信されると、位置特定部４０２は、図５のステップＳ２０３で説明した位置の特定を行わずに、右方向の操作に対応した風景画像データを画像ＤＢ４０３から出力させる。

また、ステップＳ３０３の判定において、操作方向が右方向でない場合に、制御部１０１は、十字ボタン１０２ｂの操作方向が左方向であるかを判定する（ステップＳ３０５）。ステップＳ３０５の判定において、操作方向が左方向である場合に、制御部１０１は、左方向が操作された旨を示す情報を通信部１１５によりＰＣ３を介してサーバ４に送信する（ステップＳ３０６）。その後、ステップＳ１１０以後の処理を実行する。左方向が操作された旨を示す情報がサーバ４に送信されると、位置特定部４０２は、図５のステップＳ２０３で説明した位置の特定を行わずに、左方向の操作に対応した風景画像データを画像ＤＢ４０３から出力させる。

また、ステップＳ３０５の判定において、操作方向が左方向でない場合に、制御部１０１は、下方向が操作された旨を示す情報を通信部１１５によりＰＣ３を介してサーバ４に送信する（ステップＳ３０７）。ステップＳ１１０以後の処理を実行する。下方向が操作された旨を示す情報がサーバ４に送信されると、位置特定部４０２は、図５のステップＳ２０３で説明した位置の特定を行わずに、下方向の操作に対応した風景画像データを画像ＤＢ４０３から出力させる。

図９は、空間切り替え処理１が行われたときの風景画像の切り替えの一例について示した図である。

図９の例では、十字ボタン１０２ｂの上下方向の操作によって、もとの風景画像データと異なる季節の風景画像データ（異なる月、年等でも良い）がサーバ４の画像ＤＢ４０３において検索され、検索された風景画像データと人物被写体部の画像データとが画像合成部４０５において合成され、これによって得られる仮想ズーム画像データがデジタルカメラ１の表示パネル１１１に順次表示される。例えば、もとの風景画像６００が春に撮影されたものであった場合には、十字ボタン１０２ｂの上方向の操作によって風景画像６００と同じ位置で冬に撮影された風景画像６０１が表示され、十字ボタン１０２ｂの下方向の操作によって風景画像６００と同じ位置で夏に撮影された風景画像６０３が表示される。

また、十字ボタン１０２ｂの左右方向の操作によって、もとの風景画像データに対して仮想空間内で近距離に存在する風景画像データがサーバ４の画像ＤＢ４０３において検索され、検索された風景画像データと人物被写体部の画像データとが画像合成部４０５において合成され、これによって得られる仮想ズーム画像データがデジタルカメラ１の表示パネル１１１に順次表示される。図９の例では、十字ボタン１０２ｂの右方向の操作によって風景画像６００を右に移動させた風景画像６０２が表示され、十字ボタン１０２ｂの左方向の操作によって風景画像６００を左に移動させた風景画像６０４が表示される。

ここで、図８の処理では十字ボタン１０２ｂの操作方向を判定するようにしているが、十字ボタン１０２ｂの操作方向を判定するかわりに、ユーザによるデジタルカメラ１の向き変更操作を判定するようにしても良い。

図１０は、空間切り替え処理２について示すフローチャートである。空間繰り替え処理２はユーザが構図の微調整を行うための処理である。仮想ズーム駆動においては、特に長距離の撮影になるほど、デジタルカメラ１の向きを少し変えただけで大きな構図の変化が生じるため、構図の調整を行うことが困難である。そこで、空間切り替え処理２は、通常の撮影と同様の感覚でユーザが構図の調整を行えるようにするための処理である。

空間切り替え処理２において、制御部１０１は、まず、角度検出部１１４の出力より、デジタルカメラ１の向きの変化があったかを判定する（ステップＳ４０１）。ステップＳ４０１の判定において、デジタルカメラ１の向きの変化がない場合に、制御部１０１は、空間切り替え処理２を終了させる。

また、ステップＳ４０１の判定において、デジタルカメラ１の向きの変化があった場合に、制御部１０１は、角度検出部１１４の出力からデジタルカメラ１の向きの変化速度（方向及び速さ）を検出する（ステップＳ４０２）。その後、制御部１０１は、検出したデジタルカメラの向きの変化速度を示す情報を通信部１１５によりＰＣ３を介してサーバ４に送信する（ステップＳ４０３）。その後、ステップＳ１１０以後の処理を実行する。向きの変化速度を示す情報がサーバ４に送信されると、位置特定部４０２は、図５のステップＳ２０３で説明した位置の特定を行わずに、向きの変化速度に対応した風景画像データを画像ＤＢ４０３から出力させる。以後は、図４のステップＳ１１２において仮想ズーム画像データが受信され、この仮想ズーム画像データに基づいて表示パネル１１１に仮想ズーム画像が表示される。

図１１は、空間切り替え２の処理が行われたときの風景画像データの切り替えの一例について示した図である。なお、図１１はデジタルカメラ１の水平方向の向き変化に対する風景画像データの切り替えについて示している。図１１の例では、デジタルカメラ１の向きの変化速度に応じて、もとの風景画像データから離れた位置の風景画像データがサーバ４の画像ＤＢ４０３において検索され、検索された風景画像データと人物被写体部の画像データとが画像合成部４０５において合成され、これによって得られる仮想ズーム画像データがデジタルカメラ１の表示パネル１１１に順次表示される。例えば、デジタルカメラ１の向きの変化速度が遅い場合にはもとの風景画像７００に対応する位置から左右方向に所定の短距離だけ移動させた位置の風景画像７０１、７０３が表示される。このような表示を行うことにより、ユーザは構図の調整を行うことが可能である。また、デジタルカメラ１の向きの変化速度が速い場合にはもとの風景画像７００に対応する位置から左右方向に所定の長距離だけを移動させた位置の風景画像７０２、７０４が表示される。この場合には、通常の仮想ズーム駆動と同様に大きな構図の変更を行うことができる。

以上説明したように、本実施形態によれば、通常の光学ズームや電子ズームでは撮影できないようなズーム画像を、通常のズーム撮影と同様の操作感で得ることが可能である。ここで、光学ズーム駆動の駆動範囲内ではズームレンズ１０３ａを利用した光学ズーム駆動を行うことにより現実の画像を利用した撮影を行うことが可能である。さらに、光学ズーム駆動の駆動範囲を超えた仮想ズーム域においては、仮想ズーム駆動を用いることで、通常では撮影できないような超遠距離や超近距離での撮影や、現実の季節や時間とは全く異なる風景の撮影を行ったり、宇宙や空等の本来ありえない場所での撮影を行ったりすることが可能である。

また、仮想ズーム駆動においては、ズームボタン１０２ａの操作量や、仮想空間内の位置に応じて、仮想空間内における位置特定のための距離の変化量を変えることにより、ユーザが目的とする仮想ズーム画像を短時間で得ることが可能である。さらに、構図調整モードを設けることにより、超遠距離の撮影における構図の微調整も可能である。

次に、本実施形態の変形例について説明する。図１２は、本実施形態の変形例に係る撮像システムの構成を示す図である。なお、図１２において、図１と同様の参照符号を付している構成は、図１と同様のものであるので説明を省略する。図１２に示す撮像システムにおいては、ＰＣ３と、サーバ４と、キーワード検索エンジン６とがインターネット５を介して通信自在に接続されている。キーワード検索エンジン６は、サーバ４における仮想空間内で特定された位置の名称をキーワードとして検索を行い、該位置の名称に関連する風景画像データを取得して、サーバ４の画像合成部４０５に入力する。このようなキーワード検索エンジン６をシステムに持たせることにより、サーバ４内の画像ＤＢ４０３を省略することが可能である。

また、上述した実施形態では、ズームレンズ１０３ａにズーム位置が光学ズームの駆動範囲に達した後は、すぐに仮想ズーム駆動を行うようにしているが、光学ズームの駆動域と仮想ズームの駆動域との間に、光学ズームで得られる画像データを拡大又は縮小することによりズーム画像データを得る電子ズーム域を設けるようにしても良い。

また、上述した実施形態においては、デジタルカメラ１と、サーバ４とを含む撮像システムについて説明しているが、サーバ４の機能を全てデジタルカメラ１に持たせることができれば、サーバ４はなくとも良い。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の一実施形態に係る撮像システムの構成を示す図である。 デジタルカメラの内部の構成の一例を示すブロック図である。 デジタルカメラの撮影時のメイン動作を示すフローチャートである。 ズーム動作の詳細について示すフローチャートである。 サーバの仮想ズーム駆動時の動作を示すフローチャートである。 図６（ａ）は仮想ズーム駆動におけるズームボタンの押下時間及び押圧力と仮想ズーム速度との関係の一例を示す図であり、図６（ｂ）は仮想ズーム駆動におけるズームボタンの押下時間及び仮想空間内の位置と仮想ズーム速度との関係の一例を示す図である。 ズーム動作によって表示パネルに表示されるズーム画像の例を示す図である。 空間切り替え処理１について示すフローチャートである。 空間切り替え処理１が行われたときの風景画像の切り替えの一例について示した図である。 空間切り替え処理２について示すフローチャートである。 空間切り替え処理２が行われたときの風景画像の切り替えの一例について示した図である。 変形例の撮像システムの構成を示す図である。

符号の説明

１…デジタルカメラ、２…ＧＰＳ受信機、３…パーソナルコンピュータ（ＰＣ）、４…サーバ、５…インターネット、６…キーワード検索エンジン、１０１…制御部、１０２ａ…ズームボタン、１０２ｂ…十字ボタン、１０２ｃ…レリーズボタン、１０２ｄ…操作量検出部、１０２…操作部、１０３ａ…ズームレンズ、１０３ｂ…フォーカスレンズ、１０４…レンズ駆動部、１０４ａ…ズーム駆動部、１０５…撮像部、１０６…前処理部、１０７…バス、１０８…記憶部、１０９…画像処理部、１１０…表示制御部、１１１…表示パネル、１１２…圧縮/伸張部、１１３…記録メディア、１１４…角度検出部、１１５…通信部、４０１…情報入力部、４０２…位置特定部、４０３…画像データベース（ＤＢ）、４０４…画像入出力部、４０５…画像合成部

Claims (6)

1. 互いに通信自在に接続された撮像装置とサーバとを有する撮像システムであって、
   上記撮像装置は、
   ズーム位置変化の指示を与えるための操作部と、
   上記撮像装置の現在位置及び向きを検出する位置検出部と、
   上記現在位置において被写体の画像を取得する被写体画像取得部と、
   を具備し、
   上記サーバは、
   上記現在位置から上記向きに上記操作部の操作量に応じた距離だけ離れた位置を特定する位置特定部と、
   複数の風景画像を記憶するとともに、上記特定された位置に対応する風景画像を出力する風景画像記憶部と、
   上記出力された風景画像に上記被写体の画像を合成してズーム画像を生成する画像合成部と、
   を具備することを特徴とする撮像システム。
2. 上記撮像装置は、上記操作部の操作量に応じてズーム位置を変化させるズームレンズをさらに具備し、
   上記ズーム位置が上記ズームレンズの駆動範囲外である場合のみ上記画像合成部において上記ズーム画像を生成し、上記ズーム位置が上記ズームレンズの駆動範囲内である場合には上記ズームレンズを駆動して得られる画像をズーム画像として取得することを特徴とする請求項１に記載の撮像システム。
3. 上記位置特定部は、上記操作量が大きくなるほど上記距離の変化量を大きくするように演算することを特徴とする請求項１に記載の撮像システム。
4. 上記位置特定部は、前回、風景画像取得部によって取得した風景画像に対応する位置に応じて、次回の上記距離の変化量を変えることを特徴とする請求項１に記載の撮像システム。
5. 上記操作部は、上記撮像装置を構図調整モードに設定するための設定部をさらに有し、
   上記撮像装置が構図調整モードに設定された場合に、上記風景画像記憶部は、上記特定された位置に対して、上記撮像装置の向きの変化速度に応じた距離だけ離れた位置に対応する風景画像を出力することを特徴とする請求項１に記載の撮像システム。
6. ズーム位置変化の指示を与えるための操作部と、
   当該撮像装置の現在位置及び向きを検出する位置検出部と、
   上記現在位置において被写体の画像を取得する被写体画像取得部と、
   上記現在位置から上記向きに上記操作部の操作量に応じた距離だけ離れた位置を特定する位置特定部と、
   複数の風景画像を記憶するとともに、上記特定された位置に対応する風景画像を出力する風景画像記憶部と、
   上記出力された風景画像に上記被写体の画像を合成してズーム画像を生成する画像合成部と、
   を具備することを特徴とする撮像装置。

Images