JP2008288922A - カメラ - Google Patents

Abstract

【課題】コンピュータグラフィックで生成された情景を、現実の情景と同様の操作で撮影できるカメラを提供する。
【解決手段】撮影レンズ２を介して結像する被写体像を光電変換する撮像素子３と、この撮像素子３の出力に基づいて画像を表示する表示パネル８と、撮像素子３の出力に基づく画像データの取得を指示するレリーズスイッチ１ａと、このレリーズスイッチ１ａが操作されたときに画像データを記録する記録メディア９と、外部から仮想空間の画像を入力する送受信部９ｃと、この送受信部９ｃによって入力された仮想空間の画像を表示パネル８に表示させ、レリーズスイッチ１ａが操作されたときに仮想空間の画像を記録する制御部（ＭＰＵ）１を具備する。
【選択図】 図１

Description

本発明は、カメラに関し、詳しくは、仮想空間等の外部サービスによって提供される情景の撮影機能を有するカメラに関する。

近年、デジタルカメラの画像送信の容易さを利用して、パーソナルコンピュータ（ＰＣ）通信やインターネット、携帯電話回線などを利用して画像送信を行なうことにより画像を楽しむ機会が増えてきている。また、このインターネット上には、実際の生活空間とは異なる仮想空間を形成し、この仮想空間の画像を提供するサービスなどがある。この仮想世界では、そこに住む仮想住人によって、建物が建てられ、土地が開発されて、刻一刻と風景を変化させている。こうした空間内の風景を、あたかも日常の風景として、仮想現実空間での体験を享受している人も増えてきている。

このようなコンピュータグラフィック（ＣＧ）的な画像を撮像するものとして、例えば、特許文献１には、撮影画像に対して、コンピュータ画像で見えるはずの構造物の名称を、地図情報管理部から取得して、その構造物名称を撮影画像に重畳して表示する報道支援システムが開示されている。この報道支援システムによれば、各構造物の様々な情報を瞬時に取り出すことが可能となる。

特開２０００−５０１５６号公報

この特許文献１に開示された報道支援システムでは、ＣＧ画像と現実画像の合成表示であって、仮想現実空間のようにネット上に構築されているバーチャル空間を、従来のカメラと同様の操作で撮影することができず、また、仮想現実体験を、リアルな体験と同じように思い出に記録することができない。

すなわち、仮想世界では、仮想住人によって、刻一刻と風景を変化させており、現実以上のスピードで変化する風景の中では、ある時間における自分の経験を、画像として記録しておきたいという要望がある。しかし、仮想世界での体験と、現実体験を共に同じ感覚で撮影できるカメラはなかった。

本願発明は、このような事情を鑑みてなされたものであり、コンピュータグラフィックで生成された情景を、現実の情景と同様の操作で撮影できるカメラを提供することを目的とする。

上記目的を達成するため第１の発明に係わるカメラは、撮像素子の出力に基づく画像を表示手段に表示し、その画像を観察しながら撮影を行うと共に、撮影した複数の画像を送信可能なカメラにおいて、送信する各画像の撮影条件情報が、所定条件に合致した時に、外部より発信されてくる受信画像データを、上記表示手段に表示および撮影を可能とする。

第２の発明に係わるカメラは、上記第１の発明において、上記撮影条件情報は、撮影位置の変化、または時間情報である。
また、第３の発明に係わるカメラは、上記第１の発明において、上記撮影条件情報は、撮影禁止領域の表示の撮影である。
さらに、第４の発明に係わるカメラは、上記第１の発明において、上記受信画像は、上記撮像素子の出力の変化に従って変化する。

上記目的を達成するため第５の発明に係わるカメラは、撮影レンズを介して結像する被写体像を光電変換する撮像素子と、この撮像素子の出力に基づいて画像を表示する表示部と、上記撮像素子の出力に基づく画像データの取得を指示するレリーズ部と、このレリーズ部によって指示された上記画像データを記録する記録部と、外部からコンピュータグラフィックを入力する入力部と、この入力部によって入力されたコンピュータグラフィックを上記表示部に表示させ、上記レリーズ部の指示に従って上記コンピュータグラフィックを画像として記録する制御部を具備する。

第６の発明に係わるカメラは、上記第５の発明において、上記撮像素子の出力に基づいて撮影した画像に関する撮影条件が所定条件に合致したときに、上記コンピュータグラフィックを上記表示部に表示させる。
また、第７の発明に係わる画像送信システムは、上記第６の発明において、上記所定条件は、撮影位置の変化もしくは時間情報の変化、または撮影画像の変化である。
さらに、第８の発明に係わる画像送信システムは、上記第６の発明において、外部機器に設けられた上記所定条件の判定部に、上記撮影条件を送信する。

さらに、第９の発明に係わるカメラは、上記第５の発明において、カメラの動きを検出する動き検出部の出力に基づいて、上記コンピュータグラフィックの画像を移動させる。
さらに、第１０の発明に係わるカメラは、上記第５の発明において、上記コンピュータグラフィックは仮想空間である。
さらに、第１１の発明に係わるカメラは、上記第５の発明において、上記画像は、上記レリーズ指示がなされた時の静止画像、または上記レリーズ指示がなされ時から次のレリーズ指示がなされるまでの間の動画像である。

上記目的を達成するため第１２の発明に係わるサーバー装置は、コンピュータグラフィックライブラリを有し、若しくはコンピュータグラフィックライブラリを有するサーバーと連携するサーバー装置において、外部のカメラから撮影条件を受信する受信部と、上記撮影条件に基づいて、コンピュータグラフィックを送信するか否かを判定する判定部と、上記撮影条件が所定条件を満たした場合に、上記コンピュータグラフィックを送信する送信部を具備する。

第１３の発明に係わるサーバー装置は、上記第１２の発明において、上記判定条件は、撮影位置もしくは時間情報の変化、または撮影画像の変化である。

上記目的を達成するため第１４の発明に係わるカメラにおける画像記録方法は、撮影レンズを介して結像する被写体像を光電変換する撮像素子と、この撮像素子の出力に基づいて画像を表示する表示部と、上記撮像素子の出力に基づく画像データの取得を指示するレリーズ部と、このレリーズ部によって指示された上記画像データを記録する記録部を有するカメラにおいて、外部からコンピュータグラフィックを入力し、この入力されたコンピュータグラフィックを上記表示部に表示し、上記レリーズ部の指示に従って上記コンピュータグラフィックを画像として記録する。

本発明によれば、コンピュータグラフィックで生成された情景を、現実の情景と同様の操作で撮影できるカメラを提供することができる。

以下、図面に従って本発明を適用したカメラと、仮想空間サービスシステムを用いて好ましい実施形態について説明する。本発明の第１実施形態に係るカメラは、仮想サービスと電話回線やインターネット等の通信網によって接続されている。撮影画像やその撮影情報が所定の条件を満たすと、仮想空間に入ることができる。仮想空間に入ると、そこでの情景がカメラの表示部に表示され、ユーザーは気に入った画像があれば、通常のカメラ撮影と同様に、レリーズ操作を行なうことにより、その静止画像を記録することができる。

図１は、本発明の一実施形態に係わるデジタルカメラとその周辺のブロック図である。ユーザーが使用するカメラ１００には、撮影レンズ２、ＡＦ（オートフォーカス）制御部２ａ、絞り２ｂ、絞り制御部２ｃ、撮像素子３、アナログフロントエンド（以下、ＡＦＥと略す）部４が設けられている。撮影レンズ２は、内部にフォーカスレンズを有し、入射した被写体２０の像を撮像素子３上に結像させる。

ＡＦ制御部２ａは、撮影レンズ２の合焦位置を、後述する画像処理部５内において画像処理を行い、いわゆる山登り法により検出し、フォーカスレンズを駆動して、合焦位置に移動させる。なお、山登り法は、撮影画像のコントラスト信号ピークから合焦位置（ピント位置）を検出する方式であるが、山登り法以外にも、例えば位相差法や三角測距法等公知の合焦方法に置き換えてもよい。ＡＦによって合焦位置に達すると、このときの撮影レンズ２を検出することにより、距離判定を行うことができる。この場合、撮影レンズ２がズームレンズのときには、ズーム位置等を加味して距離の判定を行う。

撮影レンズ２内または近傍に、シャッタや絞りの効果を奏する絞り２ｂが設けられる。絞り２ｂは、撮影時に所定の口径まで開き、露出が終了すると閉じて露光を終了させるものである。絞り制御部２ｃは、絞り２ｂを駆動して絞り径を設定する。この絞りを変えることによって、レンズの被写界深度が変化するので、背景のぼけ具合などを調整して、被写体を浮かび上がらせたり、背景をしっかりと描写したりするなど、表現の切り替えを行うことができる。撮像素子３は、多数の受光面（画素）からなるＣＣＤやＣＭＯＳセンサ等であり、撮影レンズ２を介して被写体２０からの像を受光しこれを画像信号に変換する。

アナログフロントエンド（ＡＦＥ）部４は、アナログデジタル変換（ＡＤ）手段を含み、撮像素子３からの信号をデジタル信号化する。そして、ＡＦＥ部４は、撮像素子３から出力される画像信号について各種処理を行う。また、ＡＦＥ部４には、撮像素子３のいくつかの画素をまとめて、一括して読み出す機能も設けられている。たとえば、４画素（２×２）や９画素（３×３）など、各画素の信号レベルが小さいときには、いくつかの画素信号を加算して、Ｓ／Ｎを向上させることができ、また、感度を上げることも出来る。

このような操作によって感度を上げることができ、シャッタスピードを速くする等、撮影上の工夫が可能となる。シャッタスピードが速いと、動いている被写体が止まっているように撮影することが可能となる。

また、ＡＦＥ部４は、撮像素子３の出力する信号を取捨選択する機能を有し、受光範囲の中から限られた範囲の画像データを抽出することが出来る。一般に撮像素子３の画素から間引いた画素信号を抽出する場合には、高速読出が可能となる。これにより構図確認用の画像信号を、画像処理部５によって高速処理し、表示制御部８ａを介して表示パネル８に表示することにより、フレーミングが可能となる。

ＡＦＥ部４の出力は、画像処理部５に接続されている。画像処理部５は、入力信号の色や階調やシャープネスを補正処理する。また、撮像素子３から得られた画像信号を所定のレベルに増幅して、正しい濃淡、正しい灰色レベルに設定する増感部を有している。これは、デジタル化された信号レベルが、所定レベルになるようにデジタル演算するものである。また、画像処理部５は、ライブ画像をリアルタイムに表示部に表示できるように、撮像素子３からの信号を表示パネル８に表示できるようなサイズに加工するリサイズ部５ｂを有する。この働きによって、撮影に先立って撮像素子に入射する像を確認でき、これを見ながら撮影時のタイミングやシャッタチャンスを決定することが出来る。

また、この画像処理部５の信号を利用して、撮像素子から入力されてくる画像の特徴などを判定する画像判定機能を有している。例えば、画像情報を加工して得られる輪郭情報から、撮像しているものの形状を検出する形状判定部５ａや、画像の信号レベルのコントラストを判定して、被写体の距離を判定する距離判定部５ｃ、また、時間による画像の変化を調べて、カメラや被写体の移動を検出する動き検出部５ｄなどが、このシステムには含まれている。これらは、写真撮影時に、ユーザーがどのような写真を撮ろうとしているかを判定して、撮影制御を最適化するために用いられるものである。

また、画像処理部５は、前述した画像のコントラストを判定する機能を有し、撮影レンズのピント合わせ手段との連動で、オートフォーカスの制御を行う。前述の距離判定部５ｃは、撮影レンズ２のピント合わせ時のレンズ位置の情報によって、被写体の距離や、背景の距離などが判定できる。

また、カメラ１００には、圧縮部６、記録部９ａ、記録メディア９、送受信部９ｃ、受信設定部９ｄ、送信設定部９ｅ、表示パネル８、表示制御部８ａ及びマルチ画像処理部８ｂが設けられている。圧縮部６は、撮影時に画像処理部５から出力された信号を圧縮する。圧縮部６内には、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）４やＨ．２６４などの圧縮用コア部で構成される動画用の圧縮部及び ＪＰＥＧ（Ｊｏｉｎｔ
Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）コア部など静止画像用の圧縮部が設けられる。また、圧縮部６は記録メディア９に記録されている画像を表示パネル８に再生する際には、画像伸張も行なう。

記録部９ａは、圧縮された画像信号を記録メディア９に記録する。記録メディア９はカメラに着脱可能な保存用の記録媒体である。なお、画像信号の記録にあたっては、写真撮影した時の時間情報も併せて記録しても良い。撮影時間情報は、後述するMPU1内の時計部１ｔによって計測されており、ＭＰＵ１は画像と関連付を行なう。

メディア９や記録部９aに記録された撮影画像データは、送受信部９ｃによって、インターネットや電話回線などの通信回線３２経由で、画像を管理するサーバー３３等の他の機器に転送したり、直接またはサーバー３３を介して仮想空間サービスの提供者と接続することができる。また、送受信部９ｃは、受信設定部９ｄと送信設定部９ｅと接続されており、この受信設定部９ｄは受信先を指定する指定部であり、また送信設定部９ｅは送信先を指定する指定部である。

表示パネル８は、例えば液晶や有機ＥＬ等から構成され、撮影時には観察用に被写体画像を表示し、再生時には伸張処理された記録画像を表示する。また、この表示パネル８は、送受信部９ｃを介して受信した仮想空間のＣＧ画像を表示する。

表示制御部８aは、表示パネル８への表示を制御する。マルチ画像処理部８ｂは、表示パネル８上に、複数の画像を表示する場合の制御部である。このマルチ画像処理部８ｂによって、撮影した画像や撮影する画像の上に、送信先のアドレスの文字表示や種々の警告表示をすることが可能である。なお、表示パネル８には、撮影して送信済み画像を一覧表示して、そこからサーバー３４が運営するブログサービスなどにアップする画像や、アップして、ブログに表示する時のレイアウトを選択できるようにしてもよい。

カメラ１００には、補助光発光部１１、ＭＰＵ（Micro Processing Unit）１、レリーズスイッチ１ａ、モード切替スイッチ１ｂ、他のスイッチ１ｃが設けられる。補助光発光部１１は、白色ＬＥＤやＸｅ放電発光管を有し、電流量で光量が制御できるようになっている。状況に応じて被写体２０に光を照射して、明るさの不足や不均一な明るさを防止する。

ＭＰＵ１は、カメラ全体の制御を司る制御手段である。レリーズスイッチ１ａ、モード切替スイッチ１ｂ、他のスイッチ１ｃおよびプログラム等を記憶したＲＯＭ(不図示)が、ＭＰＵ１に接続される。ＭＰＵ１内には、日や時刻を検出するための時計部１ｔが設けられており、写真の撮影日時を検出し、撮影画像と関連付けを行う。なお、スイッチ１ｂ、１ｃは、スイッチを総称的に表示したものであって、実際には多数のスイッチ群から構成されている。

各スイッチ１ａ〜１ｃは、ユーザーの操作を検出して、その結果をマイクロコントローラからなる演算制御手段であるＭＰＵ１に通知する。ＭＰＵ１が、これらのスイッチの操作に従って動作を切り換える。また、ＭＰＵ１は撮影時には、ＡＦ制御部２ａや絞り制御部２ｃ等の制御を行う撮影制御部として機能し、さらに、仮想空間の撮影時には、インターネット等を介して受信した仮想空間のＣＧ画像を取り込み、記録部９ａや記録メディア９に記録を行う。

このカメラ１００は、前述したように、送受信部９ｃを利用して仮想空間のサービスの提供を受けることができる。このサービスは、仮想空間をＣＧで構成して提供するものであり、ユーザーは、この仮想空間内の仮想の土地に、建物のグラフィックを作成し、あたかも都市のような景観を呈しているものがある。このようなサービスは、あくまで仮想の世界であるが、最新の３Ｄ技術によって、その中を歩いていくような感覚が得られ、あたかも現実の世界のような体験が得られる。

従って、このような空間に入って行くにも、不自然なインターフェースでの設定が介在すると興趣がそがれる。現実空間の撮影を経て、仮想空間に入っていくような自然なインターフェースが求められ、現実と仮想現実を意識せずに行き来しながら撮影ができることが好ましい。そこで、現実の撮影を楽しんでいるうちに、仮想空間の撮影に移行できるような工夫が望まれる。本実施形態においては、所定の条件を満たす撮影を行うと、仮想空間を提供するサーバーにアクセスし、仮想空間に入りこむようにしている。ＭＰＵ１に接続された条件判定部１ｄが、リアルからバーチャル移行の条件を満たすか否かを判定する。

次に、図２を用いて、カメラ１００、サーバー３３および仮想空間を提供するサーバー３４の間における画像データや情報の授受を中心に説明する。図２は、サーバー３３の内部構造と、カメラ１００によって送信される画像とサーバー３３から送信されるＣＧ画像データの授受を示している。

サーバー３３は、仮想空間のＣＧを提供するサーバー３４と連携しており、このサーバー３４内には、仮想空間のＣＧを生成するためのＣＧライブラリ３４ａが設けられている。サーバー３３は、カメラ１００のアクセス先のサーバーであり、この内部には、カメラ１００からアクセスを受けた際に、データを受信するための受信部３３ｃ、この受信部３３ｃに接続されて、データを記録するための記録部３３ｂが設けられている。

また、受信部３３ｃには、受信した撮影条件等の情報が添付された画像が所定条件を満たすか否かの判定を行なう条件判定部３３ａが接続されている。さらに、条件判定部３３ａには、判定結果に応じてサーバー３４と連携するための連携部３３ｆが接続されている。この連携部３３ｆはサーバー３４と接続しており、サーバー３４から仮想空間のＣＧデータを受信する。連携部３３ｆは送信部３３ｂと接続しており、送信部３３ｂはカメラ１００にＣＧデータを送信する。

この図２を用いて、本実施形態に係るシステムの動作について説明する。カメラ１００で撮影された撮影画像は、受信部３３ｃにおいて受信され、記録部３３ｄに保存される。記録部３３ｄに記録された画像は、一般に公開し閲覧することが可能である。また、受信した撮影画像は、条件判定部３３ａによって、図３を用いて後述するような所定条件を満たすか否かの判定が行なわれる。

この判定部で所定条件が満たされた場合、連携部３３ｆを介して仮想空間のＣＧライブラリ３４ａを有するサーバー３４と連携し、所定の景色の画像を選択し、送信部３３ｂを介して、ＣＧ画像データ３６をカメラ１００に送信する。カメラ１００は、仮想空間の画像データ３６を受信すると、カメラ背面等に設けられた表示パネル８に仮想空間の画像を動画像として表示する（図４参照）。この表示パネル８は、通常の使用では、撮影レンズ２を介して取得したスルー画像、あるいは記録された撮像画像の再生画像を表示しているが、本実施形態では、これらの画像に加えて仮想空間の画像も表示される。

これによって、現実の撮影のあと、仮想空間にさまよいこんだような効果が得られる。ここでは、あたかも現実の風景が続いているような表示画像を用意しておき、そこからさらに奥に入り込めるようにする。レンズ内の撮影の画像が移動すると、それを画像処理部５内の動き検出部５ｄによって検出し、検出結果に応じて、図４（ａ）から（ｂ）に示すように、風景が移り変わるようにすればよい。このとき、動き検出部５での検出結果をサーバー３３に送信することにより、サーバー３３は動きに応じた仮想空間の画像をカメラ１００に送信する。

仮想空間の風景が表示パネル８に表示されると、カメラ１００で仮想空間の撮影が可能となる。この状態で撮影操作を行うと、仮想空間の風景の画像が静止画像として撮影され、記録部９ａや記録メディア９に記録される。なお、撮影信号を送信することによって、高品位の仮想空間の画像を表す静止画データをサーバー３４からカメラ１００に送信するようにしてもよい。

このように、本実施形態に係わるカメラ１００は、現実と仮想空間のいずれをも撮影できるが、次に、図３を用いて、現実と仮想空間の遷移方法について説明する。現実の世界から仮想空間への遷移方法については、種々あるが、ここでは３つの例を挙げる。

第１の例は、撮影位置の変化に基づく遷移方法である。図３（ａ）の地図で示す場所Ａで撮影し、そのあと場所Ｂで撮影を行う。条件判定部１ｄは、ＧＰＳによって検出した撮影位置情報から、撮影者は図３（ａ）の地図上で左下に移動しながら撮影していると判断する。そして次はＣの場所で撮影したいという判断を行い、Ｃの場所は実際には海であるが、仮想都市を形成したサービスとリンクして、この仮想の景観を撮影できるようにする。このように実際に撮影できないような空間での撮影が可能となる。なお、条件判定部１ｄまたは後述するようにサーバー３３の条件判定部３３ａが画像判定機能を有し、この画像判定機能によって撮影場所を特定することができれば、撮影画像に撮影位置情報を添付する必要がなくなる。

第２の例は、時間情報の変化に基づく遷移方法である。図３（ａ）に示したような場所の変化だけではなく、図３（ｂ）に示すように、所定の日時に撮影し、次の撮影を所定の日時に行えば、その次の撮影が仮想空間撮影になるようにしてもよい。例えば、週末の土曜の旅先に撮影を行い、翌日、同じ場所で日曜に撮影を行った時、次の月曜は旅先から戻って、実際には旅先にはいなくとも、その場所の風景を擬似的に構成したＣＧ映像を撮影可能なようにすれば、旅から帰った後も、その余韻にひたった撮影を行うことができる。

第３の例は、撮影禁止領域の撮影に基づく遷移方法である。これは、図３（ｃ）のように、撮影禁止の看板を遠くから撮影し、少し近づいて撮影する。サーバー３３はこのような画像であると判定すると、看板の先は実際には撮影禁止領域であるが、撮影禁止の看板の先にある風景の画像を配信し、それを擬似的に撮影できるようなサービスを行うことができる。実際には立ち入り禁止の文化財であっても、擬似的に眺め、撮影等できることから、文化財などの保護に役立つサービスが可能となる。

次に、カメラ１００の動作について、図５に示すフローチャートを用いて説明する。なお、ここでは、現実世界から仮想空間への遷移の判定は、サーバー３３内の条件判定部３３ａでは行わず、カメラ１００内の条件判定部１ｄに行っている。まず、最初に撮影画像が仮想空間に遷移するための所定条件を満たしているか、すなわち、図３（ａ）から（ｃ）に示したような条件を満たしているか否かの判定を行なう（Ｓ１）。判定の結果、所定の条件を満たしていない場合には、ステップ２以下に進み、通常のカメラ制御を行う。

通常のカメラ制御として、まずスルー画表示を行う（Ｓ２）。ここでスルー画表示は、撮影レンズ２によって撮像素子３上に結像された被写体像を光電変化し、これに基づく画像データを表示パネル８に動画表示する。次に、レリーズ操作がなされ、撮影を行うか否かを判定する（Ｓ４）。判定の結果、撮影を行う場合には、静止画像データを取得し（Ｓ５）、記録部９ａまたは記録メディア９に画像データの記録を行う（Ｓ６）。

次に、ステップＳ５で撮影された画像の判定を行う（Ｓ７）。ここでの判定は、条件判定部１ｄによってなされ、図３を用いて前述したような仮想空間への遷移条件を満たすか否かの判定である。判定の結果、所定条件を満たす場合は、条件を満たす旨の設定がなされる（Ｓ８→Ｓ９）。なお、ステップＳ７での条件判定は、現実世界から仮想空間への遷移のみならず、仮想空間から現実世界に戻る場合も含めて条件判定され、仮想空間にいる場合に、条件を満たした場合には、ステップ９では「条件満たす」から「満たさない」に変更される。

ステップＳ９において、条件を満たす旨の設定がなされると、フローをリターンし、再びステップＳ１に戻っての判定の際に、所定条件を満たしていることから、ステップＳ３ａに進む。ステップＳ３ａは、現実の撮影から仮想空間の表示に移るステップで、サーバー３３に仮想空間の画像データを要求し、送信されてきた仮想空間の画像を表示パネル８に再生表示する（Ｓ３ａ）。

続いて、ユーザーがカメラ１００を動かし移動したか否かを、撮像素子３から出力される画像信号に基づいて動き検出部５ｄで検出し、動いている場合には、仮想空間を移動して行くように画像の切り替えを行う（Ｓ３ｂ）。そして、ステップＳ４において、ユーザーが仮想空間の情景を撮影したい場合には、前述した撮影動作のステップを実行する。すなわち、現実の撮影と何ら差異なく撮影が楽しめるように、Ｓ４以下のステップは共通で、撮影操作は共通となっている。

ステップＳ４において、撮影でないと判定された場合には、ステップＳ１１に進み、再生か否かの判定を行なう。ユーザーが画像の再生を望む場合には、モード切替スイッチ１ｂ等により再生モードに切り替えるので、これらのスイッチを検出することにより判定する。判定の結果、再生であった場合には、再生動作を行う（Ｓ１２）。撮影レンズ２および撮像素子３によって取得した被写体画像および仮想空間の画像を再生し、表示パネル８に表示し、楽しむことができる。

本実施形態によれば、通常のカメラでは、撮影できないようなシーンでも、通常のカメラと同じ操作で撮影が可能なカメラが提供できる。すなわち、本実施形態においては、送受信部９ｃを介して、コンピュータグラフィックで生成された仮想空間の画像を受信し、これを表示パネル８に表示すると共に、通常撮影と同様にレリーズ操作がなされると、この仮想空間の画像を記録部９ａや記録メディア９に記録することができる。

また、本実施形態によれば、送受信部９ｃで受信した仮想空間の画像を表示パネル８に表示中に、撮像素子３からの画像信号に基づいて画像処理部５ｃの動き検出部５ｄがカメラ１００の動きを検出し、この検出された動きに応じて、仮想空間の画像が移動するように、サーバー３３に画像を要求するようにしている。このためカメラ１００の表示パネル８を通して、仮想空間の中を自在に見て回ることができる。

さらに、本実施形態によれば、条件判定部１ｄにおいて、複数の撮影画像が所定の条件を満たしているか否かを判定し、仮想空間に遷移するようにしている。現実の世界からバーチャルの世界に飛び込むに、単に特定のアドレスに接続するだけでは、あまりに機械的すぎて仮想空間を楽しむことができない。そこで、本実施形態においては、仮想サービスから仮想空間の画像の提供を受けるにあたって、現実からバーチャル世界への変化を体験できるように設定している。

次に、図６および図７のフローチャートを用いて、本発明の第２実施形態を説明する。本発明の第１実施形態においては、仮想空間への遷移する所定条件を満たしているか否かの判定は、カメラ１００内に設けた条件判定部１ｄにおいて行なっていた。第２実施形態においては、所定条件を満たしているか否かの判定を、サーバー３３の条件判定部３３ａにおいて行なっている。第２実施形態の構成は、第１実施形態において図５のフローチャートを図６および図７に置き換える以外は同様であるので、相違点のみを中心に説明する。

本実施形態におけるカメラ１００の制御フローは、通常の撮影はステップＳ３４以下で行い、再生表示はステップＳ４１以下で行い、それ以外のモードとして、ステップＳ５１以下において仮想空間要求を行なっている。まず、ステップＳ３１において、サーバー３３より仮想空間の画像データを受信中か否かの判定を行なう。判定の結果、受信中ではない場合には、第１実施形態におけるステップＳ２と同様にスルー画表示を行なう（Ｓ３２）。

次に、第１実施形態におけるステップＳ４と同様に撮影か否かの判定を行なう（Ｓ３４）。判定の結果、撮影の場合には、ステップＳ５と同様に撮影を行う（Ｓ３５）。この後、図３で説明したような仮想空間への遷移条件を満たしているか否かを判定する等のために、位置情報や時間情報等の撮影条件の情報付加を行う（Ｓ３６）。撮影条件の付加が終わると、撮影画像の記録を行う（Ｓ３７）。この記録にあたっては、撮影画像に関連付けて撮影条件の付加情報も記録する。記録が終わると、フローの最初に戻る。

ステップＳ３４の判定の結果、撮影ではない場合には、次に再生か否かの判定を行なう（Ｓ４１）。判定の結果、再生の場合には、第１実施形態のステップＳ１２と同様に、再生動作を行う。再生動作が終わると、次にサーバー３３に記録通信を行なうか否かの判定を行なう（Ｓ４３）。すなわち、再生中の画像をサーバー３３に送信し公開したい場合は、記録通信の操作を行う（Ｓ４４）。送信された画像はサーバー３３の記録部３３ｄに格納され、公開される。

ステップＳ４１における判定の結果、再生ではなかった場合には、仮想空間への遷移についての所定条件を満たしているか判定を行なうか否かを判定する。この判定を行なうのは、ホットスポット等でサーバー３３と通信が可能となった場合である。所定条件を満たしているか判定する場合には、ステップＳ３６で求めた撮影条件をサーバー３３に送信し（Ｓ５２）、仮想画像送信を要求する（Ｓ５３）。サーバー３３は、撮影条件を判定し、満足していれば、カメラ１００の置かれている状態に相応しい仮想空間の画像を送信する。仮想空間要求を送信すると、最初のステップに戻る。なお、カメラ１００を強制的に仮想空間に遷移させるための仮想空間モードに設定した場合にも、ステップＳ５１をＹｅｓで抜けて、仮想空間要求を行なう。

ステップＳ３１に戻り、仮想空間の画像の受信の有無を判定し、受信がある場合には、仮想空間のバーチャル画像の表示を行う（Ｓ３３ａ）。この時、カメラ１００の撮像素子３の画像信号に基づき動き検出部５ｄによって、カメラの動きを検出し、サーバー３３に送信する(Ｓ３３ｂ)。サーバー３３は動きに応じて、仮想風景を移動させる。ユーザーは第１実施形態と同様に、気に入った情景があれば、ステップＳ３４以下において撮影動作を行い、その画像を記録する（Ｓ３７）。以上の動作によって、ユーザーは、いつのまにか仮想空間に紛れ込んだような感覚で、撮影を楽しめる。

次に、カメラ１００に仮想空間の画像を送信するサーバー３３の動作を、図７に示すフローチャートを用いて説明する。まず、カメラ１００から撮影画像が送信されてきたか否かの判定を行なう。これは、前述のステップＳ４４（図６）においてカメラ１００が行なった画像送信を、サーバー３３が受信するステップである。判定の結果、画像を入力した場合には、記録部３３ｄに画像記録を行う（Ｓ１０２）。ここで記録された画像は、多くの人に閲覧可能で、迅速な画像公開ができる。つまり、ＰＣや携帯電話からのアクセスがあれば、ステップＳ１２１でその信号を判定し、ステップＳ１２２で所定の暗証が一致した場合に、画像閲覧を可能とする（Ｓ１２３）。もちろん、多くの人に見てもらいたい場合、閲覧制限を行わなくてもよい。

ステップＳ１０１における判定の結果、画像入力ではない場合には、次に、仮想空間通信か否かの判定を行なう（Ｓ１１１）。すなわち、カメラ１００は仮想空間の画像要求をステップＳ５３にて行う際にステップＳ３６にて取得した撮影条件と共に撮影画像を送信してくる。

ステップＳ１１１における判定の結果、仮想空間通信の場合には、次に、撮影位置、時間変化が条件を満たすか否かの判定を行なう（Ｓ１１２）。ここでは、図３（ａ）、（ｂ）で説明したような、撮影画像の位置や時間の変化が所定の条件を満たした場合には、Ｙｅｓで抜けてステップＳ１１５に進む。一方、ステップＳ１１２の判定の結果が、Ｎｏであった場合には、図３（ｃ）で説明したような撮影画像が所定の変化をしているか否かの判定を行う。

ステップＳ１１３における判定の結果が、Ｎｏであった場合には、カメラ１００が所定モードに設定されているか否かの判定を行なう（Ｓ１１４）。すなわち、カメラ１００が仮想空間モードに設定されステップＳ５３で仮想空間要求がなされている場合や、撮影位置がアミューズメントパーク等の特定場所にある等、その他の条件を満たしているか否かの判定を行なう。判定の結果、所定モード設定となっていれば、ステップＳ１１５に進む。

ステップＳ１１５においては、現在仮想空間内にあるか否かの判定を行なう。すなわち、本実施形態においては、仮想空間にない場合に、所定の条件を満たせば、仮想空間に入り、一方、仮想空間にある場合に所定の条件を満たせば仮想空間から現実の世界に戻るように構成している。そこで、判定の結果、仮想空間にない場合はステップＳ１１５からステップＳ１１６に分岐して、カメラ１００から送信されてきた画像の条件に応じて、サーバー３３は、仮想空間の画像データの送信を行う。

この時、カメラ１００から送信されてきた画像の条件の中に、撮影位置情報が含まれている場合には、この撮影位置に応じた仮想空間の画像を送るようにしても良い。例えば、ディズニーランドのようなアミューズメントパークであれば、それに相応しい仮想空間とする。次に、ステップＳ３３ｂにおいて送信されてきたカメラ１００の動き信号を受信し、動き信号に応じた仮想空間の表示切替を行う（Ｓ１１７）。これによって、仮想空間を移動しての撮影ができる。

ステップＳ１１４の判定の結果、すでに仮想空間に入っている場合は、ステップＳ１１５からＳ１１８に分岐し、その仮想空間内で所定の条件の撮影がなされると、現実空間の撮影に切り替わる。例えば、図４（ｂ）に示すような扉３７に向って行って、そこを開けると、現実画像に戻るような方法であれば、自然な風景の遷移となる。

本発明の第２実施形態によれば、撮影条件の判定をカメラ１００ではなく、画像送信先のサーバー３３が行い、外部のデータベースを利用することができるので、より複雑な条件設定が可能となる。なお、本実施形態においては、仮想空間に遷移し、また仮想空間から現実世界に復帰するための所定条件については、サーバー３３において判定しているが、まず、カメラ１００の条件判定部１ｄにおいて、１次判定を行い、この１次判定を満足した場合に、サーバー３３で、より複雑な条件で判定するようにしてもよい。

以上、説明したように本発明の実施形態によれば、現実空間からさらに撮影領域を拡大したカメラを提供でき、カメラを使用、携帯する率が高まり、カメラを利用し易くなる。また、通常のカメラでは、撮影できないようなシーンでも、通常のカメラと同じ操作で撮影が可能なカメラが提供できる。

また、本実施形態によれば、仮想空間の画像を表示パネル８に表示中に、カメラ１００の動きを検出し、この検出された動きに応じて、仮想空間の画像を移動させている。このため、仮想空間でありながら、現実の世界のように楽しむことができる。なお、本実施形態においては、カメラ１００の動きは、撮像素子３からの画像信号に基づいて画像処理部５ｃの動き検出部５ｄが検出していたが、これに限らず、例えば、手振れ判定のセンサなどによって、カメラ１００の動きを検出するようにしても良い。

さらに、本実施形態によれば、カメラ１００内の条件判定部１ｄやサーバー３３の条件判定部３３ａにおいて、撮影条件や撮影画像に基づいて遷移のための所定の条件を満たしているか否かを判定し、仮想空間と現実世界の間を遷移するようにしている。このため、現実から仮想へ、仮想から現実へ自然なインターフェースで切り換えることができる。

なお、各実施形態の説明において、記録部９ａや記録メディア９に記録する画像は静止画像のデータであったが、これに限らず、動画を記録するようにしても良い。この場合には、レリーズスイッチ１ａが操作された時に動画像の記録を開始し、次に、レリーズスイッチ１ａが操作された時に動画像の記録を停止するようにすれば良い。

本発明の第１実施形態に係わるカメラとその周辺のブロック図である。 本発明の第１実施形態に係わる、カメラ、サーバーおよび仮想空間を提供するサーバーからなるシステムを示すブロック図である。 本発明の第１実施形態において、仮想空間に遷移するための所定条件を説明する図であり、（ａ）は撮影位置の変化より遷移する例を説明する図であり、（ｂ）は時間変化より遷移する例を説明する図であり、（ｃ）は撮影画像の変化より遷移する例を説明する図である。 本発明の第１実施形態において、カメラの表示パネルにおける仮想空間の画像の表示状態を示し、カメラの動きに応じて仮想空間の風景が変化することを説明する図である。 本発明の第１実施形態におけるカメラの制御の動作を示すフローチャートである。 本発明の第２実施形態におけるカメラの制御の動作を示すフローチャートである。 本発明の第２実施形態におけるサーバーの制御の動作を示すフローチャートである。

符号の説明

１・・・ＭＰＵ、１ａ・・・レリーズスイッチ、１ｂ・・・モード切替スイッチ、１ｃ・・・他のスイッチ、１ｄ・・・条件判定部、１ｔ・・・時計部、２・・・撮影レンズ、２ａ・・・ＡＦ(オートフォーカス)制御部、２ｂ・・・絞り、２ｃ・・・絞り制御部、３・・・撮像素子、４・・・アナログフロントエンド（ＡＦＥ）部、５・・・画像処理部、５ａ・・・形状判定部、５ｂ・・・リサイズ部、５ｃ・・・距離判定部、５ｄ・・・動き検出部、６・・・圧縮部、８・・・表示パネル、８ａ・・・表示制御部、８ｂ・・・マルチ画像処理部、９・・・記録メディア、９ａ・・・記録部、９ｃ・・・送受信部、９ｄ・・・受信設定部、９ｅ・・・送信設定部、１１・・・補助光発光部、２０・・・被写体、３１・・・他のユーザー、３２・・・通信回線、３３・・・サーバー、３３ａ・・・条件判定部、３３ｂ・・・送信部、３３ｃ・・・受信部、３３ｄ・・・記録部、３３ｆ・・・連携部、３４・・・サーバー、３４ａ ＣＧライブラリ、３５・・・送信画像、３６ ＣＧ画像データ、３７・・・扉、１００・・・カメラ

Claims (14)

1. 撮像素子の出力に基づく画像を表示手段に表示し、その画像を観察しながら撮影を行うと共に、撮影した複数の画像を送信可能なカメラにおいて、
   送信する各画像の撮影条件情報が、所定条件に合致した時に、外部より発信されてくる受信画像データを、上記表示手段に表示および撮影を可能とするカメラ。
2. 上記撮影条件情報は、撮影位置の変化、または時間情報であることを特徴とする請求項１に記載のカメラ。
3. 上記撮影条件情報は、撮影禁止領域の表示の撮影であることを特徴とする請求項１に記載のカメラ。
4. 上記受信画像は、上記撮像素子の出力の変化に従って変化することを特徴とする請求項１に記載のカメラ。
5. 撮影レンズを介して結像する被写体像を光電変換する撮像素子と、
   この撮像素子の出力に基づいて画像を表示する表示部と、
   上記撮像素子の出力に基づく画像データの取得を指示するレリーズ部と、
   このレリーズ部によって指示された上記画像データを記録する記録部と、
   外部からコンピュータグラフィックを入力する入力部と、
   この入力部によって入力されたコンピュータグラフィックを上記表示部に表示させ、上記レリーズ部の指示に従って上記コンピュータグラフィックを画像として記録する制御部と、
   を具備することを特徴とするカメラ。
6. 上記撮像素子の出力に基づいて撮影した画像に関する撮影条件が所定条件に合致したときに、上記コンピュータグラフィックを上記表示部に表示させることを特徴とする請求項５に記載のカメラ。
7. 上記所定条件は、撮影位置の変化もしくは時間情報の変化、または撮影画像の変化であることを特徴とする請求項６に記載のカメラ。
8. 外部機器に設けられた上記所定条件の判定部に、上記撮影条件を送信することを特徴とする請求項６に記載のカメラ。
9. カメラの動きを検出する動き検出部の出力に基づいて、上記コンピュータグラフィックの画像を移動させることを特徴とする請求項５に記載のカメラ。
10. 上記コンピュータグラフィックは仮想空間であることを特徴とする請求項５に記載のカメラ。
11. 上記画像は、上記レリーズ指示がなされた時の静止画像、または上記レリーズ指示がなされ時から次のレリーズ指示がなされるまでの間の動画像であることを特徴とする請求項５に記載のカメラ。
12. コンピュータグラフィックライブラリを有し、若しくはコンピュータグラフィックライブラリを有するサーバーと連携するサーバー装置において、
    外部のカメラから撮影条件を受信する受信部と、
    上記撮影条件に基づいて、コンピュータグラフィックを送信するか否かを判定する判定部と、
    上記撮影条件が所定条件を満たした場合に、上記コンピュータグラフィックを送信する送信部と、
    を具備することを特徴とするサーバー装置。
13. 上記判定条件は、撮影位置もしくは時間情報の変化、または撮影画像の変化であることを特徴とする請求項１２に記載のカメラ。
14. 撮影レンズを介して結像する被写体像を光電変換する撮像素子と、この撮像素子の出力に基づいて画像を表示する表示部と、上記撮像素子の出力に基づく画像データの取得を指示するレリーズ部と、このレリーズ部によって指示された上記画像データを記録する記録部を有するカメラにおいて、
    外部からコンピュータグラフィックを入力し、
    この入力されたコンピュータグラフィックを上記表示部に表示し、
    上記レリーズ部の指示に従って上記コンピュータグラフィックを画像として記録する、
    カメラにおける画像記録方法。