JP2007306353A - 動画の表示方法、動画表示システムおよび広角動画撮像装置 - Google Patents

動画の表示方法、動画表示システムおよび広角動画撮像装置 Download PDF

Info

Publication number
JP2007306353A
JP2007306353A JP2006133287A JP2006133287A JP2007306353A JP 2007306353 A JP2007306353 A JP 2007306353A JP 2006133287 A JP2006133287 A JP 2006133287A JP 2006133287 A JP2006133287 A JP 2006133287A JP 2007306353 A JP2007306353 A JP 2007306353A
Authority
JP
Japan
Prior art keywords
display
still image
imaging
angle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006133287A
Other languages
English (en)
Inventor
Tatsuro Ogawa
達朗 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Opt KK
Original Assignee
Opt KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Opt KK filed Critical Opt KK
Priority to JP2006133287A priority Critical patent/JP2007306353A/ja
Priority to US12/299,921 priority patent/US20090303351A1/en
Priority to PCT/JP2007/058806 priority patent/WO2007132646A1/ja
Priority to EP07742241A priority patent/EP2031864A4/en
Publication of JP2007306353A publication Critical patent/JP2007306353A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】所望の被写体または方向を特に意識して撮像しなくとも、所望の被写体または方向の動画を表示する。
【解決手段】本発明に係る動画の表示方法は、広角レンズ15を用いて撮像される静止画の一部を切出し、最初の表示画像の表示データを生成するステップST31と、広角レンズ15を用いて撮像される2つ目以降の静止画の切出しステップST36に先立って、前回切出した静止画の撮像タイミングからその切出し対象の静止画を撮像する撮像タイミングまでにおける撮像アングルの変化量を特定するステップST35と、特定された撮像アングルの変化量を相殺するように2つ目以降の静止画からの画像の切出し範囲をずらしてその静止画の一部を切出し、2つ目以降の表示画像の表示データを生成するステップST36と、を有するものである。
【選択図】図10

Description

本発明は、動画の表示方法、動画表示システムおよび広角動画撮像装置に関する。
特許文献1は、撮像手段によって撮影された動画像を動画データとして記録再生する動画記録再生装置を開示する。動画記録再生装置は、撮影時に、揺れ検出回路が動画像撮影時の装置本体の揺れ度合いを検出し、この検出された揺れ度合いを動画データとともに補助記録装置に記録する。動画記録再生装置は、再生時には、記録された揺れ度合いおよび動画データを読み出し、揺れ度合いを所定値と比較する。動画記録再生装置は、比較の結果、揺れ度合いが所定値を超えているとき、前記読み出された動画データに基づく動画像表示を停止させる。
特開2005−348178号公報(要約、特許請求の範囲、発明の詳細な説明など)
特許文献1の動画記録再生装置などの動画撮像装置により動画を撮像する場合、撮像者は、動画撮像装置を所定のアングルに構えて撮像する。また、撮像者は、撮像期間中、動画撮像装置を所定のアングルに維持するように構え続けなければならない。撮像者は、撮像している間は、常に、動画撮像装置を所定のアングルに維持するようにたとえば手に持ち続けなければならない。この作業は多大な負荷を撮像者に与える。
この負荷を避けるため、撮影者は、三脚を使用するようになる。三脚に動画撮像装置を固定し、三脚上で動画撮像装置を回転させるようになる。しかしながら、三脚を使用すると、撮影基材が増えるばかりでなく、撮影者は、固定的な撮像場所を確保する必要がある。また、撮影者は、自らが移動しながら撮影するときには、三脚に固定して撮像することができない。
本発明は、所望の被写体または方向を特に意識して撮像しなくとも、所望の被写体または方向の動画を表示することができる動画の表示方法、動画表示システムおよび広角動画撮像装置を得ることを目的とする。
本発明に係る動画の表示方法は、広角レンズを用いて撮像される静止画の一部を切出し、最初の表示画像の表示データを生成するステップと、広角レンズを用いて撮像される2つ目以降の静止画の切出しに先立って、前回切出した静止画の撮像タイミングからその切出し対象の静止画を撮像する撮像タイミングまでにおける撮像アングルの変化量を特定するステップと、特定された撮像アングルの変化量を相殺するように2つ目以降の静止画からの画像の切出し範囲をずらしてその静止画の一部を切出し、2つ目以降の表示画像の表示データを生成するステップと、を有するものである。
この方法を採用すれば、所望の方向を特に意識して撮像しなくとも、最初の切出し画像を基準とした所望の方向の動画を表示することができる。
本発明に係る他の動画の表示方法は、広角レンズを用いて撮像される静止画の一部を切出し、所望の被写体が写る最初の表示画像の表示データを生成するステップと、広角レンズを用いて撮像される2つ目以降の静止画の切出しに先立って、前回切出した静止画の撮像タイミングからその切出し対象の静止画を撮像する撮像タイミングまでにおける撮像アングルの変化量と、前回切出した静止画の撮像位置とその切出し対象の静止画の撮像位置との被写体に対する相対アングルの変化量とを特定するステップと、特定された撮像アングルの変化量および相対アングルの変化量を相殺するように2つ目以降の静止画からの画像の切出し範囲をずらしてその静止画の一部を切出し、2つ目以降の表示画像の表示データを生成するステップと、を有するものである。
この方法を採用すれば、所望の被写体を特に意識して撮像しなくとも、所定の被写体を連続的に表示する動画を表示することができる。
本発明に係る動画表示システムは、広角レンズを用いて連続的に撮像される各静止画のデータに、それぞれの撮像アングルあるいはその変化量を示すアングル情報が付加された複数の保存静止画データを記憶する記憶手段と、記憶手段に記憶される保存静止画データの画像の一部を撮像順にしたがって切出し、複数の表示画像の表示データを生成する切出表示画像生成手段と、切出表示画像生成手段により生成される複数の表示データによる複数の表示画像を順番に表示する表示手段と、を有する。そして、切出表示画像生成手段は、2つ目以降の画像の切出しにおいて、その切出し対象の保存静止画データあるいはその前に切出した保存静止画データに付加された撮像アングルあるいはその変化量を示すアングル情報に基づいて特定される、その切出し対象の静止画と前回切出した静止画との撮像アングルの変化量を相殺するように、画像の切出し範囲をずらして画像の一部を切出す。
この構成を採用すれば、所望の方向を特に意識して撮像しなくとも、最初の切出し画像を基準とした所望の方向の動画を表示することができる。
本発明に係る他の動画表示システムは、広角レンズを用いて連続的に撮像される各静止画のデータに、それぞれの撮像アングルあるいはその変化量を示すアングル情報と、それぞれの撮像位置あるいはその変化量を示す撮像位置情報とが付加された複数の保存静止画データを記憶する記憶手段と、記憶手段に記憶される保存静止画データの画像の一部を撮像順にしたがって切出し、所定の被写体が写る複数の表示画像の表示データを生成する切出表示画像生成手段と、切出表示画像生成手段により生成される複数の表示データによる複数の表示画像を順番に表示する表示手段と、を有する。そして、切出表示画像生成手段は、2つ目以降の画像の切出しにおいて、その切出し対象の保存静止画データあるいはその前に切出した保存静止画データに付加された撮像アングルあるいはその変化量を示すアングル情報に基づいて特定される、前回切出した静止画とその切出し対象の静止画との撮像アングルの変化量と、その切出し対象の保存静止画データあるいはその前に切出した保存静止画データに付加された撮像位置あるいはその変化量を示す撮像位置情報に基づいて特定される、前回切出した静止画の撮像位置とその切出し対象の静止画の撮像位置との被写体に対する相対アングルの変化量とを相殺するように、画像の切出し範囲をずらして画像の一部を切出す。
この構成を採用すれば、所望の被写体を特に意識して撮像しなくとも、所定の被写体を連続的に表示する動画を表示することができる。
本発明に係る他の動画表示システムは、上述した発明の構成に加えて、記憶手段に記憶される複数の保存静止画データの撮像位置をマッピングした画面を表示手段に表示させる撮像経路表示指示手段と、表示手段に表示される複数の撮像位置をマッピングした画面中の位置の特定に基づいて、被写体の位置を特定する被写体位置特定手段と、を有する。そして、切出表示画像生成手段は、被写体位置特定手段により特定された被写体の位置を用いて、被写体に対する相対アングルの変化量を特定する。
この構成を採用すれば、マッピング表示される撮像経路に対する被写体の相対的な位置を特定することで、容易に、被写体の位置を特定し、被写体に対する相対アングルの変化量を特定することかできる。
本発明に係る他の動画表示システムは、上述した発明の構成に加えて、記憶手段に記憶される複数の保存静止画データの撮像位置を地図上にマッピングした画面を表示手段に表示させる撮像経路表示指示手段と、表示手段に表示される地図中の位置の特定に基づいて、被写体の位置を特定する被写体位置特定手段と、を有する。そして、切出表示画像生成手段は、被写体位置特定手段により特定された被写体の位置を用いて、被写体に対する相対アングルの変化量を特定する。
この構成を採用すれば、撮像経路がマッピングされた地図上で被写体の地図中の位置を特定することで、容易に、被写体の位置を特定し、被写体に対する相対アングルの変化量を特定することかできる。
本発明に係る広角動画撮像装置は、広角レンズと、この広角レンズにより撮像された円形画像を含む四角形の画像の撮像静止画データを生成する撮像手段と、撮像手段により撮像された撮像静止画データあるいはそれを圧縮した圧縮静止画データに、撮像アングルあるいはその変化量を示すアングル情報を付加して保存静止画データを生成する付加手段と、付加手段により生成される複数の保存静止画データを蓄積記憶する記憶手段と、を有するものである。
この構成を採用すれば、広角動画撮像装置により所望の方向を特に意識して撮像しなくとも、広角動画撮像装置に撮像された広角レンズによる動画から、最初の切出し画像を基準とした所望の方向の動画を得ることができる。
本発明に係る広角動画撮像装置は、上述した発明の構成に加えて、自身の姿勢変化を検出する姿勢変化検出手段を有する。そして、付加手段は、姿勢変化検出手段により検出された自身の姿勢の変化量を、アングル情報として付加する。
この構成を採用すれば、アングル情報を生成して付加することができる。
本発明に係る他の広角動画撮像装置は、広角レンズと、この広角レンズにより撮像された円形画像を含む四角形の画像の撮像静止画データを生成する撮像手段と、撮像手段により撮像された撮像静止画データあるいはそれを圧縮した圧縮静止画データに、撮像アングルあるいはその変化量を示すアングル情報と、撮像位置あるいはその変化量を示す撮像位置情報を付加して保存静止画データを生成する付加手段と、付加手段により生成される複数の保存静止画データを蓄積記憶する記憶手段と、を有するものである。
この構成を採用すれば、広角動画撮像装置により所望の被写体を特に意識して撮像しなくとも、広角動画撮像装置に撮像された広角レンズによる動画から、所定の被写体を連続的に表示する動画を得ることができる。
本発明に係る他の広角動画撮像装置は、上述した発明の構成に加えて、自身の姿勢変化を検出する姿勢変化検出手段と、自身の位置を検出する位置検出手段と、を有する。そして、付加手段は、姿勢変化検出手段により検出された自身の姿勢の変化量と、位置検出手段により検出された自身の位置とを、アングル情報および撮像位置情報として付加する。
この構成を採用すれば、アングル情報および撮像位置情報を生成して付加することができる。
本発明に係る他の広角動画撮像装置は、上述した発明の各構成に加えて、位置検出手段が、衛星電波、携帯電話用基地局の電波、放送電波、無線通信電波などの電波を受信し、地上における絶対的な位置情報による位置を検出するものである。
この構成を採用すれば、動画を構成する各静止画の撮像位置情報を撮像経路としてマッピング表示し、それに対する被写体の相対的な位置を特定したり、撮像経路とともに表示される地図上で被写体の地図中の位置を特定したりすることで、容易に、被写体の位置を特定し、被写体に対する相対アングルの変化量を特定することかできる。
本発明では、所望の被写体または方向を特に意識して撮像しなくとも、所望の被写体または方向の動画を表示することができる。
以下、本発明の実施の形態に係る動画の表示方法、動画表示システム、および広角動画撮像装置を、図面に基づいて説明する。広角動画撮像装置は、超小型広角カメラ装置を例として説明する。動画表示システムは、超小型広角カメラ装置とパーソナルコンピュータとをUSBケーブルにより接続したものを例として説明する。動画の表示方法は、この動画表示システムの動作の一部として説明する。
実施の形態1.
図1は、本発明の実施の形態1に係る超小型広角カメラ装置1を示す斜視図である。
超小型広角カメラ装置1は、本体ユニット7と、本体ユニット7と信号線9で接続されるカメラユニット8と、を有する。超小型広角カメラ装置1は、ポケットに入れて気軽に携帯することができる。なお、カメラユニット8は、無線通信により本体ユニット7と接続されていても、本体ユニット7の一部に組み込まれていてもよい。
本体ユニット7は、携帯音楽再生装置と同程度の大きさの略長方形の板形状を有する。携帯音楽再生装置は、HDD(ハードディスクドライブ)や半導体メモリなどをコンテンツデータの記録に使用する。
本体ユニット7には、表示データによる表示画像を表示するLCD(液晶表示デバイス)11、入力データを生成する入力デバイス12(図2参照)複数の操作キー13、通信データを伝送するUSB(Universal Serial Connector)ケーブル3が接続されるUSBコネクタ14などが露出して配設される。図1の本体ユニット7は、図1の上側となる上面に、LCD11および複数の操作キー13が並べて配設される。また、図1の右下側となる側面に、USBコネクタ14が配設される。USBコネクタ14は、USBケーブルが接続可能である。USBケーブルは、電源用の配線と、信号用の配線とを有する。USBコネクタ14としては、たとえばミニBタイプのものが小型であり好ましい。
カメラユニット8は、たとえば略立方体形状のハウジングを有する。カメラユニット8は、図1の上側となる上面に、広角レンズとしての魚眼レンズ15が露出して配設される。また、魚眼レンズ15の露出位置の隣には、マイク19(図2参照)用の通気孔16が形成される。この魚眼レンズ15は、通常の魚眼レンズ15と比べて突出量が少なく、平面的な被写体対向面を有するものとなっている。
図2は、図1の超小型広角カメラ装置1に内蔵されるハードウェアの構成を示す回路図である。超小型広角カメラ装置1は、撮像手段としてのCMOS(Complementary Metal Oxide Semiconductor)撮像デバイス17を有する。図3は、図1の超小型広角カメラ装置1の光学系の構成を示す説明図である。CMOS撮像デバイス17は、アスペクト比が4:3(横:縦)である受光面18を有する。なお、受光面18の縦横のアスペクト比は、9:4などであってもよい。CMOS撮像デバイス17の受光面18には、静止画を構成する複数の画素に対応する、図示外の複数の受光素子が縦横に並べて配設される。受光面18には、たとえば300万画素分の複数の受光素子が配設される。
図3は、図1の超小型広角カメラ装置1の光学系の構成を示す説明図である。図3に示すように、CMOS撮像デバイス17は、その受光面18の略垂直方向に魚眼レンズ15が位置する姿勢で配設される。魚眼レンズ15は、180度以上(約200度)の広い視野角を有する。CMOS撮像デバイス17の受光面18には、魚眼レンズ15により集光された被写体光による像が結像する。
図4は、CMOS撮像デバイス17の受光面18に結像する像の一例を示す説明図である。図4に示すように、魚眼レンズ15により集光される光は、受光面18の中央部分に投射される。受光面18の中央部分には、この光により、円形の輪郭を有する円形画像が結像する。円形画像は、魚眼レンズ15を通過する被写体の映像である。円形画像の外周部分の画像は、中央部分の画像に比べて歪んでいる。
なお、受光面18のこの円形画像の範囲外となる周縁部(図4において斜線を付した部分)には、カメラユニット8から漏れた光や回折などにより回り込んだ光などにより若干の濃淡が生じる。周縁部の受光光量は、0とはならず、周縁部の画素は、均一な黒色とはならない。
CMOS撮像デバイス17は、周期的に、この受光面18に配列される複数の受光素子の受光光量を読込み、受光面18と同じ縦横比の四角形の画像の輝度分布データを生成する。この四角形の画像の輝度分布データは、円形画像による輝度分布データを有する。
なお、CMOS撮像デバイス17に替えて、CCD(Charge Coupled Device)を使用してもよい。但し、CMOS撮像デバイス17では、受光面18に配列される複数の受光素子の受光光量を、一列毎に読み込むことができる。これに対して、CCDでは、受光素子毎に、受光光量を読み込む。そのため、CCDは、CMOS撮像デバイス17に比べて、受光を開始してから1つの輝度分布データを生成し終えるまでに時間がかかる傾向にある。受光素子の素子数が大きくなった場合、動画を撮像するために所定の撮像間隔により輝度分布データを繰り返し生成するためには、CMOS撮像デバイス17が有利である。
超小型広角カメラ装置1は、これらのLCD11、複数の操作キー13を有する入力デバイス12、USBコネクタ14、魚眼レンズ15、CMOS撮像デバイス17の他にも、マイク19、ADコンバータ20、位置検出手段としてのGPS(Global Positioning System)受信機21、姿勢変化検出手段としてのジャイロセンサ22、各種のデータを記憶する記憶手段としてのHDD23、マイクロコンピュータ24などを有する。超小型広角カメラ装置1は、これらの制御回路25へ給電するために、バッテリ26と、電源回路27とを有する。なお、これらの回路構成要素の中、たとえば魚眼レンズ15、CMOS撮像デバイス17、マイク19、ジャイロセンサ22などがカメラユニット8に配設され、且つ、その他の回路構成要素が本体ユニット7に配設されればよい。
マイク19は、超小型広角カメラ装置1の周囲の音を拾う。マイク19は、音声などの音信号を生成する。音信号の波形は、マイク19が拾う音に応じて変化する。ADコンバータ20は、音信号をサンプリングし、音データ55(図5参照)を生成する。
GPS受信機21は、地球の衛星軌道に打ち上げられたGPS衛星からの電波を受信する。このGPS衛星からの電波には、電波の発信時刻や、衛星の位置情報などが含まれる。GPS受信機21は、複数のGPS衛星からの電波を受信し、周期的に、GPS受信機21の位置データ52(図5参照)を生成する。GPS受信機21は、超小型広角カメラ装置1に設けられている。したがって、GPS受信機21の位置データ52は、超小型広角カメラ装置1の位置データ52となる。
ジャイロセンサ22は、カメラユニット8に配設される。ジャイロセンサ22は、カメラユニット8が回転したり移動したりするとき、その回転や移動による姿勢変化の加速度を検出する。ジャイロセンサ22は、たとえば図3の紙面の上下方向における加速度と、図3の紙面と垂直な方向における加速度とを検出すればよい。つまり、ジャイロセンサ22は、受光面18の、受光面18に垂直な2方向への移動の加速度を検出すればよい。ジャイロセンサ22は、周期的に、検出した加速度の値を有する加速度データ53(図5参照)を生成する。
バッテリ26は、電気を蓄電する。電源回路27は、バッテリ26あるいはUSBケーブル3の電源用の配線から供給される電力を、超小型広角カメラ装置1の各構成要素へ直流電圧により供給する。
マイクロコンピュータ24は、I/O(入出力)ポート31、タイマ32、CPU(中央処理装置)33、RAM(ランダムアクセスメモリ)34、EEPROM(Electronically Erasable and Programmable Read Only Memory)35、およびこれらを接続するシステムバス36などを有する。
なお、この実施の形態1の超小型広角カメラ装置1は、1つのマイクロコンピュータを有する。この他にもたとえば、超小型広角カメラ装置1は、複数のマイクロコンピュータを有するものであってもよい。超小型広角カメラ装置1は、具体的にはたとえば、色変換を実行するカスタムIC(Integrated Circuit)、表示静止画データを生成するDSP(Digital Signal Processor)、およびそれ以外の処理を実行するASIC(Application Specific IC)などの複数のマイクロコンピュータを有するものであってもよい。
マイクロコンピュータ24のI/Oポート31には、CMOS撮像デバイス17、ADコンバータ20、LCD11、入力デバイス12、USBコネクタ14、GPS受信機21、ジャイロセンサ22、HDD23などの周辺デバイスが接続される。I/Oポート31は、システムバス36を介してCPU33などから供給されるデータを周辺デバイスへ供給したり、周辺デバイスから供給されるデータを、システムバス36を介してCPU33などへ供給したりする。
タイマ32は、時間を計測する。なお、タイマ32が計測する時間には、たとえば時刻などの絶対的な時間や、所定のタイミングからの経過時間などがある。
EEPROM35は、超小型広角カメラ装置1を制御する制御プログラム37を記憶する。CPUは、EEPROM35に記憶される制御プログラム37をRAM34に読み込んで実行する。これにより、マイクロコンピュータ24には、撮像時には、図5に示すように、色変換処理部41、カメラ保存処理部42、付加手段としてのJPEGエンジン43、切出表示画像生成手段としての表示画像生成部44などが実現される。図5は、図1の超小型広角カメラ装置1に撮像時に実現される機能を示すブロック図である。また、後述する動画表示時には、マイクロコンピュータには、図8に示すように、JPEGエンジン43、表示画像生成部44、デバイス通信部45などが実現される。
色変換処理部41は、輝度分布データから、撮像静止画データ51を生成する。色変換処理部41は、輝度分布データの画像の中の所定の円形範囲内の画素の輝度データを、それに対応する色データへ変換し、その所定の円形範囲外の画素に、所定の単色(たとえば黒色)の色データを割り付ける。なお、所定の円形範囲は、輝度分布データの画像中の円形画像の範囲と一致していても、その円形画像より若干大きかったり、小さかったりしていてもよい。
JPEGエンジン43は、撮像静止画データ51をJPEG方式で圧縮し、圧縮静止画データを生成する。JPEG方式では、たとえば、まず、圧縮対象の画像を、所定の画素数(たとえば×画素)毎のブロック単位で離散コサイン変換(DCT)処理および量子化処理することで、画像のブロック単位での空間周波数成分を得る。画像のブロック単位での空間周波数成分は、ブロック単位の直流成分と、ブロック単位の複数の交流成分とで構成される。次に、JPEG方式では、画像の周波数成分毎のエントロピー符号化処理をして、画像のデータ量を減らす。なお、エントロピー符号化処理において、画像の直流成分は、ハフマン符号化などの予測符号化により符号化し、画像の各交流成分は、算術符号化などのランレングス符号化により符号化する。また、JPEGエンジン43は、圧縮静止画データに、ヘッダデータを付加し、JPEGデータ54を生成する。
なお、JPEGエンジン43は、以上の圧縮処理を逆順に実行し、伸長処理をすることもできる。JPEGエンジン43が以上の圧縮処理を逆順に実行すると、JPEG方式で圧縮された圧縮静止画データ(JPEGデータ54)から、撮像静止画データ51あるいは撮像静止画データ51と略同画質の伸長静止画データを得ることができる。
カメラ保存処理部42は、色変換処理部41により生成される撮像静止画データ51、JPEGエンジン43により生成される圧縮静止画データ(JPEGデータ54)、伸長静止画データなどを、HDD23に保存する。
表示画像生成部44は、HDD23などから、圧縮されていない静止画データ(たとえば撮像静止画データ51、伸長静止画データなど)を取得し、その取得した静止画データからLCD11などの表示デバイスに表示するための表示静止画データを生成する。表示画像生成部44は、たとえば各種のピクセル数(画素数)の静止画データから、表示静止画データを表示させる表示デバイスの解像度の画像の表示静止画データを生成する。なお、表示画像生成部44は、たとえば各種のピクセル数(画素数)の静止画データから、表示デバイスの一部に表示する表示静止画データなどを生成することができるものであってもよい。
図6は、表示画像生成部44が生成する表示静止画データにより、表示デバイスが表示する表示画面の例を示す図である。図6(A)は、超小型広角カメラ装置1が撮像する撮像静止画データ51の画像を表示する広角画面の例である。図6(B)は、図6(A)中の中央の実線枠の範囲内を切出した後、その切出した画像を拡大処理した切出し画面の例である。以下において、図6(A)中の実線枠を切出しリング61とよぶ。図6(C)は、図6(B)の切出し画面と同じ切出し画像の左上隅に、画素を間引くことで縮小した広角画面を割り付けた二重画面の例である。表示画像生成部44は、これらの画面に表示する表示静止画データを生成する。
図7は、図1の超小型広角カメラ装置1による撮像動作の流れを示すフローチャートである。超小型広角カメラ装置1を用いて撮像するとき、超小型広角カメラ装置1のカメラユニット8は、自動車のダッシュボードの上に前向きに設置される。本体ユニット7は、自動車のグローボックス内に収納される。この他にもたとえば、カメラユニット8を人の額に前向きに装着し、本体ユニット7を、胸ポケットやベルトに装着するようにしてもよい。
本体ユニット7の操作キー13が操作されて、入力デバイス12が録画開始の入力データを生成すると、色変換処理部41、カメラ保存処理部42、JPEGエンジン43、表示画像生成部44などは、それぞれの動作を開始する。
色変換処理部41は、CMOS撮像デバイス17から輝度分布データを取得する(ステップST1)。色変換処理部41は、取得した輝度分布データの画像の中の所定の円形範囲内の画素の輝度データをそれに対応する色データへ変換し、その所定の円形範囲外の画素に所定の単色の色データを割り付け、撮像静止画データ51を生成する(ステップST2)。色変換処理部41は、生成した撮像静止画データ51をカメラ保存処理部42へ供給する。
カメラ保存処理部42には、この撮像静止画データ51のほかにも、ADコンバータ20からの音データ55、GPS受信機21からの位置データ52、ジャイロセンサ22からの加速度データ53が供給される。カメラ保存処理部42は、供給されるこれらのデータを、生データとしてHDD23に保存する(ステップST3)。
HDD23に新たな撮像静止画データ51が保存されると、たとえばカメラ保存処理部42からの通知に基づいて、JPEGエンジン43は、HDD23に新たに保存された撮像静止画データ51の圧縮処理を開始する。JPEGエンジン43は、撮像静止画データ51をJPEG方式で圧縮し、JPEGデータ54を生成する(ステップST4)。
また、JPEGエンジン43は、HDD23に保存されている加速度データ53を積分し、1つ前の撮像静止画データ51の撮像タイミングからこの撮像静止画データ51の撮像タイミングまでの期間における受光面18の、受光面18に垂直な2方向への移動量を演算する。JPEGエンジン43は、生成した2方向への移動量による変位データを、JPEGデータ54にヘッダデータとして付加する。また、JPEGエンジン43は、HDD23に保存されている最新の位置データ52を、JPEGデータ54にヘッダデータとして付加する。JPEGエンジン43は、最新の位置データ52と変位データとが付加されたJPEGデータ54を、HDD23に保存する(ステップST5)。
CMOS撮像デバイス17は、所定の撮像周期で輝度分布データを生成する。超小型広角カメラ装置1は、輝度分布データが生成される度に、図7の撮像動作を実行する。これにより、超小型広角カメラ装置1のHDD23には、CMOS撮像デバイス17により生成された輝度分布データに基づくJPEGデータ54が蓄積する。超小型広角カメラ装置1のHDD23には、複数のJPEGデータ54で構成される蓄積動画データ56が生成される。HDD23の蓄積動画データ56は、JPEGエンジン43が新しいJPEGデータ54を生成する度にそのデータが追加されることで更新される。また、HDD23には、音データ55が蓄積されることで、蓄積音データ57が生成される。
また、図7の処理とは別に、撮像時に、表示画像生成部44は、HDD23などから撮像静止画データ51を取得する。表示画像生成部44は、取得した静止画データから、超小型広角カメラ装置1のLCD11に表示するための表示静止画データを生成する。表示画像生成部44は、たとえば静止画の解像度を変換し、円形画像の全体を表示する広角画面を、超小型広角カメラ装置1のLCD11に表示するための表示静止画データを生成する。表示画像生成部44は、生成した表示静止画データを、超小型広角カメラ装置1のLCD11へ供給する。超小型広角カメラ装置1のLCD11は、供給された表示静止画データの画像を表示する。これにより、超小型広角カメラ装置1の使用者は、カメラユニット8の動画撮像開始時などにおける撮像アングルが、所定のアングルとなっているか否かを確認することができる。
以上の撮像動作により、図5に示すように、超小型広角カメラ装置1のHDD23には、撮像静止画データ51などの生データ、複数のJPEGデータ54からなる蓄積動画データ56、複数の音データ55からなる蓄積音データ57などが保存される。
図8は、本発明の実施の形態1に係る動画表示システム4を示すブロック図である。動画表示システム4は、図1の超小型広角カメラ装置1と、パーソナルコンピュータ2と、を有する。動画表示システム4において、超小型広角カメラ装置1と、パーソナルコンピュータ2とは、USBケーブル3により接続されている。
USBケーブル3によりパーソナルコンピュータ2に接続されると、超小型広角カメラ装置1は動画表示モードとなり、超小型広角カメラ装置1には、JPEGエンジン43、表示画像生成部44、デバイス通信部45などが実現される。JPEGエンジン43および表示画像生成部44は、図5の撮像時におけるものと同じである。
デバイス通信部45は、USBコネクタ14を用いて、USB規格に基づくデータ通信を実行する。デバイス通信部45は、パーソナルコンピュータ2の後述するホスト通信部81との間で通信データを送受する。デバイス通信部45は、たとえばSIC(スティルイメージクラス)やMSC(マスストレージクラス)などのクラス処理部46を有する。クラス処理部46は、クラスに応じたエンドポイントなどの各種の通信バッファを有する。クラス処理部46は、デバイス通信部45により通信バッファに通信データが記録されると、その通信データをホスト通信部81へ送信する。また、クラス処理部46は、ホスト通信部81から通信データを受信すると、受信した通信データを通信バッファに保存し、デバイス通信部45に通知する。
パーソナルコンピュータ2は、キーボードやポインティングデバイスなどの入力デバイス71、表示手段としての大型のLCD72、USBコネクタ73、HDD74、マイクロコンピュータ75などを有する。これら入力デバイス71、大型のLCD72、USBコネクタ73、HDD74などの周辺デバイスは、マイクロコンピュータ75の図示外のI/Oポートに接続される。マイクロコンピュータ75の図示外のCPUは、HDD74に記憶される図示外のクライアントプログラムを図示外のRAMに読み込んで実行する。これにより、マイクロコンピュータ75には、図8に示すように、ホスト通信部81、PC表示制御部82、PC保存処理部83などが実現される。また、USBコネクタ73の電源用の配線には、給電回路76が接続される。給電回路76は、USBケーブル3を通じて、超小型広角カメラ装置1の電源回路27へ給電する。
ホスト通信部81は、USBコネクタ73を用いて、デバイス通信部45との間で通信データを送受する。ホスト通信部81は、たとえばSICやMSCなどのクラス処理部84を有する。
PC保存処理部83は、ホスト通信部81が受信する表示静止画データなどの各種の通信データを、受信データ91としてパーソナルコンピュータ2のHDD74へ保存する。
PC表示制御部82は、パーソナルコンピュータ2のHDD74に記憶される表示静止画データを、大型のLCD72へ供給する。これにより、パーソナルコンピュータ2のLCD72には、表示静止画データによる画像が表示される。
なお、超小型広角カメラ装置1のマイクロコンピュータ24のEEPROM35に記憶される制御プログラム37や、パーソナルコンピュータ2のHDD74に記憶される図示外のクライアントプログラムは、これらの装置の出荷前にこれらの記憶デバイスとなるEEPROM35やHDDD74に記憶されているものであっても、出荷後にインストールされてこれらの記憶デバイス35,74に記憶されているものであってもよい。出荷後にインストールするプログラムやデータは、たとえば図示外のCD−ROMなどのコンピュータ読取可能な記録媒体に記憶されていたものであっても、図示外のインターネットなどの通信媒体を介して取得したものであってもよい。
また、制御プログラム37やクライアントプログラムの一部が、出荷後にこれらの記憶デバイスとなるEEPROM35やHDDD74にインストールされていてもよい。パーソナルコンピュータ2のHDD74に記憶されるクライアントプログラムは、オペレーティングシステムプログラムと、アプリケーションプログラムとの組合せなどとして記憶されていてもよい。さらに、クライアントプログラムは、オペレーティングシステムプログラムと、ブラウザ(閲覧)プログラムと、そのブラウザプログラムの一部として動作するプラグインプログラムとの組合せなどとして記憶されていてもよい。そして、たとえばブラウザプログラムやプラグインプログラムなどは、パーソナルコンピュータ2の出荷後に、オペレーティングシステムプログラムとともにパーソナルコンピュータ2においてクライアントプログラムを構成するためにインストールされてもよい。
次に、以上の構成を有する動画表示システム4の動作を説明する。
図9は、図8の動画表示システム4における再生による表示動作の流れを示すフローチャートである。図10は、再生による表示動作において、超小型広角カメラ装置1の表示画像生成部44が実行する処理の流れを示すフローチャートである。
超小型広角カメラ装置1がUSBケーブル3によりパーソナルコンピュータ2に接続されると、超小型広角カメラ装置1のJPEGエンジン43は、HDD23に記憶される蓄積動画データ56の最初のJPEGデータ54を読み込む。JPEGエンジン43は、読み込んだJPEGデータ54を伸長し、伸長静止画データを生成する。伸長静止画データは、撮像静止画データ51と同様に、画像の画素毎の、複数の画素データで構成されるデータである。JPEGエンジン43は、生成した伸長静止画データをHDD23などに保存する。
JPEGエンジン43により最初の伸長静止画データが生成されると、超小型広角カメラ装置1の表示画像生成部44は、図10に示すように、最初の表示静止画データの生成処理を開始する(ステップST31)。表示画像生成部44は、その最初の伸長静止画データをHDD23などから読込み、その読み込んだ静止画データから表示デバイスに表示するための表示静止画データを生成する。表示画像生成部44は、図6(A)の広角画面に表示する表示静止画データを生成する(図9のステップST11)。表示画像生成部44は、生成した広角画面に表示する表示静止画データを、デバイス通信部45へ供給する。
超小型広角カメラ装置1のデバイス通信部45は、表示静止画データが供給されると、それをパーソナルコンピュータ2のホスト通信部81へ送信する(図9のステップST12)。デバイス通信部45は、具体的には、そのクラス処理部46により生成される通信バッファに表示静止画データを格納し、ホスト通信部81へ送信する。表示静止画データは、デバイス通信部45の通信バッファから、デバイス通信部45のUSBコネクタ14、USBケーブル3、ホスト通信部81のUSBコネクタ73を介して、ホスト通信部81の通信バッファへ送信される。ホスト通信部81は、その通信バッファに受信した表示静止画データを、PC保存処理部83へ供給する。以上の処理により、表示画像生成部44が生成した広角画面に表示する表示静止画データは、パーソナルコンピュータ2のPC保存処理部83へ送信される。
パーソナルコンピュータ2のPC保存処理部83は、表示画像生成部44から受信した表示静止画データを、受信データ91としてパーソナルコンピュータ2のHDD74に保存する。これにより、パーソナルコンピュータ2のHDD74には、蓄積動画データ56の最初のJPEGデータ54に基づく表示静止画データが保存される。
パーソナルコンピュータ2のHDD74に受信データ91として表示静止画データが保存されると、PC表示制御部82は、パーソナルコンピュータ2のHDD74から表示静止画データを読込み、パーソナルコンピュータ2の大型のLCD72へ表示データとして供給する。これにより、パーソナルコンピュータ2の大型のLCD72には、PC表示制御部82が生成した表示指定コマンドに応じた画像が表示される。パーソナルコンピュータ2の大型のLCD72には、図6(A)に示されるような円形画像の周囲が黒色に塗りつぶされた広角画面が表示される。
表示画像生成部44は、この再生による表示動作において、図10に示す処理を繰り返し実行する。表示画像生成部44は、最初の広角画面の表示静止画データを生成した(ステップST31)後、表示切替のための表示指定コマンドの受信(ステップST32)と、動画表示周期の経過待ち状態(ステップST33)となる。
その一方で、パーソナルコンピュータ2のPC表示制御部82は、動画表示システム4のユーザによる操作により入力デバイス71が生成する入力データに基づいて、広角画面において切出しリング61の位置やサイズを調整する。ユーザは、たとえば図6(A)に示すように、切出しリング61を広角画面の中央に設定する。PC表示制御部82は、入力デバイス71からの入力データに基づいて、この切出しリング61内の画像を切出して動画表示する表示指定コマンドを生成する(図9のステップST13)。
PC表示制御部82は、生成した表示指定コマンドを、ホスト通信部81へ供給する。ホスト通信部81は、供給された表示指定コマンドを、パーソナルコンピュータ2のUSBコネクタ73、USBケーブル3、超小型広角カメラ装置1のUSBコネクタ14を介して、デバイス通信部45へ送信する(図9のステップST14)。
デバイス通信部45は、受信した表示指定コマンドを、表示画像生成部44へ供給する。広角画面の中央の画像を切出して動画表示する表示指定コマンドが供給されると、表示画像生成部44は、図10のステップST32において表示切替の指示があったと判断し、現在表示しているJPEGデータ54から、このコマンドによる切替指示にしたがった新たな表示静止画データを生成する(ステップ34、図9のステップST15)。
具体的には、表示画像生成部44は、HDD23などから伸長静止画データを読込み、読み込んだ伸長静止画データの画像の、切出しリング61の位置およびサイズに応じた範囲を切出し、切出し画像の輪郭が所定のアスペクト比および解像度の四角形の画像となるように画像の外形補正処理や歪み補正処理(たとえば歪曲収差の補正処理)など実行し、切出し画面の表示静止画データを生成する。表示画像生成部44は、パーソナルコンピュータ2の大型のLCD72に表示する所定のサイズに合うように切出した画像のサイズに応じた拡大倍率で拡大し、その拡大処理された切出し画面の表示静止画データを生成する。
表示画像生成部44は、生成した切出し画面の表示静止画データを、デバイス通信部45に送信させる(図9のステップST16)。これにより、パーソナルコンピュータ2のHDD74には、切出し画面の表示静止画データが保存される。また、パーソナルコンピュータ2のPC表示制御部82は、パーソナルコンピュータ2のLCD72に、表示静止画データによる画像を表示させる(図9のステップST17)。これにより、パーソナルコンピュータ2のLCD72には、ユーザが切出しリング61により指定した範囲の画像が、拡大されて表示される。パーソナルコンピュータ2のLCD72には、図6(B)に示すような切出し画面が表示される。
また、上述した表示指定コマンドなどにより動画表示の指示を受信する(図10のステップST33でYes)と、表示画像生成部44は、その後、蓄積動画データ56の2つ目以降のJPEGデータ54による切出し画像の表示静止画データの生成処理を実行する(図10のステップST35およびST36、図9のステップST18,ST21)。
具体的には、JPEGエンジン43は、HDD23に記憶される蓄積動画データ56から、撮像順にしたがって、最後に伸長したJPEGデータ54の次のJPEGデータ54を読み込む。JPEGエンジン43は、読み込んだJPEGデータ54を伸長し、伸長静止画データを生成する。
JPEGエンジン43により伸長静止画データが生成されると、表示画像生成部44は、まず、その伸長されたJPEGデータ54のヘッダデータをHDD23から読込み、変位データを取得する。表示画像生成部44は、その変位データにより、前回切出したJPEGデータ54の撮像タイミングから、新たに切出しをするJPEGデータ54の撮像タイミングまでにおける撮像アングルの変化量を特定する(図10のステップST35)。
撮像アングルの変化量を特定した後、表示画像生成部44は、伸長されたJPEGデータ54による画像から、切出しリング61の範囲内の画像を切出し、画像の外形補正処理や歪み補正処理をし、切出し画面の表示静止画データを生成する(図10のステップST36)。なお、このとき、表示画像生成部44は、撮像アングルの変化量を相殺する向きで且つ撮像アングルの変化量と同じ移動量で、切出しリング61の位置を移動し、切出しリング61の範囲内の画像を切出す。
図11は、表示画像生成部44による動画の2つ目以降の切出し処理の説明図である。図11の左上の画像は、最初のJPEGデータ54による広角画像である。図11の右上の画像は、その左上の最初のJPEGデータ54の静止画から切出された切出し画像である。図11の左下の画像は、2つ目のJPEGデータ54による広角画像である。図11の右下の画像は、その右上の2つ目のJPEGデータ54の静止画から切出された切出し画像である。
図11の左側の2つの広角画像に示すように、撮影アングルが左上の撮像アングルから右方向へ移動すると、その次の左下の広角画像に示すように、円形画像内の被写体は、左側へ移動する。2つ目の広角画像のJPEGデータ54には、この被写体のずれ量とは逆向きとなる撮影アングルの変位量としての変位データが保存される。
表示画像生成部44は、図11の左下の広角画像において示すように、変位データにより特定される撮像アングルの変位量を打ち消すように、切出しリング61の位置を移動する。具体的には、表示画像生成部44は、変位データにより特定される撮像アングルの変化量を相殺する向きで、切出しリング61の位置を左方向へ移動する。そして、表示画像生成部44は、相殺する位置にある切出しリング61の範囲内の画像を切出す。これにより、連続する切出し画像内の被写体は、略停止する。図11の右上の切出し画像と右下の切出し画像とを比較すれば明らかなように、撮像アングルの変化による切出し画像内の被写体の動きは、連続する切出し画像において相殺され、停止状態となる。
動画の2つ目以降の新たな切出し画面の表示静止画データを生成すると、表示画像生成部44は、生成した表示静止画データを、デバイス通信部45に送信させる(図9のステップST19,ST22)。これにより、パーソナルコンピュータ2のHDD74には、受信データ91として、動画の2つ目以降の新たな切出し画面の表示静止画データが保存される。また、パーソナルコンピュータ2のPC表示制御部82は、パーソナルコンピュータ2のLCD72に、動画の2つ目以降の新たな表示静止画データによる画像を表示させる(図9のステップST20,ST23)。これにより、パーソナルコンピュータ2のLCD72には、ユーザが切出しリング61により指定した範囲の画像を、拡大表示する切出し画面による動画が表示される。
以上のように、この実施の形態1の超小型広角カメラ装置1では、CMOS撮像デバイス17が、魚眼レンズ15により撮像された円形画像を含む四角形の静止画の撮像静止画データ51を生成する。JPEGエンジン43は、CMOS撮像デバイス17により撮像された撮像静止画データ51を圧縮した圧縮静止画データに、ジャイロセンサ22の検出によるアングル情報(撮像アングルの変化量の情報)などを付加してJPEGデータ54を生成する。HDD23は、このJPEGデータ54を蓄積記憶する。
また、この超小型広角カメラ装置1とパーソナルコンピュータ2とをUSBケーブル3により接続することで構成される動画表示システム4では、超小型広角カメラ装置1の表示画像生成部44が、HDD23に記憶されるJPEGデータ54の画像の一部を撮像順にしたがって切出し、複数の切出し静止画の表示静止画データを生成する。また、パーソナルコンピュータ2のLCD72は、表示画像生成部44により生成される複数の表示静止画データによる複数の切出し静止画を順番に表示する。
特に、超小型広角カメラ装置1の表示画像生成部44は、2つ目以降の静止画の切出しにおいて、前回切出した静止画の撮像アングルからの変化量を、その切出し対象のJPEGデータ54に付加されたアングル情報に基づいて特定し、その撮像アングルの変化量を相殺するように、画像の切出し範囲をずらして静止画の一部を切出す。
したがって、この実施の形態1では、超小型広角カメラ装置1により所望の方向を特に意識して撮像しなくとも、動画表示システム4は、最初の切出し画像を基準とした所望の方向の動画を再生して表示することができる。
なお、動画を切出している最中に、たとえば視線方向を切り替えるコマンドが発せられた場合、表示画像生成部44は、動画再生を中止し、画面を切り替える。その後に動画再生が指定された場合、表示画像生成部44は、その切替後のアングルでの動画再生を開始する。これにより、ユーザは、動画と静止画とをシームレスに再生することができる。再生時に、任意の位置で任意の方向へ動画の画面を切り替えることができる。
実施の形態2.
図12は、本発明の実施の形態2に係る動画表示システム4Aを示すブロック図である。動画表示システム4Aの超小型広角カメラ装置1は、切出表示画像生成手段としての表示画像生成部101と、経路データ生成部102とを有する。また、動画表示システム4Aのパーソナルコンピュータ2は、HDD74に記憶される地図データ103と、撮像経路表示指示手段および被写体位置特定手段としてのPC表示制御部104とを有する。
表示画像生成部101は、HDD23などから圧縮されていない静止画データ(たとえば撮像静止画データ51、伸長静止画データなど)を取得し、その取得した静止画データからLCD72などの表示デバイスに表示するための表示静止画データを生成する。表示画像生成部101は、切出し画面に表示する表示静止画データを生成する場合、撮像アングルの変化量とともに、被写体に対する撮像位置の相対アングルの変化量を相殺するように切出しリングによる切出し範囲を移動する。
経路データ生成部102は、HDD23に蓄積動画データ56として記憶されている複数のJPEGデータ54のヘッダから、複数の位置データ52を読み込む。経路データ生成部102は、複数の位置データ52からなる経路データを生成する。
地図データ103は、所定の地域の道路などが描画された表示地図データと、その地図内の各地点の緯度経度データとを有する。
PC表示制御部104は、パーソナルコンピュータ2のLCD72に、表示画像生成部101が生成する表示静止画データによる撮像表示画面と、地図データ103の表示地図データを表示する地図表示画面とを表示させる。なお、撮像表示画面と、地図表示画面とは、1つの画面内に割り付けられて表示されても、別々の画面により表示されてもよい。
実施の形態2の動画表示システム4Aにおいて、上述した以外の構成要素は、実施の形態1の同名の構成要素と同じ機能を奏するものであり、同一の符号を付してその説明を省略する。
次に、以上の構成を有する動画表示システム4Aの動作を説明する。
超小型広角カメラ装置1がUSBケーブル3によりパーソナルコンピュータ2に接続されると、パーソナルコンピュータ2のPC表示制御部104は、撮像経路データの送信要求を生成し、ホスト通信部81へ供給する。
パーソナルコンピュータ2のホスト通信部81は、撮像経路データの送信要求を、超小型広角カメラ装置1のデバイス通信部45へ送信する。撮像経路データの送信要求は、具体的には、パーソナルコンピュータ2のUSBコネクタ73、USBケーブル3および超小型広角カメラ装置1のUSBコネクタ14を介して、デバイス通信部45へ送信される。
デバイス通信部45は、受信した撮像経路データの送信要求を、経路データ生成部102へ供給する。撮像経路データの送信要求が供給されると、経路データ生成部102は、HDD23に蓄積動画データ56として記憶されている複数のJPEGデータ54のヘッダデータを読み込む。そして、経路データ生成部102は、読み込んだヘッダデータから位置データ52を抽出し、複数の位置データ52をJPEGデータ54の撮像順に並べた経路データを生成する。
経路データ生成部102は、生成した経路データを、デバイス通信部45へ供給する。デバイス通信部45は、経路データを、パーソナルコンピュータ2のホスト通信部81へ送信する。ホスト通信部81は、受信した経路データをPC表示制御部104へ供給する。
超小型広角カメラ装置1の経路データ生成部102から経路データを受信すると、パーソナルコンピュータ2のPC表示制御部104は、HDD74から地図データ103を読込み、受信した経路データの各位置データ52を、緯度経度の対応関係に基づいて地図上にマッピングし(割り付け)、表示データを生成する。PC表示制御部104は、生成した表示データをパーソナルコンピュータ2のLCD72へ供給する。パーソナルコンピュータ2のLCD72は、地図上に撮像経路が割り付けられた地図表示画面を表示する。
図13は、図12中のパーソナルコンピュータ2のLCD72に表示される地図表示画面の一例を示す図である。図13の地図表示画面には、画面の中心などで交差する複数の道路と、画面右上に位置する山とが表示される。また、図13の地図表示画面には、画面中央下端から、画面の中心の交差点に向かう撮像経路110が表示される。
また、撮像経路110上には、経路データ生成部102から取得した経路データの各位置データ52の地点が、黒丸表示される。図13では、4つの位置データ52の地点が黒丸表示されている。図13の地図表示画面において、一番下の黒丸地点111が動画の最初の撮像静止画の撮像地点であり、その上の黒丸地点112が、2つ目の撮像静止画の撮像地点である。
PC表示制御部104は、この図13の地図表示画面がLCD72に表示されている状態で、入力デバイス71から所定の入力データが供給されると、表示する地図上の所定の地点を被写体の位置として特定する。PC表示制御部104は、たとえば図13中の山の頂上付近(×印)を、画像表示する被写体の位置114として特定する。
PC表示制御部104は、特定した被写体の位置114の情報を、ホスト通信部81へ供給する。ホスト通信部81は、被写体の位置114の情報を、超小型広角カメラ装置1のデバイス通信部45へ送信する。デバイス通信部45は、表示画像生成部101へ、被写体の位置114の情報を供給する。表示画像生成部101は、供給された被写体の位置114の情報を、HDD23などに保存する。
以上のような処理により被写体の位置114の情報が超小型広角カメラ装置1の表示画像生成部101へ供給される。表示画像生成部101は、この供給と関係なく、動画を表示するための表示データの生成処理を実行する。
図14は、図12中の表示画像生成部101が、再生による表示動作において実行する処理の流れを示すフローチャートである。
表示画像生成部101は、まず、HDD23などから、蓄積動画データ56の最初のJPEGデータ54をJPEGエンジン43により伸長した伸長静止画データを読込み、その読み込んだ伸長静止画データから、表示デバイスに広角画面を表示するための最初の表示静止画データを生成する(ステップST31)。表示画像生成部101は、生成した表示静止画データを、デバイス通信部45へ供給し、パーソナルコンピュータ2へ送信させる。これにより、パーソナルコンピュータ2のHDD74には、受信データ91として、広角画面を表示するための表示静止画データが記憶される。
パーソナルコンピュータ2のHDD74に受信データ91として表示静止画データが保存されると、PC表示制御部104は、パーソナルコンピュータ2のHDD74から表示静止画データを読込み、パーソナルコンピュータ2の大型のLCD72へ表示データとして供給する。これにより、パーソナルコンピュータ2の大型のLCD72には、円形画像の周囲が黒色に塗りつぶされた広角画面による撮像表示画面が表示される。
図15は、パーソナルコンピュータ2の大型のLCD72に表示可能な4つの画面を示す図である。図15の左上の画面は、蓄積動画データ56の最初のJPEGデータ54に基づく、広角画面である。図15の右上の画面は、この蓄積動画データ56の最初のJPEGデータ54の画像から、切出しリング61により切出された後、歪み補正や拡大処理が施された切出し画面である。図15の左下の画面は、蓄積動画データ56の2番目のJPEGデータ54に基づく、広角画面である。図15の右下の画面は、この蓄積動画データ56の2番目のJPEGデータ54から、切出しリング122により切出された後、歪み補正や拡大処理が施された切出し画面である。なお、図15の左上の広角画面と左下の広角画面とを比較すれば明らかなように、図15での最初の広角画面と、2番目の広角画面との間では、魚眼レンズ15の撮像アングルは変動していない。撮像位置のみが前進により変化している。この撮像位置の変化により、被写体である山の頂上の位置は変化しないが、山のアングルはわずかに変化する。
パーソナルコンピュータ2のPC表示制御部104は、動画表示システム4Aのユーザによる操作により入力デバイス71が生成する入力データに基づいて、広角画面において切出しリング61の位置やサイズを調整する。ユーザは、たとえば後述する図15の左上の広角画面に示すように、切出しリング61を広角画面の右側に設定する。PC表示制御部104は、この切出しリング61内の画像を切出して動画表示する表示指定コマンドを生成し、超小型広角カメラ装置1の表示画像生成部101へ送信する。
表示画像生成部101は、この表示指定コマンドを受信すると、図14のステップST32において表示切替の指示があったと判断し、現在表示している蓄積動画データ56の最初のJPEGデータ54の画像の一部を、このコマンドによる切替指示にしたがって切出し、その切出し画像に基づく新たな表示静止画データを生成する(ステップ34)。
表示画像生成部101は、生成した切出し画面の表示静止画データを、パーソナルコンピュータ2へ送信する。PC表示制御部104は、受信した表示静止画データをHDD74から読込み、パーソナルコンピュータ2のLCD72に、切出し画面を表示させる。これにより、パーソナルコンピュータ2のLCD72には、たとえば図15の右上の切出し画面が表示される。
その後、表示画像生成部101は、蓄積動画データ56の2つ目以降のJPEGデータ54による切出し画像の表示静止画データの生成処理を実行する(ステップST35、ST41およびST42)。
具体的には、JPEGエンジン43は、HDD23に記憶される蓄積動画データ56から、撮像順にしたがって、最後に伸長したJPEGデータ54の次のJPEGデータ54を読み込む。JPEGエンジン43は、読み込んだJPEGデータ54を伸長し、伸長静止画データを生成する。
JPEGエンジン43により伸長静止画データが生成されると、表示画像生成部101は、まず、HDD23から、その伸長されたJPEGデータ54のヘッダデータを読込み、変位データを取得する。表示画像生成部101は、その変位データにより、前回切出したJPEGデータ54の撮像タイミングから、新たに切出しをするJPEGデータ54の撮像タイミングまでにおける撮像アングルの変化量を特定する(ステップST35)。
撮像アングルの変化量を特定した後、表示画像生成部101は、HDD23から、伸長されたJPEGデータ54のヘッダデータ、1つ前のJPEGデータ54のヘッダデータおよび被写体の位置114の情報を読込み、被写体に対する相対アングルの変化量を特定する(ステップST41)。
具体的にはたとえば図13に示すように、前回のJPEGデータ54の撮像位置が黒丸位置111であり、今回のJPEGデータ54の撮像位置が黒丸位置112であるとすると、前回の撮像から今回の撮像までの期間において、被写体となる位置114に対する相対アングルは、図13中のθdiffの分だけ変化する。表示画像生成部101は、HDD23から読み込んだ情報に基づいて被写体の位置と2つの撮像位置とを特定し、それら特定した位置に基づいてこの相対アングルの変動量θdiffを演算する。
撮像アングルの変動量と、被写体に対する相対アングルの変動量とを特定した後、表示画像生成部101は、切出しリング61に代えて切出しリング122を生成し、伸長されたJPEGデータ54による画像から、切出しリング122の範囲内の画像を切出し、画像の外形補正処理や歪み補正処理をし、切出し画面の表示静止画データを生成する(ステップST42)。
このとき、表示画像生成部101は、撮像アングルの変化量を相殺する向きで且つ撮像アングルの変化量と同じ移動量で、切出しリング122の位置を、前回の切出しリング61の位置から移動し、さらに、相対アングルの変化量を相殺する向きで且つ相対アングルの変化量と同じ移動量で、切出しリング61の位置を移動することで新たな切出しリング1222を生成し、その切出しリング122の範囲内の画像を切出す。
図15の左下の広角画面は、蓄積動画データの二番目のJPEGデータ54による広角画面である。この2番目の広角画面に対する魚眼レンズ15自体の撮像アングルは、図15の左上の最初の広角画面の撮像アングルと変化していない。しかし、撮像位置が前進することで被写体に対する撮像アングルは変化している。このような場合、表示画像生成部101は、相対アングルの変化量を相殺する向きで且つ相対アングルの変化量と同じ移動量で、切出しリング122の位置を移動し、画像を切出す。
図15の左下の広角画面において、点線で示す切出しリング121は、図15の左上の広角画面における切出しリング61と同じ位置にある。被写体としての山は、図13において撮像位置が黒丸地点111から黒丸地点112へと山へ近づいた分だけ、画像の外側へ移動する。表示画像生成部101は、これに起因する相対アングルの変化量θdiffを相殺するように、切出しリング121を画面の右側へ移動し、その位置の切出しリング122により画像を切出す。
これにより、連続する円形画像内で移動する被写体は、連続する切出し画像内で略停止する。図15の右上の切出し画像における被写体としての山の位置と、図15の右下の切出し画像における被写体としての山の位置とを比較すれば明らかなように、相対アングルの変化による被写体の動きは、連続する切出し画像において相殺される。しかし、山のすそ野の風景は変化する。
以上の一連の処理(ステップST35、ST41およびST42)により動画の2つ目以降の新たな切出し画面の表示静止画データを生成すると、表示画像生成部101は、生成した表示静止画データを、パーソナルコンピュータ2へ送信する。パーソナルコンピュータ2のPC表示制御部104は、受信した動画の2つ目以降の新たな切出し画像の表示静止画データをHDD74から読込み、パーソナルコンピュータ2のLCD72に表示させる。これにより、パーソナルコンピュータ2のLCD72には、ユーザがその位置114を指定した被写体を連続的に撮像する切出し画面による動画が表示される。LCD72には、たとえば図15の右上の、被写体を中央に写す切出し画面に続けて、図15の右下の、被写体を中央に写す切出し画面が表示される。
以上のように、この実施の形態2の超小型広角カメラ装置1では、CMOS撮像デバイス17が、魚眼レンズ15により撮像された円形画像を含む四角形の静止画の撮像静止画データ51を生成する。JPEGエンジン43は、CMOS撮像デバイス17により撮像された撮像静止画データ51を圧縮した圧縮静止画データに、ジャイロセンサ22の検出によるアングル情報とGPS受信機21による撮像位置情報とを付加してJPEGデータ54を生成する。また、動画表示システム4Aの表示画像生成部101は、HDD23に記憶されるJPEGデータ54の画像の一部を撮像順にしたがって切出し、複数の表示画像の表示静止画データを生成する。パーソナルコンピュータ2のLCD72は、表示画像生成部101により生成される複数の表示静止画データによる複数の表示画像を順番に表示する。
特に、動画表示システム4Aの表示画像生成部101は、2つ目以降の画像の切出しにおいて、その切出し対象のJPEGデータ54あるいはその前に切出したJPEGデータ54に付加された撮像アングルあるいはその変化量を示すアングル情報に基づいて特定される、前回切出した静止画とその切出し対象の静止画との撮像アングルの変化量と、その切出し対象のJPEGデータ54あるいはその前に切出したJPEGデータ54に付加された撮像位置あるいはその変化量を示す撮像位置情報に基づいて特定される、前回切出した静止画の撮像位置とその切出し対象の静止画の撮像位置との被写体に対する相対アングルの変化量とを相殺するように、画像の切出し範囲をずらして画像の一部を切出す。
したがって、この実施の形態2では、超小型広角カメラ装置1により所望の被写体を特に意識して撮像しなくとも、すなわち所定の被写体を撮像し続けるアングルを維持しなくても、動画表示システム4Aは、所定の被写体を連続的に表示する動画を再生することができる。
また、この実施の形態2の超小型広角カメラ装置1では、GPS受信機21が、衛星電波を受信し、地上における絶対的な位置情報による位置を検出する。動画表示システム4Aでは、PC表示制御部104が、超小型広角カメラ装置1のHDD23に記憶される複数のJPEGデータ54の撮像位置を地図上にマッピングした画面をパーソナルコンピュータ2のLCD72に表示させ、パーソナルコンピュータ2のLCD72に表示される地図中の位置の特定に基づいて、被写体の位置114を特定する。そして、表示画像生成部101は、PC表示制御部104により特定された被写体の位置114の情報を用いて、被写体に対する相対アングルの変化量を特定する。
したがって、撮像経路がマッピングされた地図上で被写体の地図中の位置114を特定することで、容易に、被写体の位置114を特定し、被写体に対する相対アングルの変化量を特定することかできる。
上述した各実施の形態は、本発明の好適な実施の形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形、変更が可能である。
たとえば、上記各実施の形態では、JPEGエンジン43は、撮像静止画データ51を圧縮した圧縮静止画データに、アングル情報と撮像位置情報とを付加している。JPEGエンジン43は、撮像静止画データ51を圧縮した圧縮静止画データに、アングル情報を付加するようにしてもよい。また、JPEGエンジン43は、撮像静止画データ51を圧縮した圧縮静止画データに、アングル情報および撮像位置情報以外の情報、たとえば撮像時刻情報などを付加するようにしてもよい。
上記各実施の形態では、JPEGデータ54のヘッダデータに含まれるアングル情報は、超小型広角カメラ装置1に設けられたジャイロセンサ22の検出加速度を積分してなる撮像アングルの変化量である。この他にもたとえば、アングル情報は、たとえば鉛直方向や東西南北などを基準とした、超小型広角カメラ装置1の絶対的な撮像アングル方向の情報であってもよい。
上記各実施の形態では、JPEGデータ54のヘッダデータに含まれる撮像位置情報は、超小型広角カメラ装置1に設けられたGPS受信機21による検出位置である。GPS受信機21は、地上における絶対的な位置を検出する。この他にもたとえば、撮像位置情報は、超小型広角カメラ装置1の撮像間隔における撮像位置の移動量および移動方向などのように、超小型広角カメラ装置1の相対的な位置情報であってもよい。また、GPS受信機21に替えて、携帯電話用基地局の電波、放送電波、無線通信電波などの衛星電波以外の電波を受信し、地上における絶対的な位置情報による位置を検出する受信機を用いるようにしてもよい。
上記実施の形態1の表示画像生成部44は、前回切出した静止画と新たに切出す静止画との撮像アングルの変化量をすべて相殺するように、切出しリング61による画像の切出し範囲をずらしている。実施の形態2の表示画像生成部101は、前回切出した静止画と新たに切出す静止画との撮像アングルの変化量と、前回切出した静止画と新たに切出す静止画との被写体に対する相対アングルの変化量とのすべて相殺するように、画像の切出し範囲をずらしている。この他にもたとえば、表示画像生成部44,101は、撮像アングルの変化量や被写体に対する相対アングルの変化量の中の、たとえば90%程度などを相殺するように、画像の切出し範囲をずらすようにしてもよい。
上記実施の形態2では、PC表示制御部104は、超小型広角カメラ装置1から取得した撮像経路を、地図上にマッピングして表示している。この他にもたとえば、PC表示制御部104は、白紙のような単色画像上に、撮像経路をマッピングして表示するようにしてもよい。この変形例の場合であっても、PC表示制御部104は、その単色画像上の任意の地点を被写体の位置として選択し、被写体に対する相対アングルの変化量を特定するようにすればよい。これにより、PC表示制御部104は、容易に被写体の位置を特定し、被写体に対する相対アングルの変化量を特定することかできる。
上記実施の形態2では、PC表示制御部104は、超小型広角カメラ装置1の表示画像生成部101に対して、切出し画像による動画の生成を指示している。この他にもたとえば、PC表示制御部104は、表示画像生成部101に対して、所定の1つの切出し静止画の生成を要求し、その要求した静止画を地図上などに割り付けて表示するようにしてもよい。これにより、ユーザは、地図上の任意の位置の実際の風景を確認することができる。また、PC表示制御部104は、GPS受信機21が検出する現在位置の切出し静止画の生成を要求し、その要求した静止画を地図上に割り付けて表示するようにしてもよい。これにより、ユーザは、現在位置を容易に把握することができる。また、PC表示制御部104は、予め地図上に設定された移動経路の切出し静止画の生成を要求し、その要求した静止画を地図上に割り付けて表示するようにしてもよい。これにより、予め設定された移動経路により、経路を案内することができる。ユーザは、この移動経路を移動するとき、あるいは事前に、曲がる交差点などの実際の風景を確認することができる。また、PC表示制御部104は、所定の位置から複数の方向を見る複数の切出し静止画を要求し、表示するようにしてもよい。こけにより、マルチアングルにより所定の位置の風景を提供することができる。
上記各実施の形態では、超小型広角カメラ装置1は、魚眼レンズ15を有する。この超小型広角カメラ装置1の替わりに、通常のレンズを有する超小型カメラ装置や、望遠レンズを有する超小型カメラ装置などを使用してもよい。
上記各実施の形態では、動画表示システム4,4Aは、超小型広角カメラ装置1と、パーソナルコンピュータ2とをUSBケーブル3で接続した構成となっている。この他にもたえば、動画表示システム4,4Aは、広角カメラデバイスなどを有するパーソナルコンピュータ2などの単体の装置として構成されていてもよい。また、動画表示システム4,4Aの超小型広角カメラ装置1と、パーソナルコンピュータ2とは、USBケーブル3以外のたとえばLANケーブルなどの他の通信ケーブル、無線通信回線などにより接続されていてもよい。また、超小型広角カメラ装置1とパーソナルコンピュータ2との間に、それらの間での通信データを中継するサーバ装置などが介在していてもよい。
本発明は、動画を記録したり、再生したりする装置やシステムにおいて好適に利用することができる。
図1は、本発明の実施の形態1に係る超小型広角カメラ装置を示す斜視図である。 図2は、図1の超小型広角カメラ装置に内蔵されるハードウェアの構成を示す回路図である。 図3は、図1の超小型広角カメラ装置の光学系の構成を示す説明図である。 図4は、CMOS撮像デバイスの受光面に結像する像の一例を示す説明図である。 図5は、図1の超小型広角カメラ装置に撮像時に実現される機能を示すブロック図である。 図6は、表示画像生成部が生成する表示静止画データにより、表示デバイスが表示する表示画面の例を示す図である。 図7は、図1の超小型広角カメラ装置による撮像動作の流れを示すフローチャートである。 図8は、本発明の実施の形態1に係る動画表示システムを示すブロック図である。 図9は、図8の動画表示システムにおける再生による表示動作の流れを示すフローチャートである。 図10は、再生による表示動作において、超小型広角カメラ装置の表示画像生成部が実行する処理の流れを示すフローチャートである。 図11は、表示画像生成部による動画の2つ目以降の切出し処理の説明図である。 図12は、本発明の実施の形態2に係る動画表示システムを示すブロック図である。 図13は、図12中のパーソナルコンピュータのLCDに表示される地図表示画面の一例を示す図である。 図14は、図12中の表示画像生成部が、再生による表示動作において実行する処理の流れを示すフローチャートである。 図15は、パーソナルコンピュータの大型のLCDに表示可能な4つの画面を示す図である。
符号の説明
1 超小型広角カメラ装置(広角動画撮像装置)
4,4A 動画表示システム
15 魚眼レンズ(広角レンズ)
17 CMOS撮像デバイス(撮像手段)
21 GPS受信機(位置検出手段)
22 ジャイロセンサ(姿勢変化検出手段)
23 HDD(記憶手段)
43 JPEGエンジン(付加手段)
44,101 表示画像生成部(切出表示画像生成手段)
51 撮像静止画データ
54 JPEGデータ(保存静止画データ)
72 LCD(表示手段)
104 PC表示制御部(撮像経路表示指示手段、被写体位置特定手段)

Claims (11)

  1. 広角レンズを用いて撮像される静止画の一部を切出し、最初の表示画像の表示データを生成するステップと、
    上記広角レンズを用いて撮像される2つ目以降の静止画の切出しに先立って、前回切出した静止画の撮像タイミングからその切出し対象の静止画を撮像する撮像タイミングまでにおける撮像アングルの変化量を特定するステップと、
    上記特定された撮像アングルの変化量を相殺するように2つ目以降の静止画からの画像の切出し範囲をずらしてその静止画の一部を切出し、2つ目以降の表示画像の表示データを生成するステップと、
    を特徴とする動画の表示方法。
  2. 広角レンズを用いて撮像される静止画の一部を切出し、所望の被写体が写る最初の表示画像の表示データを生成するステップと、
    上記広角レンズを用いて撮像される2つ目以降の静止画の切出しに先立って、前回切出した静止画の撮像タイミングからその切出し対象の静止画を撮像する撮像タイミングまでにおける撮像アングルの変化量と、前回切出した静止画の撮像位置とその切出し対象の静止画の撮像位置との上記被写体に対する相対アングルの変化量とを特定するステップと、
    上記特定された撮像アングルの変化量および相対アングルの変化量を相殺するように2つ目以降の静止画からの画像の切出し範囲をずらしてその静止画の一部を切出し、2つ目以降の表示画像の表示データを生成するステップと、
    を特徴とする動画の表示方法。
  3. 広角レンズを用いて連続的に撮像される各静止画のデータに、それぞれの撮像アングルあるいはその変化量を示すアングル情報が付加された複数の保存静止画データを記憶する記憶手段と、
    上記記憶手段に記憶される保存静止画データの画像の一部を撮像順にしたがって切出し、複数の表示画像の表示データを生成する切出表示画像生成手段と、
    上記切出表示画像生成手段により生成される上記複数の表示データによる複数の表示画像を順番に表示する表示手段と、を有し、
    前記切出表示画像生成手段は、2つ目以降の画像の切出しにおいて、その切出し対象の保存静止画データあるいはその前に切出した保存静止画データに付加された上記撮像アングルあるいはその変化量を示すアングル情報に基づいて特定される、その切出し対象の静止画と前回切出した静止画との撮像アングルの変化量を相殺するように、画像の切出し範囲をずらして画像の一部を切出すことを特徴とする動画表示システム。
  4. 広角レンズを用いて連続的に撮像される各静止画のデータに、それぞれの撮像アングルあるいはその変化量を示すアングル情報と、それぞれの撮像位置あるいはその変化量を示す撮像位置情報とが付加された複数の保存静止画データを記憶する記憶手段と、
    上記記憶手段に記憶される保存静止画データの画像の一部を撮像順にしたがって切出し、所定の被写体が写る複数の表示画像の表示データを生成する切出表示画像生成手段と、
    上記切出表示画像生成手段により生成される上記複数の表示データによる複数の表示画像を順番に表示する表示手段と、を有し、
    前記切出表示画像生成手段は、2つ目以降の画像の切出しにおいて、その切出し対象の保存静止画データあるいはその前に切出した保存静止画データに付加された上記撮像アングルあるいはその変化量を示すアングル情報に基づいて特定される、前回切出した静止画とその切出し対象の静止画との撮像アングルの変化量と、その切出し対象の保存静止画データあるいはその前に切出した保存静止画データに付加された上記撮像位置あるいはその変化量を示す撮像位置情報に基づいて特定される、前回切出した静止画の撮像位置とその切出し対象の静止画の撮像位置との上記被写体に対する相対アングルの変化量とを相殺するように、画像の切出し範囲をずらして画像の一部を切出すことを特徴とする動画表示システム。
  5. 前記記憶手段に記憶される複数の保存静止画データの撮像位置をマッピングした画面を前記表示手段に表示させる撮像経路表示指示手段と、
    前記表示手段に表示される上記複数の撮像位置をマッピングした画面中の位置の特定に基づいて、前記被写体の位置を特定する被写体位置特定手段と、を有し、
    前記切出表示画像生成手段は、上記被写体位置特定手段により特定された被写体の位置を用いて、前記被写体に対する相対アングルの変化量を特定すること、
    を特徴とする請求項4記載の動画表示システム。
  6. 前記記憶手段に記憶される複数の保存静止画データの撮像位置を地図上にマッピングした画面を前記表示手段に表示させる撮像経路表示指示手段と、
    前記表示手段に表示される地図中の位置の特定に基づいて、前記被写体の位置を特定する被写体位置特定手段と、を有し、
    前記切出表示画像生成手段は、上記被写体位置特定手段により特定された被写体の位置を用いて、前記被写体に対する相対アングルの変化量を特定すること、
    を特徴とする請求項4記載の動画表示システム。
  7. 広角レンズと、
    この広角レンズにより撮像された円形画像を含む四角形の画像の撮像静止画データを生成する撮像手段と、
    上記撮像手段により撮像された撮像静止画データあるいはそれを圧縮した圧縮静止画データに、撮像アングルあるいはその変化量を示すアングル情報を付加して保存静止画データを生成する付加手段と、
    上記付加手段により生成される複数の保存静止画データを蓄積記憶する記憶手段と、
    を有することを特徴とする広角動画撮像装置。
  8. 自身の姿勢変化を検出する姿勢変化検出手段を有し、
    前記付加手段は、上記姿勢変化検出手段により検出された自身の姿勢の変化量を、アングル情報として付加することを特徴とする請求項7記載の広角動画撮像装置。
  9. 広角レンズと、
    この広角レンズにより撮像された円形画像を含む四角形の画像の撮像静止画データを生成する撮像手段と、
    上記撮像手段により撮像された撮像静止画データあるいはそれを圧縮した圧縮静止画データに、撮像アングルあるいはその変化量を示すアングル情報と、撮像位置あるいはその変化量を示す撮像位置情報を付加して保存静止画データを生成する付加手段と、
    上記付加手段により生成される複数の保存静止画データを蓄積記憶する記憶手段と、
    を有することを特徴とする広角動画撮像装置。
  10. 自身の姿勢変化を検出する姿勢変化検出手段と、
    自身の位置を検出する位置検出手段と、を有し、
    前記付加手段は、上記姿勢変化検出手段により検出された自身の姿勢の変化量と、上記位置検出手段により検出された自身の位置とを、アングル情報および撮像位置情報として付加することを特徴とする請求項9記載の広角動画撮像装置。
  11. 前記位置検出手段は、衛星電波、携帯電話用基地局の電波、放送電波、無線通信電波などの電波を受信し、地上における絶対的な位置情報による位置を検出することを特徴とする請求項10記載の広角動画撮像装置。
JP2006133287A 2006-05-12 2006-05-12 動画の表示方法、動画表示システムおよび広角動画撮像装置 Pending JP2007306353A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006133287A JP2007306353A (ja) 2006-05-12 2006-05-12 動画の表示方法、動画表示システムおよび広角動画撮像装置
US12/299,921 US20090303351A1 (en) 2006-05-12 2007-04-24 Dynamic image display method, dynamic image display system, and wide-angle dynamic image capturing device
PCT/JP2007/058806 WO2007132646A1 (ja) 2006-05-12 2007-04-24 動画の表示方法、動画表示システムおよび広角動画撮像装置
EP07742241A EP2031864A4 (en) 2006-05-12 2007-04-24 METHOD AND SYSTEM FOR DYNAMIC IMAGE DISPLAY, AND WIDE ANGLE DYNAMIC IMAGE CAPTURE DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006133287A JP2007306353A (ja) 2006-05-12 2006-05-12 動画の表示方法、動画表示システムおよび広角動画撮像装置

Publications (1)

Publication Number Publication Date
JP2007306353A true JP2007306353A (ja) 2007-11-22

Family

ID=38693745

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006133287A Pending JP2007306353A (ja) 2006-05-12 2006-05-12 動画の表示方法、動画表示システムおよび広角動画撮像装置

Country Status (4)

Country Link
US (1) US20090303351A1 (ja)
EP (1) EP2031864A4 (ja)
JP (1) JP2007306353A (ja)
WO (1) WO2007132646A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017168882A (ja) * 2016-03-14 2017-09-21 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2018128804A (ja) * 2017-02-07 2018-08-16 富士通株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP2020088843A (ja) * 2018-11-21 2020-06-04 株式会社リコー 撮像システム、端末及びプログラム
JP2020188358A (ja) * 2019-05-14 2020-11-19 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP2020188359A (ja) * 2019-05-14 2020-11-19 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007318596A (ja) * 2006-05-29 2007-12-06 Opt Kk 広角レンズによる撮像データの圧縮方法、伸長表示方法、圧縮装置、広角カメラ装置およびモニタシステム
JP5200780B2 (ja) * 2008-09-08 2013-06-05 ソニー株式会社 撮影装置および方法、並びにプログラム
US20110128350A1 (en) * 2009-11-30 2011-06-02 Motorola, Inc. Method and apparatus for choosing a desired field of view from a wide-angle image or video
JP2012003189A (ja) * 2010-06-21 2012-01-05 Sony Corp 画像表示装置、画像表示方法およびプログラム
JP5672862B2 (ja) 2010-08-27 2015-02-18 ソニー株式会社 撮像装置、撮像システム及び撮像方法
CN102714696B (zh) * 2010-11-11 2016-03-02 松下电器(美国)知识产权公司 图像处理装置、图像处理方法及摄影装置
WO2012168069A1 (en) 2011-06-10 2012-12-13 International Business Machines Corporation Adapted digital device and adapter for a digital device
WO2014097789A1 (ja) 2012-12-20 2014-06-26 ソニー株式会社 画像処理装置、画像処理方法及び記録媒体
FR3032052B1 (fr) * 2015-01-26 2017-03-10 Parrot Drone muni d'une camera video et de moyens de compensation des artefacts produits aux angles de roulis les plus importants
JP2016212784A (ja) * 2015-05-13 2016-12-15 株式会社リコー 画像処理装置、画像処理方法
RU173728U1 (ru) * 2017-02-07 2017-09-07 Акционерное общество "Российская корпорация ракетно-космического приборостроения и информационных систем" (АО "Российские космические системы") Пользовательский картографический интерфейс
US11196943B2 (en) 2019-05-31 2021-12-07 Apple Inc. Video analysis and management techniques for media capture and retention
DE102020113972A1 (de) * 2019-05-31 2020-12-03 Apple Inc. Videoanalyse- und -managementtechniquen für medienerfassung und -aufbewahrung
WO2020250387A1 (ja) * 2019-06-13 2020-12-17 日本電気株式会社 画像処理装置、画像処理方法及びプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5276785A (en) * 1990-08-02 1994-01-04 Xerox Corporation Moving viewpoint with respect to a target in a three-dimensional workspace
US5990942A (en) * 1991-05-01 1999-11-23 Canon Kabushiki Kaisha Photographing apparatus using image information for blurring correction
CA2128704C (en) * 1992-11-24 2004-06-22 Theo Jogchum Poelstra A method and device for producing panoramic images, and a method and device for consulting panoramic images
US5650819A (en) * 1993-09-30 1997-07-22 Canon Kabushiki Kaisha Image pickup apparatus
US6195122B1 (en) * 1995-01-31 2001-02-27 Robert Vincent Spatial referenced photography
JP3103045B2 (ja) * 1997-07-10 2000-10-23 三菱電機株式会社 画像撮影再生方式及び方法並びに画像再生プログラムを記録した記録媒体
JP2000346634A (ja) * 1999-06-09 2000-12-15 Minolta Co Ltd 3次元入力装置
JP2002209208A (ja) * 2001-01-11 2002-07-26 Mixed Reality Systems Laboratory Inc 画像処理装置及びその方法並びに記憶媒体
US7096428B2 (en) * 2001-09-28 2006-08-22 Fuji Xerox Co., Ltd. Systems and methods for providing a spatially indexed panoramic video
US6833843B2 (en) * 2001-12-03 2004-12-21 Tempest Microsystems Panoramic imaging and display system with canonical magnifier
JP3902950B2 (ja) * 2001-12-27 2007-04-11 キヤノン株式会社 撮像装置およびその撮像方法
JP2004056222A (ja) * 2002-07-16 2004-02-19 Canon Inc 撮像装置、撮像装置の制御方法、プログラム、及びコンピュータ読み取り可能な記憶媒体
JP3498082B2 (ja) * 2002-08-23 2004-02-16 株式会社日立製作所 携帯端末
JP2004282535A (ja) * 2003-03-18 2004-10-07 Mitsubishi Electric Corp 画角調整装置
JP4321128B2 (ja) * 2003-06-12 2009-08-26 株式会社デンソー 画像サーバ、画像収集装置、および画像表示端末
JP4131948B2 (ja) * 2003-10-07 2008-08-13 富士フイルム株式会社 ビデオカメラ
JP2005149409A (ja) * 2003-11-19 2005-06-09 Canon Inc 画像再生方法及び装置
JP4886172B2 (ja) * 2004-03-09 2012-02-29 キヤノン株式会社 画像記録装置、画像記録方法、及びプログラム
JP2005267388A (ja) * 2004-03-19 2005-09-29 Toyota Motor Corp 画像処理装置
US7444004B2 (en) * 2004-03-29 2008-10-28 Fujifilm Corporation Image recognition system, image recognition method, and machine readable medium storing thereon an image recognition program
JP2005303933A (ja) * 2004-04-15 2005-10-27 Sony Corp 撮像装置
US7746376B2 (en) * 2004-06-16 2010-06-29 Felipe Mendoza Method and apparatus for accessing multi-dimensional mapping and information
JP4354359B2 (ja) * 2004-07-21 2009-10-28 オリンパス株式会社 撮像装置および画像補正方法
JP2006067391A (ja) * 2004-08-27 2006-03-09 Olympus Corp ブレ補正装置
JP2006080837A (ja) * 2004-09-09 2006-03-23 Canon Inc 撮像装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017168882A (ja) * 2016-03-14 2017-09-21 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN107197137A (zh) * 2016-03-14 2017-09-22 卡西欧计算机株式会社 图像处理装置、图像处理方法以及记录介质
CN107197137B (zh) * 2016-03-14 2020-06-19 卡西欧计算机株式会社 图像处理装置、图像处理方法以及记录介质
JP2018128804A (ja) * 2017-02-07 2018-08-16 富士通株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP2020088843A (ja) * 2018-11-21 2020-06-04 株式会社リコー 撮像システム、端末及びプログラム
JP7234802B2 (ja) 2018-11-21 2023-03-08 株式会社リコー 撮像システム、端末及びプログラム
JP2020188358A (ja) * 2019-05-14 2020-11-19 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP2020188359A (ja) * 2019-05-14 2020-11-19 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP7350511B2 (ja) 2019-05-14 2023-09-26 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP7350510B2 (ja) 2019-05-14 2023-09-26 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体

Also Published As

Publication number Publication date
EP2031864A1 (en) 2009-03-04
EP2031864A4 (en) 2009-11-11
WO2007132646A1 (ja) 2007-11-22
US20090303351A1 (en) 2009-12-10

Similar Documents

Publication Publication Date Title
JP2007306353A (ja) 動画の表示方法、動画表示システムおよび広角動画撮像装置
JP4864295B2 (ja) 画像表示システム、画像表示装置およびプログラム
US8908055B2 (en) Apparatus and method for generating high-dynamic-range (HDR) images
KR100518743B1 (ko) 전자카메라 및 촬영방향취득방법
US7505074B2 (en) Image sensing apparatus and its control method
JP2007318596A (ja) 広角レンズによる撮像データの圧縮方法、伸長表示方法、圧縮装置、広角カメラ装置およびモニタシステム
JP5406813B2 (ja) パノラマ画像表示装置およびパノラマ画像表示方法
US11393070B2 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
US11310459B2 (en) Image capturing device, image capturing system, image processing method, and recording medium
US10855916B2 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
JP2007318597A (ja) 広角レンズによる撮像データの圧縮方法、圧縮装置、広角カメラ装置およびモニタシステム
US20190289206A1 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
JP2011040898A (ja) 撮像再生装置及びプログラム
EP3563335A1 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
WO2019078297A1 (en) IMAGE PROCESSING APPARATUS, IMAGE CAPTURE SYSTEM, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM
JP6312426B2 (ja) 撮像装置およびその制御方法
JP6643008B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに記憶媒体
JP2018026642A (ja) 画像管理システム、画像通信システム、画像管理方法、及びプログラム
JP5776248B2 (ja) 撮像装置及びプログラム
JPH11122521A (ja) ディジタル撮像装置および撮像方法
JP2005311757A (ja) 画像処理装置及びそれを用いた携帯端末装置
JP5292781B2 (ja) 電子カメラ
JP2016051939A (ja) 撮影装置、制御方法、及びプログラム
JP2002218316A (ja) 電子カメラ、撮像システム及び撮像方法
JP2013214823A (ja) 撮像装置、及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090428

A072 Dismissal of procedure [no reply to invitation to correct request for examination]

Free format text: JAPANESE INTERMEDIATE CODE: A073

Effective date: 20100907