JP2006005610A

JP2006005610A - パノラマ映像記録再生装置

Info

Publication number: JP2006005610A
Application number: JP2004179145A
Authority: JP
Inventors: Kazuto Yoneyama; 一人米山
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2004-06-17
Filing date: 2004-06-17
Publication date: 2006-01-05
Anticipated expiration: 2024-06-17
Also published as: JP4321374B2

Abstract

【課題】
従来の技術では、パノラマ静止画を撮影しながら同時に動画を関連付けながら記録する機能を持つ装置が実現できなかった。
【解決手段】
前記課題を解決するため、本発明は、記録再生装置に、シーンチェンジを認識する機能を持つことで、パノラマ静止画作成や、動画の区切りとその区切り情報をパノラマ静止画の情報として付加する機能を実現し、動画が関連付けされたパノラマ静止画を記録する機能を実現し、再生時にパノラマ静止画の再生時に、一定時間関連付けされた情報がある位置で静止し閲覧した際に、当該の動画を再生することができる。
これにより、使い勝手の良い、動画への関連情報を持つパノラマ静止画の記録再生装置が実現できる。
【選択図】図１

Description

本発明は、動画と静止画を記録再生可能な装置に係り、特に、カメラ付き携帯電話等、表示装置と、操作用ボタンを備える装置に関する。

従来の映像記録再生装置では、以下に示す文献のように、シーンの変わり目で自動的もしくはユーザ指定による区切り情報付加する技術や装置があった。

特開２０００−２７８６４１号公報また、以下の文献に示すように、複数の画像からパノラマ静止画を作成する技術や装置があった。

特開２００４−４８６４８号公報特開平１０−２０８０７４号公報

上記従来技術では、パノラマ静止画と動画を関連付ける機能については考慮されていなかった。

動画と静止画を記録できるカメラにおいて、広範囲の映像を１枚の静止画として記録する機能を備え、静止画の所望の位置の関連付けした動画を記録する。

本発明により、使い勝手の良い機能を持つカメラを提供できる。

以下、本発明の実施例を説明する。

先ず、図１は本発明を適用した一実施形態である記録再生装置と、ネットワークとの接続を示す構成図である。図１において、１００はビデオカメラ、１０１はサーバ、１０２はネットワークを示す。システム制御回路１０３はCPUやメモリを持ち、接続される方位センサ１１１や傾きセンサ１１２だけでなく、システム全体を制御する。図示はしないが、一般的にユーザがボタン等を操作する際の入力情報も、システム制御回路１０３が処理する。１０４のカメラ制御回路は、記録時に映像データを取得し、CODEC(COmpression/DECompression)回路１０５へデータを渡す。１０５のCODEC回路は、MPEG(Moving Picture Experts Group)やJPEG(Joint Photographic coding Experts Group)と言った画像圧縮を行う。また、システム制御回路１０３とCODEC回路１０５で、動画のフレーム間の差分が大きく変動した場合にシーンが変わったと認識する機能を実現する。前記動画のフレーム間の差分については、画面全体をマトリックス状にいくつかのブロックに分けて、各ブロック毎に差分を取る方式が一般的である。本発明では、特に被写体を除く背景部分に相当すると思われる領域についての差分を判定し、撮影方向が変動したと認識する。以降これをシーンチェンジという。CODEC回路１０５にて圧縮された映像データは、記録制御回路１０６にて、記録媒体１０７のDVD(Digital Versatile Disc)に記録される。なお、本実施形態において、書き込むための記録媒体は、DVDであるものとして説明をするが、本発明はこれに限らず、ハードディスク、MD(Mini Disc)、CD(Compact Disc)、磁気ディスク、半導体メモリなど、情報を記録する記録媒体に適応することができる。記録時のカメラ制御回路１０４にて取得できる映像データや、再生時に記録媒体１０７から記録制御回路１０６が読み出したデータをCODEC回路１０５にてデコード(伸張)処理した映像データを、表示制御回路１０８にて表示装置１０９へ出力する。ネットワーク制御回路１１０は、前記映像データをネットワーク伝送する処理を行う。これにより、サーバ１０１へ映像データを蓄積したり、ネットワーク接続される携帯電話や、PDA、PCと言った機器からアクセスすることが可能となる。

図２（A）は、図１に示した構成において、記録された動画への関連情報を含むパノラマ静止画を表示する際のイメージを示すものである。２００はパノラマ静止画全体のイメージを示している。ここで、パノラマ静止画とは、広範囲の映像を１枚の静止画としたものをいい、撮像範囲は一般的なビデオ画像用であれば、７２０×４８０画素を１画面分として扱えるので、撮影方向を変え別の撮像範囲の画像を複数画面分接合して広範囲な画像としたもの示す。２０１、２０２、２０３が画面に表示される範囲の例を示したものである。パノラマ静止画中の前記２０１〜２０３夫々に関して、２０４〜２０６の動画に関連付けされている。ユーザが、パノラマ静止画を閲覧する際には、２０１〜２０３の範囲を連続的にスクロールし、所望の位置を表示することができる。例えば、２０２の位置でしばらくスクロールを止め閲覧していると、その表示位置の静止画に関連する動画の再生が開始される。従来技術では、例えば、図２に示したイメージの動画の先頭フレームの静止画をサムネイル表示し、それを選択することで対応する動画が表示されていたが、本発明により、パノラマ静止画としてその場の全体の雰囲気が伝わり、且つ、記録されていれば動画も閲覧することができる表示形態を提案できる。なお、図２（B）は図２（A）における表示範囲を捨象した際のパノラマ静止画全体のイメージ図である。

続いて、本発明を適用した一実施形態であるカメラにおいて、記録するファイルの構成について、図３と図４を用いて説明する。図３は、静止画と動画の関連情報を格納するファイル構造について示す。

図３において、（Ａ）は動画への関連情報を静止画中に格納する場合の形態を示す。３００は静止画ファイルを示す。３０１は静止画のヘッダ情報を示し、当該ファイルが静止画ファイルであることを確認するための情報や、その他静止画の登録日時や、サイズ等の情報が格納される。３０２は静止画の画像データを示す。３０３は拡張情報を示し、関連する動画に関する情報が複数格納される。３０４は、静止画中の位置情報を示し、関連する動画を特定するためのパノラマ静止画の画面内の位置情報を格納する。３０５は関連する動画情報を格納する。詳細は、後述する。図３において、（Ｂ）は動画への関連情報を静止画とは別の拡張ファイルとして格納する場合のファイル構造について示します。３１０は静止画ファイルを示す。３１１は静止画のヘッダ情報を示し、当該ファイルが静止画ファイルであることを確認するための情報や、その他静止画の登録日時や、サイズ等の情報が格納される。３１２は静止画の画像データを示す。３２０は拡張ファイルを示す。３２１は拡張ファイルのヘッダ情報を示し、当該ファイルが拡張情報を記録する拡張ファイルであることを確認するための情報や、拡張情報を格納する個数等を格納する。３０３は拡張情報を示し、関連する動画に関する情報が複数格納される。３０３の個々の構造は（Ａ）の場合と同様である。

図４は、動画ファイルと、その静止画に関連する動画情報の構造を示す。動画は、後述するように、シーン毎に個別のファイルに分けて記録される場合や、１つのファイルに一括して格納される場合、加えて各シーンの区切り情報を別に記録する場合もある。

図４において、（Ａ）は動画ファイルが１個あるいはN個で、シーン単位の管理情報がない形態を示す。４００は動画ファイルを示し、４０１は動画のヘッダ情報を示し、当該ファイルが動画ファイルであることを確認するための情報や、その他動画の登録日時や、サイズ等の情報が格納される。４０２は動画の映像音声データを示す。４１０は関連する動画情報を示し、図３中の３０５の形態の１つである。４１１は動画ファイル名を示し、４１２は静止画に関連付けされた動画のシーンの始点に当たるシーク位置情報が格納される。４１３は静止画に関連付けされた動画のシーンの終点に当たるシーク位置情報が格納される。

図４において、（Ｂ）は動画ファイルが１つで、シーン単位の管理情報が動画管理ファイルに格納される形態を示す。４００は動画ファイルを示し、４０１は動画のヘッダ情報を示し、当該ファイルが動画ファイルであることを確認するための情報や、その他動画の登録日時や、サイズ等の情報が格納される。４０２は動画の映像音声データを示す。４０３は動画管理ファイルを示し、４０４は動画管理ファイルのヘッダ情報を示し、当該ファイルが動画管理ファイルであることを確認するための情報や、その他シーン区切りのためのインデックス数等の情報が格納される。４０５は動画のインデックス情報を示す。このインデックス情報とは、４０２の映像音声データにおいて、シーンの区切り位置についての情報を示したものである。４２０は関連する動画情報を示し、図３中の３０５の形態の１つである。４２１は動画のインデックス情報が格納されていることを示す。

図４において、（Ｃ）は動画ファイルが複数で、シーン単位にファイルが分かれている形態を示す。４０６〜４０８は動画ファイルを示す。４３０は関連する動画情報を示し、図３中の３０５の形態の１つである。４３１は動画のファイル名が格納されていることを示す。

次に、本発明を適用した一実施形態であるカメラにおいて、パノラマ静止画と関連する動画を記録する際の動作フローについて、図５を用いて説明する。ユーザ操作により本発明による記録が開始されると、システム制御回路１０３が、５００にてパノラマ静止画作成用のバッファのクリア等領域使用のための準備処理をする。システム制御回路１０３は、定期的に方位センサ１１１や傾きセンサ１１２の情報を取得しており、５０１にて、前記センサ情報に基づいた位置に、やはり定期的に撮像データをパノラマ用静止画データを前記バッファへ展開する。なお、CODEC回路１０５で、フレーム間差分から動き検出を行ってシーンチェンジ判定に利用しても良い。５０２にて一定時間撮影している方向に変化がない(もしくは少ない)場合に、シーンチェンジが止まったと解釈し、続いて、システム制御回路１０３が、１０４のカメラ制御回路とCODEC回路１０５、記録制御回路１０６により、５０３にて動画の記録を開始する。前記と同じ方法で、システム制御回路１０３が５０４にてシーンチェンジと判定するまでは、動画記録が続く。シーンチェンジと判定した場合は、５０５にて動画記録を停止し、パノラマ静止画との関連情報を記録する。５０６において、システム制御回路１０３が、パノラマ静止画展開用バッファが全方位使用済みもしくは重なりが発生したと判断した場合、あるいは、ユーザによる停止操作がされた場合、５０７にて、パノラマ静止画をCODEC回路１０５、記録制御回路１０６により記録し、記録終了となる。５０６の条件に当たるまでは、パノラマ静止画用バッファへの展開や、動画の記録が続けられる。上記のようにして、パノラマ静止画と、所定の位置で関連付けられた動画の記録が行われる。

次に、本発明を適用した一実施形態であるカメラにおいて、パノラマ静止画と関連する動画を再生する際の動作フローについて、図６を用いて説明する。ユーザ操作によりパノラマ静止画が再生開始されると、６００にて、ユーザ操作による再生停止が行われたか否かをシステム制御回路１０３が判定する。ユーザ操作による再生停止がされた場合は、パノラマ静止画再生を終了する。再生停止されていない場合は、以降処理を続ける。６０１にて、システム制御回路１０３が、CODEC回路１０５、記録制御回路１０６からパノラマ静止画の表示を更新する。これは、ユーザ操作によるスクロール等により表示領域の変更がされている場合に処理されれば良い。６０２にて、システム制御回路１０３が、一定時間ユーザ操作によるスクロールが行われていないか否か判定し、スクロールが行われた場合は６０１へ処理が移行する。スクロールが行われていないと判定された場合は、以下の処理へ移行する。６０３にて、システム制御回路１０３が、パノラマ静止画の再生開始時に、記録制御回路１０６にて記録媒体１０７から読み出したファイル情報から、現在表示されているパノラマ静止画の位置において動画への関連情報の有無を判定する。関連情報がない場合は６０１へ処理が移行する。関連情報がある場合には以降の動画再生処理へ移行する。６０４にて、前記処理にてシステム制御回路１０３が関連情報から特定した動画データを、記録制御回路１０６にて記録媒体１０７から読み出し、CODEC回路１０５にてデコード処理し、表示制御回路１０８により表示装置１０９にて映像を再生表示する。６０５にて、システム制御回路１０３が、ユーザによる停止やスクロール等の操作がされたか否か判断し、ユーザによる操作がなかった場合は動画の再生を続け、ユーザによる操作が行われた場合は、６０６にて動画の再生を停止する。

本実施例によれば、シーンチェンジを検出した際に、関連する動画の記録と合わせてそのシーンチェンジが発生した方位での静止画を、該動画への関連情報を複数付加して、パノラマの静止画を生成し、記録し、そのパノラマ静止画の再生時には、ユーザ操作に合わせて関連する動画の再生を行い、使い勝手の良い機能を持つカメラを提供できる。また、パノラマ静止画を作成時に、動画を記録し、その関連情報を静止画ファイルに付加して記録し、再生時にパノラマ静止画を閲覧中に適宜関連する動画の再生を自動的に行う機能を実現し得る。さらに、記録再生装置に、シーンチェンジを認識する機能を持つことで、パノラマ静止画作成や、動画の区切りとその区切り情報をパノラマ静止画の情報として付加する機能を実現し、動画が関連付けされたパノラマ静止画を記録する機能を実現し、再生時にパノラマ静止画の再生時に、一定時間関連付けされた情報がある位置で静止し閲覧した際に、当該の動画を再生することができる。なお、シーンチェンジを検出する際に、本実施例では、方位センサや傾きセンサを用いることを示したが、係るシーンチェンジに際しては、ユーザの操作で開始・終了しても構わない。また、本実施例においては、パノラマ静止画に関連する動画を記録したが、複数のシーンからなるパノラマ静止画を撮影する際に、そのパノラマ静止画の所望のシーンに関連した音声など、動画に限定されない情報を記録することもできる。

上述のように、使い勝手の良い、動画への関連情報を持つパノラマ静止画の記録再生装置が実現できる。特に、パーティー等での情景を撮影閲覧する機能で、楽しみながら閲覧する機能を実現できる。

なお、上記実施例ではパノラマ静止画中の所望の位置をスクロールで特定したが、カーソルで特定する構成とすることもできる。また、風景が等のパノラマ静止画撮影においては、関連する動画の変わりにズーム画像を関連付けることもできる。

図１は、本発明の一実施形態であるカメラの構成図である。図２は、本発明の一実施形態であるカメラによる、パノラマ静止画と動画の関連を示したイメージ図である。図３は、本発明の一実施形態であるカメラで扱う、静止画と動画の関連情報を格納するファイル構造を示した図である。図４は、本発明の一実施形態であるカメラで扱う、動画ファイルと、その静止画に関連する動画情報の構造を示した図である。図５は、本発明の一実施形態であるカメラによる、パノラマ静止画と関連する動画を記録する際の動作フローについて示した図である。図６は、本発明の一実施形態であるカメラによる、パノラマ静止画と関連する動画を再生する際の動作フローについて示した図である。

符号の説明

１００…ビデオカメラ、１０１…サーバ、１０２…ネットワーク、１０３…システム制御回路、１０４…カメラ制御回路、１０５…CODEC回路、１０６…記録制御回路、１０７…DVD、１０８…表示制御回路、１０９…表示装置、１１０…ネットワーク制御回路、１１１…方位センサ、１１２…傾きセンサ。

Claims

動画と静止画を記録できるカメラにおいて、
前記カメラにより取得される映像をパノラマ静止画として記録する機能を備え、
前記静止画の所望の位置の関連付けした動画を記録することを特徴とするカメラ。
動画と静止画を記録するカメラにおいて、
前記カメラにより取得される映像のシーンチェンジを認識する認識手段と、
前記カメラにより取得される映像のパノラマ静止画を作成する作成手段とを有し、
前記作成手段がパノラマ静止画作成する際に、前記認識手段が映像のシーンチェンジを認識したときは、該パノラマ静止画の位置に関連した動画を記録することを特徴とするカメラ。
請求項２に記載のカメラにおいて、
前記認識手段は動き検出により映像のシーンチェンジを認識し、
前記パノラマ静止画に前記動画の区切り目を付加情報として記録することを特徴とするカメラ。
請求項２に記載のカメラにおいて、
前記認識手段は方位センサにより映像のシーンチェンジを認識し、
前記パノラマ静止画に前記動画の区切り目を付加情報として記録することを特徴とするカメラ。
請求項１乃至４記載のカメラにより取得したパノラマ静止画を再生する装置であって、
前記パノラマ静止画をスクロールしながら表示手段に表示する機能を有し、
一定時間スクロールを止めた際には、該パノラマ静止画の位置に関連する動画を再生することを特徴とする再生装置。
請求項１乃至４記載のカメラにより取得したパノラマ静止画を再生する装置であって、
前記パノラマ静止画をスクロールしながら表示手段に表示する機能を有し、
一定時間スクロールを止めた際には、該パノラマ静止画の付加情報から該位置に関連する動画を再生することを特徴とする再生装置。
請求項６に記載の再生装置であって、
ネットワークへ接続する機能を有し、
前記付加情報を含むパノラマ静止画と関連する動画をネットワーク伝送することを特徴とする再生装置。
静止画を記録できるカメラにおいて、
複数のシーンからなるパノラマ静止画を撮影する際に、前記パノラマ静止画の所望のシーンに関連した情報を記録することを特徴とする記録方法。