JP2010528546A - パノラマ式音像の生成及び再生方法並びにパノラマ式音像の再生装置 - Google Patents

パノラマ式音像の生成及び再生方法並びにパノラマ式音像の再生装置 Download PDF

Info

Publication number
JP2010528546A
JP2010528546A JP2010509808A JP2010509808A JP2010528546A JP 2010528546 A JP2010528546 A JP 2010528546A JP 2010509808 A JP2010509808 A JP 2010509808A JP 2010509808 A JP2010509808 A JP 2010509808A JP 2010528546 A JP2010528546 A JP 2010528546A
Authority
JP
Japan
Prior art keywords
image
audio content
images
panoramic
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010509808A
Other languages
English (en)
Other versions
JP5349463B2 (ja
JP2010528546A5 (ja
Inventor
シュヴァリエ,ルイ
オワゼル,リオネル
ヴィグルー,ジャン−ロナン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2010528546A publication Critical patent/JP2010528546A/ja
Publication of JP2010528546A5 publication Critical patent/JP2010528546A5/ja
Application granted granted Critical
Publication of JP5349463B2 publication Critical patent/JP5349463B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本発明は、パノラマ式音像を生成し、再生する方法に関する。最初に、音声シーケンスに関連する複数の画像であって、それらの画像は、例えば、カメラを用いて撮られ、このカメラは、写真を撮るときに周囲の音声を記録する、画像が存在する。周囲の音声は、その場合、固定成分のみを保つようにフィルタリングされる。続いて、それらの画像は、“パノラマ式”と称せされる一意の画像を生成するように結合され、各々の音声シーケンスは、このシーケンスに関連する画像を有するパノラマ式画像の一部に関連する。最終的に、パノラマ式画像の複数の一部を表示するようにコマンドが導入される。そのコマンドはまた、パノラマ式画像の少なくとも表示された一部に関連する少なくとも音声コンテンツの固定成分を連続的に再生することを可能にする。実施形態に従って、その音声シーケンスは、新しいコマンドの導入まで継続して再生される。本発明はまた、パノラマ式画像及び音声シーケンスの再生を可能にする再生装置に関する。

Description

本発明は、パノラマ式音像の生成及び再生方法及びその方法を実施するための装置に関する。
多くのデジタル写真装置のモデルが、今日、市場に存在している。画像は、装置内でCCDセンサ又はCMOSセンサに投影され、デジタルデータに変換され、メモリに記憶される。デジタル技術を用いて、ユーザは写真を撮った直後に、装置の裏側に一般に備えられている小さいスクリーンでその写真を見ることができる。ユーザは、表示された画像の品質を確認し、取り外し可能なサポート(support)にその画像を記憶することによりその写真を保存するか又はその写真を消去するかのどちらかに決める。
一部の装置は、ビデオシーケンスを記録するのに十分速いCCDセンサ又はCMOSセンサを有する。ユーザは、それ故、人物を中心とした動きのある場面を撮影することが可能であり、又はそのユーザ自身が回転することによりパノラマ式の動画を記録することさえ可能である。画像を迅速に符号化する限定された電力及びカメラのメモリ容量のために、そのシーケンスにおける画像は非動画像より低い解像度を有する。それらの装置はまた、ビデオシーケンスの記録中に可聴環境を取り込むようにマイクロフォンを有する。ビデオシーケンスの再生中、画像と同時に記録される音声を聴くことができる。
映像成分及び音響成分を有するシーケンスのデジタルデータは、コンピュータに転送されることが可能である又はCD−ROMに記憶されることが可能であるファイルに組み込まれる。オーディオビジュアルシーケンスの画像は、それ故、スクリーン上に再生されることが可能であり、音声はスピーカに送信されることが可能である。このようにして、ユーザは、ユーザがカメラで撮ったものを視聴することが可能である。記録しているときに撮った画像は低解像度であるため、大きいサイズのスクリーンで又はビデオプロジェクタを用いてその画像を見る場合、特には素晴らしくはない。
KODAK社により出願され、2007年4月5日に公開された国際公開第2007/038198号パンフレットには、マイクロフォンを有するカメラについて開示されている。動作モードに従って、音声シーケンスは3秒の期間を伴って画像に関連付けられる。動作モード、即ち“ステッチド(stitched)パノラマ式取得モード”で、複数の写真は、パノラマ式写真を形成するように、端と端を繋ぐように位置付けられる。パノラマ式画像が完全に表示される場合、視覚表示は、再生された音声シーケンスの同一性についての情報を与える。
2002年6月20日に公開された米国特許出願公開第2002/075295号明細書においては、2つのマイクロフォンを有するパノラマ式カメラであって、それら2つのマイクロフォンが受け入れた画像及び音声を記録し、音声を方向と関連付けるカメラについて開示されている。
2002年5月30日に公開された米国特許出願公開第2002/0063709号明細書においては、2つ以上の音響トラックを記録するパノラマ式画像の再生及びシステムについて開示されている。パノラマ式画像が再生されるとき、トラックに記録されている音声は絶え間なく再生される。
2003年10月16日に公開された米国特許出願公開第2003/0193606号明細書においては、三次元音響効力を有するように、複数のマイクロフォンから記録する可能性について開示されている。ユーザが選択した角度に従って、再生が実行される。
音声を画像と関連付けることが可能である画像提示装置も知られている。スクリーンにおいて自動的に又は手動で及び各々の画像ディスプレイにおいて画像スクロールが行われ、関連音声が再生される。しかし、それらの画像は手動で選択されて、互いのリンクを必ずしも有さず、従って、次から次へのそれらの画像の再生は必ずしも良好な視覚的効果をもたらさない。
従って、現時点で表示されているものに適合された音声コンテンツを再生しながら、2つ以上の画像を有するグラフィック動画の品質を改善する要請が現実に存在している。
国際公開第2007/038198号パンフレット 米国特許出願公開第2002/075295号明細書 米国特許出願公開第2002/0063709号明細書 米国特許出願公開第2003/0193606号明細書
本発明の目的は、複数の画像の順序付けられたリストを規定するステップを有するパノラマ式音像の再生のための方法であって、各々の画像が音声コンテンツに関連付けられる、方法であり、
− 固定成分のみを保存するように、各々の画像の音声コンテンツをフィルタリングするステップ、
− 各々の音声コンテンツに関連付けられる画像を有するパノラマ式画像の一部に関連付けられる前記各々の音声コンテンツを“パノラマ式”と称せられる一意の画像を生成するように規定された順序で画像を結合するステップ、及び
− 生成されたパノラマ式画像の少なくとも一部を表示するコマンドを導入するステップであって、そのコマンドはパノラマ式画像の少なくとも表示部分に関連付けられる固定音声成分の連続的再生のステップもトリガする、ステップ、
を有する方法を提供することである。
このようにして、パノラマ式画像の一部が表示されることが可能であり、その表示される一部に適合された音響コンテンツが再生されることが可能である。ユーザが、画像の一部の修正を可能にしるコマンドを導入するとき、そのユーザはもはや、その音声コンテンツとの関連付けを手動で実行する必要ない。それが表示されるとき、音声シーケンスの再生は画像の視覚化を改善する。音声コンテンツを再生するステップは、そのコンテンツに関連するパノラマ式画像の表示中に連続的に実行される。このようにして、ユーザは、画像の同じ部分を長時間維持することが可能であり、そのユーザは、関連する音声シーケンスを連続的に聴くことができる。
改善に従って、発話された言語を表す音声は、最初の発生の端によりフィルタリングされる。そのフィルタリングは、音声を固定するように維持しながら実行され、それ故、短い音声は減衰され、特定の好ましい場合には、削除される。このようにして、ユーザは、最初に、発話されたものを聴くことができるが、その後、背景雑音のみが再生される。
他の実施形態に従って、結合するステップは、パノラマ式画像の一部を精緻化するステップであって、2つの画像間に位置付けられるこの部分は、視覚的遷移を示すように、互いに対して位置付けられたそれら2つの画像に対して特定の特性を有する、ステップを有する。このようにして、表示される右側部分の左側及び表示される左側部分の右側は、ユーザに対して流動的で快い遷移を提示するように組み合わされる。他の実施形態に従って、各々の画像のデータは、画像を生成する装置以外の他の装置にダウンロードされる。この装置は、音声結合ステップ、表示ステップ及び再生ステップを実行する。このようにして、ダウンロードされた画像は、何れかの再生装置において再生されることが可能である。
他の実施形態に従って、パノラマ式画像の2つの部分が表示され、続いて、それらの2つの部分に関連付けられる2つの音声が混合され、コンテンツの音声レベルは、関連部分の表示される比率に依存する。このように、2つのシーケンス間の再生は、表示される2つの画像部分間の配分に関連する。他の実施形態に従って、パノラマ式画像の一部に関連付けられる音声コンテンツは立体音響であり、その再生ステップは、関連パノラマ式画像部分の左側部分又は右側部分の表示における存在に従う音声コンテンツの左側トラック又は右側トラックの再生を有する。このように、2つのシーケンス間の再生は、表示される2つの画像部分のスクリーン上のそれぞれの位置に関連する。他の実施形態に従って、画像はカメラで撮られる写真であり、順序付けられるリストを規定するステップは、前記カメラにより撮られる写真の順序を選択するステップを有する。このようにして、ユーザはもはや、画像を個別に選択して、結合の順序を規定する必要はなく、カメラ自体がこれを実行することができる。
本発明の目的はまた、複数の画像、及び各々が画像に関連付けられる複数の音声コンテンツのデータを記憶する手段と、順序付けられる複数の画像のリストを規定することが可能であるコマンドを導入する手段と、表示手段と、音声再生手段とを有する再生装置であって、固定成分のみを保存するように各々の画像の音声コンテンツをフィルタリングする手段と、“パノラマ式”と称せられる一意の画像を生成する所定の順序で複数の画像を結合する手段とを有し、各々の音声コンテンツはこのコンテンツに関連付けられる画像を有するパノラマ式画像の一部と関連付けられ、コマンドを導入する手段は、パノラマ式画像の一部の表示及びパノラマ式画像の少なくとも表示部分と関連付けられる少なくとも音声コンテンツの固定成分の連続的な再生をトリガすることを特徴とする、再生装置を提供することである。
本発明の他の特徴及び有利点については、添付図を参照することにより例示として与えられる実施形態及び同時提出の特許請求の範囲における詳述により理解することができる。
本発明の方法の実施形態についてのカメラの正面の斜視図である。 本発明の方法の実施形態についてのカメラの背面の斜視図である。 本発明の方法の実施形態を実行する主な段階についてのフローチャートである。 本発明の実施形態に従って生成されるパノラマ式画像を有するメモリのコンテンツの概要を示す図である。 互いに別個に撮られた複数の画像間の相互関係及び最初の複数の画像の結合によるパノラマ式画像を示す図である。 ユーザがナビゲーションコマンドを導入するときに再生されるスクリーンの様子及び音声コンテンツを示す図である。 ユーザがナビゲーションコマンドを導入するときに再生されるスクリーンの様子及び音声コンテンツを示す図である。 ユーザがナビゲーションコマンドを導入するときに再生されるスクリーンの様子及び音声コンテンツを示す図である。
先ず、図1a及び1bに示すデジタルカメラ1の機能について説明する。図1a及び1bは、本発明の実施形態に従ったカメラの正面斜視図及び背面斜視図である。本発明を実施する主な要素について説明する。
外観的には、デジタルカメラ1は、対物レンズ2と、LCD又はOLCD技術のスクリーン3と、取り外し可能なメモリモジュール4と、設定及びショット撮影のための複数のボタンとを有する。それらのボタンは、カメラが“ショット撮影”モードに設定されることを可能にし、スクリーン3はCCDセンサにより検出された画像を視覚化し、又は記憶されているコンテンツの再生モードにおいては、メモリモジュール4に記録された画像がスクリーン3に表示される。一般に、写真装置1は、ナビゲーションのための、即ち、上下左右の4つの方向を規定する複数のボタンを有する。一部のモデルによると、スクリーンに表示されるアイコンを介してコマンドを利用し易くなっている。アイコンはハイライトされ、“OK”キーを押すことにより関連機能が実行される。カメラ1は、“パノラマ式音像”と称せられる音声環境を伴うパノラマ式画像の記録を可能にするように含まれる複数のショット撮影モードを有する。その音声環境の記録は、カメラの正面側にあるマイクロフォン6を用いて実行される。有利であることに、例えば、カメラ内のカージオイド型のマイクロフォンは指向性を有し、ショットの方向の音声を記録する。このように、写真撮影されるオブジェクトからもたらされる音声のみが記録され、後に復元されることが可能である。カメラ1はまた、側部に備えられた小さいスピーカを有する。ユーザが、彼のカメラをコンテンツ再生モードに設定するとき、ビデオ文書が音声シーケンスに関連付けられ、後者はスピーカ7を介して再生される。
カメラ1はまた、可搬型コンピュータへの音声コンテンツ及びビジュアルコンテンツの送信が可能であるコネクタを有する。典型的には、USBリンクを介して通信することが可能である。写真は、コンピュータに転送されるファイルに記録される。ユーザは、それ故、大きいスクリーンで彼の写真を見、コンピュータに接続されたスピーカを介して音声コンテンツを聴くことが可能である。
本発明の実施のための装置の実施例の主な構成要素について詳述した後、それらの構成要素がどのように協働するかについて説明する。
図2のフローチャートは、本発明の実施形態に従った方法の実行のための主なステップの進行について示している。それらのステップは2つのグループに分割され、それらの一はパノラマ式音像の生成を可能にし、それらの他はパノラマ式音像の再生を可能にする。各々のグループのステップは別個の装置において実行されることが可能であることを理解することができる。
ステップ2.1においては、ユーザはカメラ1を起動し、対象2がコンパートメントから抽出され、そしてその装置が“音像”モードにある場合、スクリーンは、対象2が取得した画像を表示する。それが起動時にまだ行われていない場合、ユーザは、操作モード“音像”をボタンを介して選択することによりその装置を設定する。この操作モードにおいて、装置1は、シャッタボタンを先ず押すことを待つ。音像が撮られるとき、カメラ1は、マイクロフォン6を用いて周囲の音声シーケンスを記録する(ステップ2.2)。有利であることに、音声シーケンスの記録の期間が初期設定メニューを介して設定されることが可能である。その音声はデジタル形式に変換され、ビジュアルデータに関連付けられるデータパケットを構成し、その全部は画像ファイルを構成する。ユーザは、その後、カメラのメモリ4に記憶されているかなり多くの画像ファイルを構成する他の写真を撮る。
簡単な実施形態に従って、ステップ2.3において、ユーザ自身が、パノラマ式音像の実現を可能にする複数の写真ファイルを選択する。この選択は、データ構成メニューを用いてカメラ1のあるレベルで、又はそれらの画像ファイルがダウンロードされるコンピュータのあるレベルで行われる。前者の場合、ユーザは、記憶されている画像のオプションの“パノラマ式画像の集まり”全てを活性化し、次いで、サムネイルの形式にする。ユーザは、決められた順序で、第1画像を、そして、最後まで、第2画像等を選択する。それらの画像は、パノラマ式画像を生成するように一と他とが結び付けられ、例えば、第1の画像の左側が次の画像の右側に接する。複数の画像の結合のための順序の進展についての変化は、“パノラマ式画像”と称せられる特定のモードをカメラ1で実行することにある。カメラがこのモードにある間、写真が撮られる順序は結合順序を規定する。例えば、ユーザはこのモードを活性化し、彼を特定の角度にして複数の写真のシリーズを撮り、そしてそのモードを終了することにより一連の写真の取得を終了する。その写真のシリーズの全ては、その場合、パノラマ式音像を生成するようにカメラにより自動的に用いられる。
ステップ2.4においては、パノラマ式音像のデータが生成される。2つ以上の画像からのパノラマを生成する多くの技術が存在している。それらの技術の殆どは、再調節されるようになっている複数の画像間の共通ゾーンの存在を必要とする。2つの画像がアセンブルされるようになっていることを考える。画像1が参照画像として撮られる。
最初のステップにおいては、画像2が画像1上に完全に重なるように、画像2の共通ゾーンに適用される歪みが推定される。これを行うように、画像1における単独の点及び画像2における単独の点が抽出され、それら2つの画像間のそれらの点の一致性がもたらされる当該2つの点に基づいて、本発明が用いられる。この一致性における複数の点の集合から、共通ゾーンの歪みについてのモデルを演算することが可能である。このモデルは、その場合、画像1に画像2の全体を重ね合わせるように用いられる。この処理は、最終的なパノラマを得るように、画像全てに関して繰り返される(ステップ2.4)。ステップ2.5においては、生成されるパノラマ式画像は、最終的なアセンブリのために用いられる各々の写真に対応する部分に分割される。各々の部分は、その部分に対応する写真が撮られたときに生成された音声シーケンスに関連する直交座標で表されるゾーンである。従って、各々のゾーンは、最初の音像が再びみつけられることを可能にするインデックスになり、そのようなパノラマ式画像の一部と対応する音声シーケンスとの間の一致性をもたらす。図3は、パノラマ式音像の異なる複数の要素であって:
− ヘッダ、即ち、EN、
− アセンブルされるパノラマ式画像を構成するビジュアルデータのブロック、即ち、DATA_VIDEO、
− パノラマ式音像のゾーンを規定する複数のパラメータを音声シーケンスと関連付ける一致性テーブル、即ち、TABLE、及び
− パノラマ式画像の一部に各々対応する“i”ゾーンの座標“COORD_j”に関連付けられた“AUDIO_i”として表される複数の“i”音声シーケンス、即ち、AUDIO i
を示している。
ステップ2.6においては、ファイルコンテンツが、パノラマ式音像を再生するように処理される。その再生がカメラ1により実行される場合、表示されるパノラマ式画像の一部はスクリーン3に表示され、写真に関連する音声シーケンスはスクリーンに表示されて、スピーカ7により再生される(ステップ2.7)。パノラマ式画像の右側部分は先ず、表示手段(コンピュータ又はテレビジョンのスクリーン、ビデオプロジェクタ、PDAのLCDスクリーン等)に表示され、この画像に対応する音声が再生される。その再生はまた、パノラマ式音像のファイルがダウンロードされた装置において実行されることが可能である。ステップ2.8においては、ユーザは、パノラマ式画像の他の部分を表示するように表示ウィンドウの変位コマンドを導入する。その再生が装置1のレベルで実行される場合、左側キー又は右側キーを押すことによりコマンドが導入される。その表示部分はいつでも、表示ウィンドウの殆ど又は表示ウィンドウの中央の殆どが現れる部分を決定するように、座標COORD_iで表されるゾーンと比較される。一旦、このゾーンが決定されると、その対応する音声シーケンスが、パノラマ式音像データから抽出されて再生される。このように、パノラマ式画像は、現在表示されている画像部分の視点角度に対応する音声環境を伴って復元される。ユーザは、従って、ユーザのコマンドに従って変化する音声環境及び画像環境の両方においてナビゲートすることができる。
図4は、異なる複数の角度で4つの写真を撮ることを示している。その実施例においては、ユーザは、水際の古い建物の中にいて、小さく回転する度に同じ領域から複数の写真を撮った。写真1は海を示し、関連音声は波の音声である。写真2は、海と、左側に先まで延びている大通りに繋がっている堤防とを示し、ビーチの一部が見え、カメラの近くで複数のひとの会話が聞こえる。写真3は、大通りの自動車を示し、音声シーケンスは、交通の音声及び自動車のクラクションを記録する。写真4は、ビーチの少し左側における大通りの他のビューを示し、関連音声シーケンスは交通及び会話の音声を含む。パノラマ式画像においては、カメラがかなり広い視野角を有するとしても、それらの4つの写真の統合を実現する。その場合、このパノラマ式画像の視覚化の間、表示される写真に関連付けられる、再生されるように選択される音声シーケンスが再生される。
図5a、5b及び5cは、ユーザがナビゲーションコマンドを導入するときの3つのスクリーンの様子を示している。図5aは、スクリーンの中央に写真2を、そして隣接する複数の写真の一部を示し、写真1の左側の一部が右側に及び写真3の右側の一部が左側に表示されている。このとき、再生される音声は写真2に対応している。続いて、ユーザは左側回転コマンドを導入し、図5bのスクリーンの様子が表示される。写真3においては、その場合、右側に写真2の一部を及び左側に写真4の一部が表示されている。再生される音声は、その場合、写真2の音声である。続いて、ユーザは、新しい左側回転コマンドを導入し、図5cのスクリーンの様子が表示される。写真4は表示される画像の中央にあり、写真3の左側の一部が右側に表示されている。左側に示されているホワイトゾーンは、従って、ユーザに対して、ユーザがパノラマ式画像の端に達したことを示している。ユーザが回転し続ける場合、そのホワイトゾーンが左側からスクリーン全体に広がるようになり、続いて、回転し続けると、写真1が右側から少しずつ現れる。黒細線がまた、パノラマ式画像の端を目に見えるように表示されることが可能であり、このようにして、ユーザは、スクリーンにパノラマ式画像の最初の写真及び最後の写真の両方を見ることができる。
実施形態に従って、音声シーケンスが無制限に再生される。第1変形に従って、記録されている音声の固定部分のみが再現され、その方法は、その場合、連続的な音声を再生するように、スペクトル特性及び合成特性を抽出する。ループにおいて固定音声を再生する技術は、音声シーケンスの終端と始端との間の遷移を感知しないようにする。例えば、パノラマ式画像の一部が海のビューに対応する場合、ユーザは、波の音声を連続するように延長することが可能である。実施形態に従って、パノラマ式音像再生装置は発話シーケンスをフィルタリングする手段を有する。第1再生ループにおいては、音声データの集合が再生され、続いて、次のループについて、ユーザが新しいコマンドを導入しない限り、発話はフィルタリングされる。この実施形態に従って、音声シーケンスが記録され、固定部分がフィルタリングされるのはその音声シーケンスの再生時であり、特に、音声シーケンスの第2再生中である。このようにして、画像がスクリーンにおいてある時間表示されたまま保たれるとき、最終的に再生されるのは背景雑音(波、風、交通音声、カモメの鳴き声等)である。不完全であり、繰り返して聞こえるためにかなり不快であり得る発話は連続して再生されない。
実施形態に従って、写真に関連する音声シーケンスはモノラルであり、2つの音声シーケンスの混合は、2つの関連する写真が全体的に又は部分的にスクリーンにおいて再生さえるときに、実行される。一般に、シーケンスにおける音声レベルは、対応する写真の表示された比率に依存する。
他の実施形態に従って、音声シーケンスの記録は立体音声で行われる。このために、装置1は、写真が撮られるオブジェクトの左側及び右側をカバーする2つのマイクロフォンを有する。パノラマ式画像再生装置が音声再生装置を有する場合に、左側サウンドトラックは左側オーディオ記録の複数の音声を再生し、同様に、パノラマ式画像の表示部分が識別された写真に対応するときに、右側サウンドトラックは再生する。ユーザが、パノラマ式画像の変換を操作して、2つの写真の一部が表示されるとき、その装置は、フレーミングに従って音声を再生する。この場合、左側サウンドトラックは、左側に表示される写真に関連する右側オーディオ記録の音声を再生し、右側サウンドトラックは、右側に表示される写真に関連する左側オーディオ記録の音声を再生する。有利であることに、共通のビジュアル部分を有する2つの写真に関連する左側サウンドトラックと右側サウンドトラックとの間の混合が行われる。
操作変形に従って、ユーザは、複数の音像を撮る時間にパノラマ式画像のアセンブリを組織化することが可能である。この場合、複数の音像は、それらが撮られる順序に従って番号付けされ、パノラマ式画像がこの順序で複数の写真をアセンブルして生成される。カメラ1は、次から次へと撮られる順序付けられた写真の複数のシリーズが関連付けられることを可能にする特定のモードを有する。ユーザは、カメラをオフに切り換えることにより又はそのモードを変えることにより、パノラマ式画像を構成する写真の複数のシリーズの取得を終了させる。この変形は、画像のマニュアルアセンブリのステップ2.3を削除し、パノラマ式音像が直接得られることを可能にする。カメラは、その場合、パノラマ式音像を自己生成する、又は音像を生成するように結合される外部装置に複数のショット数を有する複数の写真を送信する。
本発明について、上で特定の例示としての実施形態について参照として記載しているが、本発明はそれらの実施形態に限定されるものではなく、同時提出の特許請求の範囲のみによって限定されるものである。方向キーと同等の何れかのナビゲーション手段が本発明の実施形態について適用されることが可能であることに留意されたい。写真のみに由来するのではない何れかの画像がパノラマ式画像を生成するのに用いられることが可能であることに留意されたい。

Claims (13)

  1. 複数の画像の順序付けられたリストを規定するステップを有するパノラマ式音像の再生方法であって、各々の画像が音声コンテンツに関連付けられる、再生方法であり:
    固定成分のみを保存するように、各々の画像の前記音声コンテンツをフィルタリングするステップ;
    “パノラマ式”と称せされる一意の画像を生成するように規定された順序に複数の画像を結合するステップであって、各々の音声コンテンツはそのコンテンツに関連付けられる画像を有する前記パノラマ式画像の一部に関連付けられる、ステップ;
    生成されたパノラマ式画像の少なくとも一部を表示するコマンドを導入するステップであって、前記コマンドはまた、前記パノラマ式画像の少なくとも表示されている一部に関連付けられる固定音声成分を連続的に再生する、ステップ;
    を有することを特徴とする再生方法。
  2. 請求項1に記載の再生方法であって、発話された言語を表す複数の音声をフィルタリングするステップであって、前記固定成分のみを保つように、音声コンテンツの再生の最初の発生の後に前記複数の音声を削除して音声コンテンツを再生する、ステップを有する、ことを特徴とする再生方法。
  3. 請求項1又は2に記載の再生方法であって、前記結合するステップは、視覚的遷移を示すように2つの画像に対して特定の特性を有する該2つの画像間に位置付けられるパノラマ式画像の少なくとも一部を精緻化するステップを有する、ことを特徴とする再生方法。
  4. 請求項1乃至3の何れか一項に記載の再生方法であって、前記複数の画像を生成する装置以外の他の装置に各々の画像のデータをダウンロードするステップであって、前記画の装置は、前記結合するステップ、表示するステップ及び音声コンテンツを再生するステップを実行する、ステップを有する、ことを特徴とする再生方法。
  5. 請求項1乃至4の何れか一項に記載の再生方法であって、前記パノラマ式画像の2つの部分が表示される場合、再生するステップは、モノラル音声を生成するように前記2つの部分と関連する音声コンテンツの2つの固定成分を混合するステップであって、前記固定成分の各々の音声レベルは前記関連する部分の表示比率に依存する、ステップを有する、ことを特徴とする再生方法。
  6. 請求項1乃至4の何れか一項に記載の再生方法であって、前記パノラマ式画像の一部に関連する前記音声コンテンツは立体音響であり、前記再生するステップは、前記関連するパノラマ式画像の一部の左側部分又は右側部分の表示における存在に従って前記音声コンテンツの左側サウンドトラック又は右側サウンドトラックの固定成分を継続して選択する、ことを特徴とする再生方法。
  7. 請求項1乃至4の何れか一項に記載の再生方法であって、前記パノラマ式画像の一部に関連する前記音声コンテンツは立体音響であり、2つの画像の一部が表示される場合に、前記右側画像の前記左側サウンドトラックの前記固定部分は前記右側サウンドトラックにおいて再生され、前記左側画像の前記右側サウンドトラックの前記固定部分は前記左側サウンドトラックにおいて再生される、ことを特徴とする再生方法。
  8. 複数の画像及び各々が画像に関連する複数の音声コンテンツのデータを記憶する手段;
    複数の画像の順序付けられたリストを規定することが可能であるコマンドを導入する手段;
    表示手段;及び
    音声再生手段;
    を有する再生装置であって、
    固定成分のみを保存するように各々の画像の音声コンテンツをフィルタリングする手段と、“パノラマ式”と称せされる一意の画像を生成するように規定された順序で複数の画像を結合する手段とを有し;
    各々の音声コンテンツは、該各々の温泉コンテンツに関連する前記画像を有する前記パノラマ式画像の一部に関連し;
    コマンドを導入する前記手段は、前記パノラマ式画像の一部の表示と、前記パノラマ式画像の少なくとも表示された一部に関連する少なくとも音声コンテンツの固定成分の連続的な再生をトリガする;
    ことを特徴とする再生装置。
  9. 請求項8に記載の再生装置であって、発話された言語を表す複数の音声をフィルタリングする手段であって、前記固定成分のみを保つように、音声コンテンツの再生の最初の発生の後に前記複数の音声を削除して音声コンテンツを再生する、手段を有する、ことを特徴とする再生装置。
  10. 請求項8又は9に記載の再生装置であって、前記結合する手段は、視覚的遷移を示すように2つの画像に対して特定の特性を有する該2つの画像間に位置付けられるパノラマ式画像の少なくとも一部を精緻化する手段を有する、ことを特徴とする再生装置。
  11. 請求項8乃至10の何れか一項に記載の再生装置であって、前記パノラマ式画像の2つの部分が表示される場合、再生する手段は、前記2つの部分と関連する音声コンテンツの2つの固定成分を混合し、モノラル音声を生成し、前記固定成分の各々の音声レベルは前記関連する部分の表示比率に依存する、ことを特徴とする再生装置。
  12. 請求項8乃至10の何れか一項に記載の再生装置であって、前記パノラマ式画像の一部に関連する前記音声コンテンツは立体音響であり、前記再生する手段は、前記関連するパノラマ式画像の一部の左側部分又は右側部分の表示における存在に従って前記音声コンテンツの左側サウンドトラック又は右側サウンドトラックの固定成分を継続して選択する、ことを特徴とする再生装置。
  13. 請求項8乃至10の何れか一項に記載の再生装置であって、前記パノラマ式画像の一部に関連する前記音声コンテンツは立体音響であり、2つの画像の一部が表示される場合に、前記右側画像の前記左側サウンドトラックの前記固定部分は前記右側サウンドトラックにおいて再生され、前記左側画像の前記右側サウンドトラックの前記固定部分は前記左側サウンドトラックにおいて再生される、ことを特徴とする再生装置。
JP2010509808A 2007-05-29 2008-05-27 パノラマ式音像の生成及び再生方法並びにパノラマ式音像の再生装置 Active JP5349463B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0755314A FR2916866A1 (fr) 2007-05-29 2007-05-29 Procede de creation et reproduction d'une image panoramique sonore, et appareil de reproduction d'une telle image
FR0755314 2007-05-29
PCT/EP2008/056516 WO2008145661A1 (fr) 2007-05-29 2008-05-27 Procede de creation et reproduction d'une image panoramique sonore, et appareil de reproduction d'une telle image

Publications (3)

Publication Number Publication Date
JP2010528546A true JP2010528546A (ja) 2010-08-19
JP2010528546A5 JP2010528546A5 (ja) 2011-07-14
JP5349463B2 JP5349463B2 (ja) 2013-11-20

Family

ID=38871769

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010509808A Active JP5349463B2 (ja) 2007-05-29 2008-05-27 パノラマ式音像の生成及び再生方法並びにパノラマ式音像の再生装置

Country Status (8)

Country Link
US (1) US8488014B2 (ja)
EP (1) EP2150853B1 (ja)
JP (1) JP5349463B2 (ja)
KR (1) KR101398032B1 (ja)
CN (1) CN101681088B (ja)
AT (1) ATE549859T1 (ja)
FR (1) FR2916866A1 (ja)
WO (1) WO2008145661A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5779938B2 (ja) * 2011-03-29 2015-09-16 ソニー株式会社 プレイリスト作成装置、プレイリスト作成方法及びプレイリスト作成プログラム
JP5992210B2 (ja) * 2012-06-01 2016-09-14 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
CN104601880B (zh) * 2014-12-11 2018-03-27 广东欧珀移动通信有限公司 一种生成全景照片的方法及移动终端
US10310719B2 (en) * 2015-06-09 2019-06-04 Whatsapp Inc. Techniques for media album display and management
CN105045840A (zh) * 2015-06-30 2015-11-11 广东欧珀移动通信有限公司 一种图片展示方法及移动终端
US10261749B1 (en) * 2016-11-30 2019-04-16 Google Llc Audio output for panoramic images
CN114513698B (zh) * 2020-11-16 2023-08-22 中国联合网络通信集团有限公司 一种全景声播放系统及方法
CN115134581A (zh) * 2022-08-30 2022-09-30 四川中绳矩阵技术发展有限公司 一种图像和声音的融合重现方法、系统、设备及存储介质
CN115225884A (zh) * 2022-08-30 2022-10-21 四川中绳矩阵技术发展有限公司 一种图像和声音的交互式重现方法、系统、设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0683391A (ja) * 1992-09-04 1994-03-25 Matsushita Electric Ind Co Ltd テレビ会議用発言音声検出装置
JP2003524906A (ja) * 1998-04-14 2003-08-19 ヒアリング エンハンスメント カンパニー,リミティド ライアビリティー カンパニー 聴覚障害および非聴覚障害リスナーの好みに合わせてユーザ調整能力を提供する方法および装置
JP2005159731A (ja) * 2003-11-26 2005-06-16 Canon Inc 撮像装置
JP2005223519A (ja) * 2004-02-04 2005-08-18 Seiko Epson Corp 画像保存装置、画像保存方法および自動保存システム
US20060120624A1 (en) * 2004-12-08 2006-06-08 Microsoft Corporation System and method for video browsing using a cluster index
JP2006203860A (ja) * 2004-12-24 2006-08-03 Fuji Photo Film Co Ltd 撮像装置、撮像方法、再生装置、再生方法、及びプログラム
WO2007038198A2 (en) * 2005-09-26 2007-04-05 Eastman Kodak Company Image capture method and device also capturing audio

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6459451B2 (en) * 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image
US7415120B1 (en) * 1998-04-14 2008-08-19 Akiba Electronics Institute Llc User adjustable volume control that accommodates hearing
EP1099343A4 (en) * 1998-05-13 2007-10-17 Infinite Pictures Inc PANORAMIC FILMS SIMULATING A DISPLACEMENT IN A MULTI-DIMENSIONAL SPACE
US6532690B1 (en) * 1998-08-26 2003-03-18 Eastman Kodak Company System and article for displaying a lenticular image with sound
US20020075295A1 (en) * 2000-02-07 2002-06-20 Stentz Anthony Joseph Telepresence using panoramic imaging and directional sound
US7668455B2 (en) * 2004-12-20 2010-02-23 Fujifilm Corporation Image capturing apparatus, image capturing method, reproducing apparatus, reproducing method and program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0683391A (ja) * 1992-09-04 1994-03-25 Matsushita Electric Ind Co Ltd テレビ会議用発言音声検出装置
JP2003524906A (ja) * 1998-04-14 2003-08-19 ヒアリング エンハンスメント カンパニー,リミティド ライアビリティー カンパニー 聴覚障害および非聴覚障害リスナーの好みに合わせてユーザ調整能力を提供する方法および装置
JP2005159731A (ja) * 2003-11-26 2005-06-16 Canon Inc 撮像装置
JP2005223519A (ja) * 2004-02-04 2005-08-18 Seiko Epson Corp 画像保存装置、画像保存方法および自動保存システム
US20060120624A1 (en) * 2004-12-08 2006-06-08 Microsoft Corporation System and method for video browsing using a cluster index
JP2006203860A (ja) * 2004-12-24 2006-08-03 Fuji Photo Film Co Ltd 撮像装置、撮像方法、再生装置、再生方法、及びプログラム
WO2007038198A2 (en) * 2005-09-26 2007-04-05 Eastman Kodak Company Image capture method and device also capturing audio

Also Published As

Publication number Publication date
JP5349463B2 (ja) 2013-11-20
US8488014B2 (en) 2013-07-16
EP2150853A1 (fr) 2010-02-10
CN101681088A (zh) 2010-03-24
KR101398032B1 (ko) 2014-05-22
FR2916866A1 (fr) 2008-12-05
EP2150853B1 (fr) 2012-03-14
CN101681088B (zh) 2012-10-24
KR20100017242A (ko) 2010-02-16
ATE549859T1 (de) 2012-03-15
US20100321512A1 (en) 2010-12-23
WO2008145661A1 (fr) 2008-12-04

Similar Documents

Publication Publication Date Title
JP5349463B2 (ja) パノラマ式音像の生成及び再生方法並びにパノラマ式音像の再生装置
JPH11219446A (ja) 映像音響再生システム
JP5429495B2 (ja) 録画装置及び録画プログラム
JP2007529951A (ja) 動画シーケンス合成用ディジタルビデオシステム
JP2010093671A (ja) カメラ、再生装置、および再生方法
JP2005094713A (ja) データ表示システム、データ表示方法、プログラムおよび記録媒体
KR101425950B1 (ko) 사진의 소리 열을 생성하기 위한 방법 및 그러한 소리 열을 생성하고 재생하기 위한 장치
JP4953137B2 (ja) 全周映像のための表示技術
JP2010258917A (ja) 撮影装置、プログラム、及び撮影方法
JP2022176206A (ja) 情報処理装置、動画合成方法及び動画合成プログラム
JP5201540B2 (ja) カラオケ装置及びカラオケ歌唱者の静止画出力方法
KR101285382B1 (ko) 동영상 편집 기능을 구비한 동영상 촬영 장치 및 방법
KR101405091B1 (ko) 개인영상 제작시스템
JP6544147B2 (ja) 歌唱動画作成装置及び歌唱動画作成システム
JP5509287B2 (ja) 再生表示装置、再生表示プログラム、再生表示方法、および画像処理サーバー
JP2019096950A (ja) 撮像装置、撮像方法及び撮像プログラム
JP2008236708A (ja) バーチャル撮影スタジオの媒体制作装置
JP6643081B2 (ja) アルバム動画生成装置、アルバム動画生成方法及びプログラム
JP3043330B1 (ja) 撮影画像処理装置
JP5106240B2 (ja) 画像処理装置および画像処理サーバー
JP4790670B2 (ja) 画像表示システムおよび画像表示方法
JP2006138972A (ja) プロジェクタ
JP2015037212A (ja) 情報処理装置、撮影機器及び情報処理方法
Pogue IMovie 6 & IDVD: The Missing Manual
JP2009177515A (ja) 光学機器

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110525

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130820

R150 Certificate of patent or registration of utility model

Ref document number: 5349463

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250