JP2007081466A - 画像処理装置及び方法 - Google Patents

Abstract

【課題】 静止画ムービーに、記録媒体に記録された動画ファイルから抽出した適切な音声データを付加して、音声付静止画ムービーを作成することを課題とする。
【解決手段】 静止画像データを含む静止画ファイルと、動画像データと音声データとからなる動画ストリームを含む動画ファイルとが記録された記録媒体から前記静止画ファイルと前記動画ファイルとを再生する再生手段と、静止画像データと動画ファイル中の音声データとを用いて新たな動画ストリームを生成する生成手段（４０１〜４０４）とを有する画像処理装置が提供される。
【選択図】 図４

Description

本発明は、画像処理装置及び方法に関する。

近年、ＤＶＤなどの大容量記録媒体を利用したデジタルビデオカメラが普及している。このようなデジタルビデオカメラは、動画像撮影機能と静止画撮影機能をもつものが一般的である。例えば、動画像はＭＰＥＧ方式、静止画像はＪＰＥＧ方式で符号化してＤＶＤに記録される。

しかし、ＤＶＤ再生機器には動画像のデコーダしか搭載していないものも多く、そのような再生機器では静止画像をデコードすることができず、ユーザは静止画を利用することが出来ない。

上記問題を解決する手段として、静止画像データをＭＰＥＧ方式のIピクチャに変換して動画ストリーム（以下、静止画ムービー）として新たに記録する方法が知られている（特許文献１参照）。

特開２００４―２０１１７０号公報

ところが、前記特許文献１は、静止画像データから映像のみの動画像データ（静止画ムービー）を作成し記録する手段を開示しており、音声データを付加する手段は開示していない。

本発明は、前記静止画ムービーに、前記記録媒体に記録された動画ファイルから抽出した適切な音声データを付加して、音声付静止画ムービーを作成することを目的とする。

本発明の画像処理装置は、静止画像データを含む静止画ファイルと、動画像データと音声データとからなる動画ストリームを含む動画ファイルとが記録された記録媒体から前記静止画ファイルと前記動画ファイルとを再生する再生手段と、前記静止画像データと前記動画ファイル中の音声データとを用いて新たな動画ストリームを生成する生成手段とを有することを特徴とする。
また、本発明の画像処理方法は、静止画像データを含む静止画ファイルと、動画像データと音声データとからなる動画ストリームを含む動画ファイルとが記録された記録媒体を用いた画像処理方法であって、前記静止画像データと前記動画ファイル中の音声データとを用いて新たな動画ストリームを生成する生成ステップを有することを特徴とする。

静止画像データに適切な音声データを容易に付加することができるので、音声付静止画ムービーとして視聴することが可能となる。また、音声付静止画ムービーは記録媒体に記録することが可能であり、静止画再生手段を備えていない再生装置においても再生が可能である。

以下に、この発明の最良の実施形態を例示的に詳細に説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。

図１は、本発明の実施形態によるデジタルビデオカメラ（画像処理装置）の構成例を示すブロック図である。図１において、１０１は撮像部、１０２はマイク（マイクロフォン）、１０３は記録系回路であり、撮像部１０１及びマイク１０２より得られた画像データ、音声データを圧縮、符号化する。１０４はディスクＩ／Ｆ（インターフェース）であり、記録系回路１０３から出力されたデータを所定の形式にフォーマット化し、ファイルデータとして光ディスク１０５に対して記録再生する。１０６は後述する音声付静止画ムービーを作成するための編集系回路、１０７はディスクＩ／Ｆ１０４を介してディスク１０５からデータファイルを再生する再生系回路である。１０８，１０９はそれぞれ画像データ、音声データの出力端子である。１１０は撮像部１０１、再生系回路１０７から出力される画像データに係る画像を表示するＬＣＤ（液晶表示器）である。１１１はデジタルビデオカメラの動作を制御するシステムコントロール部（以下シスコン）、１１２は電源スイッチ、記録トリガ、再生スイッチ、停止スイッチあるいは再生リストの編集スイッチなどを含む操作部である。

次に、通常の記録モードにおける動作について説明する。操作部１１２により動画撮影モードがセットされ、記録トリガにより記録開始が指示されると、シスコン１１１は記録系回路１０３を制御して記録を開始する。記録系回路１０３は撮像部１０１及びマイク１０２より得られた画像データ及び音声データを符号化し、所定の形式にてディスクＩ／Ｆ１０４に出力する。ディスクＩ／Ｆ１０４は所定のファイル形式に従うヘッダなどの付加情報を付加して記録系回路１０３から出力されるデータ列をフォーマット化し、ディスク１０５に対して記録する。

また、操作部１１２により静止画撮影モードがセットされ、記録トリガにより静止画撮影が指示されると、シスコン１１１は記録系回路１０３を制御して記録を開始する。記録系回路１０３は撮像部１０１より得られた画像データを符号化し、所定の形式にてディスクＩ／Ｆ１０４に出力する。ディスクＩ／Ｆ１０４は所定のファイル形式に従うヘッダなどの付加情報を付加して記録系回路１０３から出力されるデータ列をフォーマット化し、ディスク１０５に対して記録する。

図２は記録系回路１０３及びその周辺回路の要部構成例を示す図である。図２において、撮像部１０１からの画像データは画像信号処理部２０１に出力される。画像処理部２０１は撮像部１０１からの画像データに対して符号化フォーマットに従うサブサンプルなどの処理を施し、画像データ符号化部２０２に出力する。画像データ符号化部２０２は画像信号処理部２０１からの画像データをＭＰＥＧ２あるいはＪＰＥＧの規格に従って符号化し、データ符号化処理部２０６に出力する。また、画像データ符号化部２０２は一つのデータファイルの代表画像を示すサムネイル画像データを生成し、データ符号化処理部２０６に出力する。

また、マイクロフォン１０２からの音声データは音声信号処理部２０３に出力される。音声信号処理部２０３はマイクロフォン１０２からの音声データをデジタルデータに変換し、更に、ノイズ抑圧や増幅等の処理を施し、音声データ符号化部２０４に出力する。音声データ符号化部２０４は音声信号処理部２０３からの音声データをＭＰＥＧ２の規格に従って符号化し、データ符号化処理部２０６に出力する。

データ符号化処理部２０６は符号化された画像データと音声データとを、ＭＰＥＧ２トランスポートストリーム、或いは、ＪＰＥＧファイルの形式に変換し、ディスクＩ／Ｆ１０４に出力する。

また、メタデータ生成部２０５は、撮影日時などの撮影情報を示すメタデータを生成し、データ符号化処理部２０６に出力する。データ符号化処理部２０６は、これらのメタデータを動画像、音声データファイル或いは静止画ファイルのヘッダあるいはフッタに記録するよう配置し、ディスクＩ／Ｆ１０４に出力する。

本実施形態のデジタルビデオカメラにおいては、記録開始のトリガから記録停止のトリガの間に撮影、入力された動画像データ、音声データを一つの動画ファイルとして記録する。また、静止画撮影時には、１回の静止画撮影指示にて撮影した１画面の画像データを静止画ファイルとして記録する。

そして、データ符号化処理部２０６はメタデータ生成部２０５からのメタデータ及び、画像データ符号化部２０２からのサムネイル画像データを各ファイルのヘッダあるいはフッタに格納する。ヘッダにはこの他、ファイル名なども記録される。

次に、通常の再生時の動作について説明する。操作部１１２により再生モードがセットされると、シスコン１１１は再生系回路１０７を制御して、ディスク１０５に記録されているデータファイルのサムネイル画像をＬＣＤ１１０に表示する。ユーザはＬＣＤ１１０に表示されたサムネイルを確認し、操作部１１２を操作して再生を希望するファイルを選択する。シスコン１１１は再生すべきファイルが指定されると、再生系回路１０７を制御して再生中のファイルに関するメタデータの情報をＬＣＤ１１０に表示する。

再生系回路１０７はディスクＩ／Ｆ１０４を介してディスク１０５より指定されたファイルを再生し、そのファイル内の画像データ、音声データを復号して出力端子１０８，１０９より出力すると共に、再生された画像をＬＣＤ１１０に表示する。

図３は再生系回路１０７及びその周辺回路の構成例を示す図である。図３において、ディスクＩ／Ｆ１０４により再生されたデータはデータ復号処理部３０２に出力される。データ復号処理部３０２は再生されたデータ列より画像データ、音声データを検出し、更に、ファイルのヘッダ、フッタよりメタデータを検出する。そして、画像データを画像データ復号部３０３に出力する。

画像データ復号部３０３はデータ復号処理部３０２から出力された画像データを復号し、画像出力部３０５に出力する。画像出力部３０５は復号された画像データを外部モニタやその他外部機器にて処理するのに適した形式に変換し、出力端子１０８及びＬＣＤ１１０に出力する。

音声データ復号部３０４はデータ復号処理部３０２から出力された音声データを復号し、音声出力部３０６に出力する。音声出力部３０６は復号された音声信号を外部機器にて処理するのに適した形式に変換し、出力端子１０９に出力する。

次に、本実施形態による音声付静止画ムービー作成機能について説明する。ここで述べる静止画ムービーとは、前述のように、複数の静止画像データをＭＰＥＧ（Moving Picture Experts Group）方式のＩピクチャに変換し、新たな動画像データとして扱えるようにしたものである。Ｉピクチャは、フレーム符号化ピクチャであり、そのフレーム画像だけで符号化する画像である。

本実施形態では、静止画像に最も関連性があると予想される動画ファイルから音声データを抽出し、前記静止画ムービー作成の際に付加する手段を備えている。

以下、音声データの抽出方法及び音声付静止画ムービー作成の処理について説明する。
図４は、図１における編集系回路１０６及びその周辺回路の構成例を示す図である。ユーザが操作部１１２を操作して音声付静止画ムービーの作成を実行するか、シスコン１１１があるタイミング（例えば、ファイナライズ時）において音声付静止画ムービーを作成すべきであると判断した場合は、次の処理を指示する。すなわち、編集系回路１０６で音声付静止画ムービーの作成が行われる。

シスコン１１１は編集系回路１０６を制御し、音声付静止画ムービーの作成を実行する。まず、データ解析部４０１により、ディスク１０５に記録されている静止画像データの解析を行う。このとき、データ解析部４０１は、静止画像データに付加したメタデータから静止画像撮影時刻情報を読み取り内部メモリに記録する。これを全ての静止画像データにおいて行う。

次に、データ解析部４０１は、前記静止画像撮影時刻と同時刻あるいはその近傍の時刻に撮影された動画像ファイルがディスク１０５に記録されているか否かを検出する。これにより、静止画像と動画像の関連付けが行われる。なお、どの範囲までを近傍の時刻に撮影されたものであると捉えるかは、操作部１１２をユーザが操作して時間の範囲を設定することができるものとする。

上記手段において、静止画像に関連付けられる動画像が存在しない場合は、その静止画像を静止画ムービーに含めるか否かをユーザは操作部１１２により選択する。静止画ムービーに含める場合は無音としても良いし、別の手段により音楽や効果音などを付加しても良い。

このように関連付けられる動画像ファイルがディスク１０５に存在した場合、データ解析部４０１はその関連した動画像ファイルをディスクＩ／Ｆ１０４を介してディスク１０５より再生し、音声抽出部４０２に出力する。音声抽出部４０２では、再生された動画ファイルより各静止画像に関連付けられた音声データを抽出する。音声の抽出箇所は自動でも手動でも良い。自動の場合は、音声抽出部４０２がランダムに音声を予め定められた所定時間分抽出する。

また、同一の動画ファイルに関連付けられた静止画ファイルが複数存在する場合は、それらの静止画像を静止画ムービーとして再生する時間分の音声をまとめて抽出することを可能とする。例えば、静止画１枚当たりの再生時間が３秒であり、同一の動画に関連付けられた静止画が３枚であった場合、３秒×３枚＝９秒の連続した音声データを動画像ファイルから抽出する。

図５は、関連付けの様子を示す図である。以下、図５を例に説明する。ディスクに、３つの動画像I〜IIIと５枚（５画面）の静止画（１）〜（５）が記録されている。データ解析部４０１では、自動的に静止画像の撮影時間と同時刻あるいはその近傍で撮影された動画像を静止画像に関連付ける。図５の場合、静止画像（１）は動画像I、静止画像（２）と（３）は動画像II、動画像（４）は静止画像IIIに関連付けられる。その後、前述の音声抽出部４０２によって、関連付けの行われた動画ファイルから音声データを抽出することになる。静止画像（５）は、撮影時間と同時刻あるいはその近傍において撮影された動画像が存在しないため関連付けは行われない。従って、静止画像（５）を静止画ムービーに含めないか、音声無し静止画として静止画ムービーに含めるか、あるいは新たな音声データ（音楽や効果音等）を付加して静止画ムービーに含めるかを、ユーザの選択設定によって決められる。

上述の手段において、動画ファイルより抽出された音声データは音声付静止画ムービー作成部４０４に出力される。一方、データ解析部４０１はフォーマット変換部４０３に静止画像を出力する。フォーマット変換部４０３では、ＪＰＥＧの静止画像をＭＰＥＧ方式のＩピクチャ形式に変換する。変換後のデータは、音声付静止画ムービー作成部４０４に出力される。

音声付静止画ムービー作成部４０４では、音声抽出部４０２より出力された音声データとフォーマット変換部４０３により出力されたＩピクチャ変換後の静止画データを合成し、新規動画ストリーム（音声付静止画ムービー）を作成する。音声付静止画ムービー作成部４０４は、上記の音声データとＩピクチャをＭＰＥＧ形式に符号化し、新規動画ストリームを生成する。

新規動画ストリーム（音声付静止画ムービー）は、記録系回路１０３に出力される。記録系回路１０３は、最終的に新規動画ストリームを含む動画ファイルをディスク１０５に記録する。

また、前述した実施形態は、動画フォーマット、静止画フォーマットとしてそれぞれＭＰＥＧ、ＪＰＥＧを例に説明しているが、これらのフォーマットだけに限定するものでないことは言うまでもない。

また、前述した実施形態は、光ディスクを記録媒体として用いているが、それに限定するものではない。ハードディスクや半導体メモリなどの記録媒体にも、この発明を適用することが可能である。

以上のように、本実施形態によれば、記録媒体に対して画像データを記録する記録手段と、前記記録媒体に記録された画像データの再生手段と、前記記録媒体に記録された動画像と静止画像から音声付静止画ムービーを生成する手段を備える構成とした。記録媒体には、静止画像データを含む静止画ファイルと、動画像データと音声データとからなる動画ストリームを含む動画ファイルとが記録されている。このように、動画ファイルと静止画ファイルが記録された１つの記録媒体から、記録（撮影）時刻といった撮影情報から動画ファイルと静止画ファイルの関連付けができる。そして、その動画ファイルから音声データを抽出する。そして、静止画像データをＭＰＥＧ方式のＩピクチャに変換し、抽出した音声データを付加することにより、新たな動画ストリーム（音声付静止画ムービー）を作成することが可能である。また、前記静止画ムービーを同一記録媒体に記録することも可能である。

本実施形態によれば、静止画ムービーに最適な音声を容易に付加することで、音声付静止画ムービーとして視聴することが可能となる。また、音声付静止画ムービーは記録媒体に記録することが可能であり、静止画再生手段を備えていない再生機器においても再生が可能である。また、１つの記録媒体に記録された動画像と静止画像から、音声付静止画ムービーを容易に生成、記録できる。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の実施形態によるデジタルビデオカメラの構成例を示す図である。 記録系回路の構成例を示す図である。 再生系回路の構成例を示す図である。 編集系回路の構成例を示す図である。 動画像と静止画像の関連付けの様子を示す図である。

符号の説明

１０１ 撮像部
１０２ マイクロフォン
１０３ 記録系回路
１０４ ディスクＩ／Ｆ
１０５ ディスク
１０６ 編集系回路
１０７ 再生系回路
１０８ 映像出力端子
１０９ 音声出力端子
１１０ ＬＣＤ
１１１ システムコントロール部
１１２ 操作部
４０１ データ解析部
４０２ 音声抽出部
４０３ フォーマット変換部
４０４ 音声付静止画ムービー作成部

Claims (9)

1. 静止画像データを含む静止画ファイルと、動画像データと音声データとからなる動画ストリームを含む動画ファイルとが記録された記録媒体から前記静止画ファイルと前記動画ファイルとを再生する再生手段と、
   前記静止画像データと前記動画ファイル中の音声データとを用いて新たな動画ストリームを生成する生成手段と
   を有することを特徴とする画像処理装置。
2. 前記生成手段は、前記記録媒体に記録された複数の前記動画ファイルのうち、前記静止画像データと関連性を持つ動画ファイル中の音声データを用いて前記新たな動画ストリームを生成することを特徴とする請求項１記載の画像処理装置。
3. 前記生成手段は、前記記録媒体に記録された複数の静止画像データとそれぞれに関連性を持つ動画ファイル中の音声データとを用いて前記新たな動画ストリームを生成することを特徴とする請求項２記載の画像処理装置。
4. 前記生成手段は、前記動画ファイル及び前記静止画ファイルの記録時刻情報を用いて前記関連性の有無を判別することを特徴とする請求項２又は３記載の画像処理装置。
5. 前記動画ファイル中の動画像データ及び音声データは所定の符号化形式で符号化されており、前記生成手段は、前記静止画像データ及び前記音声データを前記所定の符号化形式で符号化することにより新たな動画ストリームを生成することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記生成手段は、１画面の前記静止画像データについて前記動画ファイル中の音声データから所定期間の音声データを抽出し、前記抽出された所定期間の音声データと前記１画面の静止画像データとから前記所定期間の動画ストリームを生成することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. さらに、前記生成手段により生成された新たな動画ストリームを含む動画ファイルを前記記録媒体に記録する記録手段を有することを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記生成手段は、前記静止画像データをＭＰＥＧ方式のＩピクチャに変換し、前記新たな動画ストリームを生成することを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
9. 静止画像データを含む静止画ファイルと、動画像データと音声データとからなる動画ストリームを含む動画ファイルとが記録された記録媒体を用いた画像処理方法であって、
   前記静止画像データと前記動画ファイル中の音声データとを用いて新たな動画ストリームを生成する生成ステップを有することを特徴とする画像処理方法。

Images