JP2007096533A

JP2007096533A - 画像処理装置及び方法

Info

Publication number: JP2007096533A
Application number: JP2005280795A
Authority: JP
Inventors: Naoyuki Murakami; 尚之村上
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-09-27
Filing date: 2005-09-27
Publication date: 2007-04-12

Abstract

【課題】静止画像から動画像へ変換した後のデータ量を小さくすることを課題とする。
【解決手段】所定期間内に１画面の静止画像データを記録する第１の記録モードと、所定期間内に複数画面の静止画像データを記録する第２の記録モードとを有し、撮像手段により撮像された画像データを静止画像データとして記録媒体に記録する記録手段と、記録媒体に記録された複数画面の静止画像データを符号化することにより、複数画面の静止画像データを動画像データに変換する符号化手段とを有し、符号化手段は、静止画像データが第１の記録モードで記録された場合には画面内符号化により符号化し、静止画像データが第２の記録モードで記録された場合には画面間予測符号化を用いて符号化する画像処理装置が提供される。
【選択図】図６

Description

本発明は、画像処理装置及び方法に関する。

DVD等を記録媒体として用い、これに静止画像や動画像を記録するデジタルビデオカメラなどの映像記録装置がある。このような記録装置では同じ記録媒体に動画像と静止画像をそれぞれ個別に記録している。

そのため、動画像と静止画像が記録された記録媒体を他の再生装置で再生するためにはそれぞれの記録方式に対応した再生装置が必要となる。

記録媒体としてDVDを用いる場合、動画像を記録する際には符号化方式としてMPEGを用いたDVD VIDEO規格やDVD VIDEO RECODING規格で記録を行う。

静止画像を記録する場合には、符号化方式としてJPEGを用いてexif規格やDCF規格などで記録を行う。

このように、動画像と静止画像で記録方式が異なっていると、その両方を再生するためには、再生機器で両方の方式に対応している必要があり、MPEGとJPEGの両方のデコーダを持っている必要がある。

したがって、MPEGデコーダのみしか持っていないDVDプレーヤなどの再生機器では静止画像が記録された記録媒体を再生しようとしても、動画像の部分しか再生することができず、静止画像を表示することができない。

このため、静止画像をMPEGのIピクチャに変換して記録しておくことで、MPEGデコーダのみを有するDVDプレーヤなどの再生機器でMPEGとして静止画像を再生することが考えられている。（例えば、特許文献１、２参照。）

特開２００４−２０１１７０号公報特開２００４−２９７２２９号公報

MPEGデコーダのみしか有しない再生機器で静止画像を再生するためにJPEG形式のファイルをMPEGのIピクチャに変換する場合、記録媒体の空き領域に変換したデータをMPEG形式のストリームとして記録する。

通常、動画像データより静止画像データの解像度が高いため、静止画像から動画像へ変換する際に解像度が下がり画質が劣化してしまう。したがって、静止画像データは静止画像の再生に対応した再生機器で高画質に再生するために、MPEGデータへ変換した後も記録媒体上に残しておく。また、DVD-Rなどの追記型記録媒体の場合には、一度記録したものは消去することができないため、一度媒体に記録した静止画像は消すことができず、記録媒体上に残ることとなる。

したがって、変換後の記録媒体には元となった静止画像と変換したMPEGファイルの両方が存在しており、冗長な情報が存在していることとなる。

また、動画像や静止画像を撮り終えたあとの空き領域に、変換したデータを記録するための空き領域が不足し、変換したデータが空き領域より大きくなった場合には変換したデータを記録できないといった問題がある。

さらに、変換後のデータを保存する領域を予め確保しておいた場合、確保した分の動画像や静止画像に割り当てられる記録容量が減少し、撮影時間、撮影枚数が少なくなることとなる。

したがって、静止画像から動画像へ変換した後の動画像のデータ量は可能な限り小さいほうがよい。

本発明は、静止画像から動画像へ変換した後のデータ量を小さくすることで、以上の問題点を解決することを目的としている。

本発明の画像処理装置は、所定期間内に１画面の静止画像データを記録する第１の記録モードと、前記所定期間内に複数画面の静止画像データを記録する第２の記録モードとを有し、撮像手段により撮像された画像データを静止画像データとして記録媒体に記録する記録手段と、前記記録媒体に記録された複数画面の静止画像データを符号化することにより、前記複数画面の静止画像データを動画像データに変換する符号化手段とを有し、前記符号化手段は、前記静止画像データが前記第１の記録モードで記録された場合には画面内符号化により符号化し、前記静止画像データが前記第２の記録モードで記録された場合には画面間予測符号化を用いて符号化することを特徴とする。
また、本発明の画像処理装置は、撮像手段により撮像された画像データを静止画像データとして記録媒体に記録する記録手段と、前記記録媒体に記録された複数画面の静止画像データを符号化することにより、前記複数画面の静止画像データを動画像データに変換する符号化手段とを有し、前記符号化手段は、前記複数画面の静止画像データが所定期間内に撮影されたものである場合には画面間予測符号化を用いて符号化することを特徴とする。
また、本発明の画像処理方法は、所定期間内に１画面の静止画像データを記録する第１の記録モードと、前記所定期間内に複数画面の静止画像データを記録する第２の記録モードとを有し、撮像手段により撮像された画像データを静止画像データとして記録媒体に記録する記録ステップと、前記記録媒体に記録された複数画面の静止画像データを符号化することにより、前記複数画面の静止画像データを動画像データに変換する符号化ステップとを有し、前記符号化ステップは、前記静止画像データが前記第１の記録モードで記録された場合には画面内符号化により符号化し、前記静止画像データが前記第２の記録モードで記録された場合には画面間予測符号化を用いて符号化することを特徴とする。
また、本発明の画像処理方法は、撮像手段により撮像された画像データを静止画像データとして記録媒体に記録する記録ステップと、前記記録媒体に記録された複数画面の静止画像データを符号化することにより、前記複数画面の静止画像データを動画像データに変換する符号化ステップとを有し、前記符号化ステップは、前記複数画面の静止画像データが所定期間内に撮影されたものである場合には画面間予測符号化を用いて符号化することを特徴とする。

静止画像データに連写を行ったデータがある場合、静止画像データから変換された動画像データのサイズを小さくすることができる。

以下、図面を参照しながら本発明の好適な実施の形態を説明する。
図１は、本発明の実施形態におけるビデオカメラ（画像処理装置）の構成例を示す図である。以下、DVDを記録媒体としたビデオカメラとして説明する。

本実施形態のDVDビデオカメラは、カメラ部１００と、エンコード部１０１と、ディスクアクセス時に用いるバッファメモリ１０２と、DVDへの書き込み、読み出しを行うディスクアクセス部１０３を備えている。エンコード部１０１は、MPEGエンコーダ及びJPEGエンコーダを有する。カメラ部１００は、画像を撮像する撮像手段である。

また、ディスク（DVD）１０４に記録されている静止画像、あるいは動画像データであるJPEG、MPEGファイルを元の映像に戻すデコード部１０５と、その映像を表示するLCD（液晶表示器）１０８、LCDコントローラ１０７を備えている。同時に外部出力端子１０６へ映像信号を出力することが可能である。デコード部１０５は、JPEGデコーダ及びMPEGデコーダを有する。

また、CPU１１０はCPUバス１０９により、ROM１１１、RAM１１２、操作部１１３、およびその他のブロックに接続され、CPU１１０より各接続ブロックを制御することができる。操作部１１３はユーザによる各種の操作キーやつまみなどの入力をCPU１１０に伝えることができ、ユーザからの指示に対して、各種処理を行うことができる。

次に記録時の動作について説明する。本実施形態のDVDビデオカメラのカメラ部１００は、映像を電気信号として入力するCCDを備え、また、電子式シャッタ機能も備える。

ユーザにより、操作部１１３から映像記録指示が与えられると、CPU１１０はカメラ部１００より映像データを読み込み動画像の場合はMPEGエンコーダ、静止画像の場合はJPEGエンコーダに入力され、それぞれの符号化方式で符号化される。符号化されたデータはDVDの規格に沿ってフォーマットされてバッファ１０２に入力される。

動画撮影時には、MPEGエンコーダは、カメラ部１００により撮像された動画像データを、Iピクチャ、Pピクチャ又はBピクチャを画面毎に選択して符号化する。ディスクアクセス部１０３は、符号化された動画像データを記録メディア１０４に記録する。

Ｉピクチャは、画面内符号化ピクチャであり、その画面画像だけで符号化する画像である。Pピクチャは、画面間予測符号化ピクチャであり、過去のIピクチャ又はPピクチャを参照ピクチャとして、参照ピクチャとの差分データを符号化する。Bピクチャは、画面間双方向予測符号化ピクチャであり、過去と将来のIピクチャ又はPピクチャを参照ピクチャとして、参照ピクチャとの差分データを符号化する。

本実施形態のビデオカメラは、静止画撮影時の撮影モードとして単写モードと連写モードを持つ。単写モードは、ユーザが操作部１１３のシャッタボタンの所定期間内に１回だけ押して１画面の静止画像を記録するモードである。また、連写モードは、シャッタボタンが押されて撮影が指示されてから所定期間内に再び撮影指示があった場合に、ピントやシャッタ速度などを変更せずに複数画面の静止画像を記録するモードである。本実施形態では、静止画像データを記録する際、単写モードなのか、連写モードなのかを識別する情報を静止画像データに付加して記録する。

CPU１１０からディスクアクセス部１０３が制御され、バッファメモリ１０２からフォーマットされたデータが記録媒体１０４へ記録される。

このようにして、DVDビデオカメラはDVDへ動画像をMPEGデータとして、静止画像をJPEGデータとして記録できるようになっている。

つぎに静止画像を動画像のフォーマットに変換する手順を説明する。
DVDビデオカメラにおいてはユーザからの指示によって静止画像から動画像への変換を開始する。例えば、ファイナライズをきっかけとして変換処理を開始する。

ユーザより指示があると、ディスクアクセス部１０３より記録メディア１０４内のすべての静止画像であるJPEGファイルを読み出し、それぞれMPEG方式のIピクチャ形式に変換し、動画像のフォーマットMPEGで記録メディア１０４に追記する。

DVDのフォーマット規格では図２のような形式でDVD上に記録される。１つのVMG（ビデオマネージャ）と複数のVTS（ビデオタイトルセット）が存在し、VMGはVTSを再生するために必要なVTSの管理情報が格納され、VTSには動画像のコンテンツ自体が格納されている。

JPEGに関しては独立したJPEGファイルとして、撮影時点での記録メディア１０４の空き領域の先頭に記録される。したがって、動画像と静止画像を交互に撮影した場合、VTSとJPEGファイルが交互に記録される。

DVDビデオフォーマットの場合には、VTSの状態に応じてVMGを作成しなければならず、記録メディア１０４がDVD-Rの場合は追記のみしかできないため記録の最後にVMGを作成するという処理（ファイナライズとよばれる）が必要となる。また、VMGがないと一般のDVDプレーヤ等の再生機器では撮影データを再生することができない。さらに、一度ファイナライズを行うと追記ができなくなるため、記録媒体１０４に十分に画像を記録し、もうこの媒体１０４には記録しないと言った状態になったときにのみファイナライズを行うという使い方が一般的である。

したがって、静止画像を動画像に変換する際には、このファイナライズ処理とともに変換を行うことが都合がよい。

動画像と静止画像を交互に撮影した場合は図２のようにVTSとJPEGファイルが交互に並んで記録されることとなる。

ユーザによってファイナライズの指示が出されると、すべての静止画像（JPEGファイル）を記録メディア１０４から読み込む。そして、すでに撮影済みの動画像データである最後のVTS（VTSｎ）の次に、読み込んだ静止画像データから変換したMPEGを新たなVTS（VTSｎ＋１）として記録メディア１０４に追加記録する。

また、ここで、Cell Still Timeと呼ばれる領域に静止画を表示する時間を入れる、またはSequence_end_codeをMPEGの各ピクチャの後に付加しておく。これにより、DVDプレーヤ等の再生機器で、静止画像を１枚再生するごとに停止するといったことや、３秒ごとに静止画が切り替わるスライドショーのような再生が可能となる。

この後、変換したVTSを含む、すべてのVTSの情報をもとにVMGを作成し、ファイナライズ処理を行う。

このようにしてファイナライズされたDVDを作成すると、DVDプレーヤ等の再生機器で静止画像から変換された動画像を再生することが可能となる。

次に変換した静止画を含むVTSの形式について説明する。図３においてVTSの中にはVTSI、VTSTT_VOBS、VTSI_BUPが含まれている。VTSIはVTSTT_VOBS内のデータを管理し、VOBのデータを読み出せるようにするための管理情報である。VTSI_BUPはVTSIのバックアップであり、内容はVTSIとまったく同一のデータである。

VTSTT_VOBSは複数のVOBから構成され、それぞれのVOBがチャプターに相当している。

各VOBの中には複数のCELLを持つことが可能であるが、ここでは説明を簡単にするためにVOBとCELLがそれぞれ１対１に対応するようにしている。

CELLには複数のVOBUが存在してもよいが、VOBと同様に、ここでは１CELLが１VOBUとして説明する。

VOBUの中には先頭にNV_PCKと呼ばれるサーチを行うための情報が存在し、続いて複数のV_PCKが続いている。１つのMPEGのIピクチャはV_PCKに収められる。１つのV_PCKに収まりきれない場合は、複数のV_PCKに分割されて収められる。

連写した場合のB、Pピクチャも１つの、あるいは複数のV_PCKに収めることができる。

次にファイナライズ時に静止画データをMPEGに変換する際の処理の流れを説明する。
図４は静止画撮影が単写のみで撮影されたの場合の処理の流れを示している。

ユーザによってファイナライズ処理の指示が出されると、静止画像をMPEGの動画像に変換する処理が開始される。

変換処理が始まるとまず初めに１枚目に撮影した静止画像（JPEGデータ）を記録メディア１０４から読み込む（S101）。

次に一旦、JPEGデータをJPEGデコーダ１０５でデコードしもとの映像データとする（S102）。
次にデコードしたデータの解像度を判別し、MPEGの規格に合う解像度に変換を行う（S103）。通常はMPEGの解像度よりもJPEGの解像度のほうが高いため縮小処理となる。

次に、縮小した映像データをMPEGのストリームにするため、MPEGエンコーダ１０１は各静止画像データをMPEGのIピクチャとして符号化する（S104）。

続いて１枚目の画像の場合には新たにVTSを作成し、その中にVOBを作成し、さらにVOBの中のVOBUにV_PCKとしてIピクチャを挿入する（S105）。

すべての静止画像をIピクチャに変換していない場合（S106）は、再び静止画データの読み込み（S101）から以上の処理を繰り返す。

すべての静止画像の変換が終わったら、作成したVOBの情報をVTSIに書き込む（S107）。
続いて、すべてのVTSの情報を集め、VMGに入れるデータを作成する（S108）。
最後に、記録メディア１０４に管理情報を書き込みファイナライズを行う（S109）。

以上の処理によって、すべての静止画像が入ったMPEGのデータを追加することができ、DVDプレーヤ等の再生機器で静止画像をスライドショーのように見ることが可能となる。

次に、静止画像を撮影する際に連写を行ったデータがある場合を、図５を用いて説明する。

変換処理が始まるとまず初めに１枚目に撮影した静止画像（JPEGデータ）を記録メディア１０４から読み込む（S201）。

次に一旦、JPEGデータをJPEGデコーダ１０５でデコードしもとの映像データとする（S202）。
次にデコードしたデータの解像度を判別し、MPEGの規格に合う解像度に変換を行う（S203）。通常はMPEGの解像度よりもJPEGの解像度のほうが高いため縮小処理となる。

次に、縮小した映像データをMPEGのストリームにするため、MPEGエンコーダ１０１がMPEGのIピクチャ、Bピクチャ、もしくはPピクチャ形式で符号化を行う。その際に、静止画像が単写で撮影されている場合、もしくは連写で撮影されていて１枚目（先頭）の画像の場合（S204）にはIピクチャを作成する（S206）。静止画像が連写で撮影されていて２枚目以降の画像の場合（S204）には、１枚前に処理した画像データとの相関関係を利用し、BピクチャあるいはPピクチャで作成する（S205）。

また、GOPの長さに制限がある規格の場合には、連写の途中の静止画像でも、途中にIピクチャを挿入し、GOPを分割することで、規格を守ってMPEGに変換することが可能である。

静止画データが単写で撮影されたものなのか、連写で撮影されたものなのかの判断は、例えば、単写と連写でJPEGデータのファイル名を変えて判断できるようにしておく。あるいは、単写か連写を判断する記録モード情報を別途記録メディア１０４に記録しておくなどの方法で行う。

また、単写か連写を判断する情報を記録していない場合には、撮影画像間の撮影日時を比較し、短い時間間隔（例えば、0.5秒毎）で撮影した場合は、連写とみなして連写時と同様の処理を行う。この場合、ユーザが単写を連続で行った場合にも連写と判断されることがあるが、記録された静止画像は連写と同じように画像間の相関が高いと考えられるため、連写として変換を行うことで、変換後のデータ量を減らすことができる。例えば、JPEGファイルのexifヘッダーにその静止画像の撮影日時情報が記録されているので、その情報をもとに画像間の撮影時間間隔を計算することで実現できる。

複数画面の静止画像データが所定期間内に撮影されたものである場合には連写と判断する。複数画面の静止画像データが所定期間内に撮影されたものでない場合には、Iピクチャで符号化する。

続いて変換した画像が１枚目の場合には新たにVTSを作成し、その中にVOBを作成し、さらにVOBの中のVOBUにV_PCKとしてIピクチャを挿入する（S207）。

すべての静止画像をMPEG変換していない場合（S208）は、再び静止画データの読み込み（S201）から以上の処理を繰り返す。

すべての静止画像の変換が終わったら、作成したVOBの情報をVTSIに書き込む（S209）。
続いて、すべてのVTSの情報を集め、VMGに入れるデータを作成する（S210）。
最後に、記録メディア１０４に管理情報を書き込み、ファイナライズを行う（S211）。

以上の処理によって、連写時の画像も含め、すべての静止画像が入ったMPEGのデータを追加することができ、DVDプレーヤ等の再生機器で静止画像をスライドショーのように見ることが可能となる。

図６は変換後に記録メディア１０４上にどのようにデータが並んでいるかを示した図である。図６（a）は静止画像の撮影が単写のみの場合である。２枚の単写のJPEGデータがそれぞれIピクチャに変換され、最後のVTSに挿入される。図６（ｂ）は２回目の静止画像撮影が連写で行われた場合の例である。

１回目の静止画像撮影は単写なのでIピクチャに、２回目の静止画像撮影は連写なので、連写の１枚目はIピクチャ、連写の２枚目以降はB、Pピクチャとなっている。静止画像から変換された動画像は、最後のVTSに挿入される。

したがって、DVDプレーヤ等の再生機器でサーチをした際にIピクチャのみを表示するような場合、連写の静止画像は１枚目のみが表示されることとなり、サーチによる検索性が向上する。

本実施形態によれば、静止画像データに連写を行ったデータがある場合、静止画像データから変換された動画像データのサイズを小さくすることができる。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

映像入出力装置の構成例を示す図である。記録フォーマットを示す図である。記録フォーマットの詳細を示す図である。 MPEG変換手順を示す図である。連写を含んだMPEG変換手順を示す図である。 MPEG変換後の記録フォーマットを示す図である。

符号の説明

１００カメラ部
１０１エンコード部
１０２バッファ
１０３ディスクアクセス部
１０４記録メディア
１０５デコード部
１０６映像出力端子
１０７ LCDコントローラ
１０８ LCD
１０９ CPUバス
１１０ CPU
１１１ ROM
１１２ RAM
１１３操作部

Claims

所定期間内に１画面の静止画像データを記録する第１の記録モードと、前記所定期間内に複数画面の静止画像データを記録する第２の記録モードとを有し、撮像手段により撮像された画像データを静止画像データとして記録媒体に記録する記録手段と、
前記記録媒体に記録された複数画面の静止画像データを符号化することにより、前記複数画面の静止画像データを動画像データに変換する符号化手段とを有し、
前記符号化手段は、前記静止画像データが前記第１の記録モードで記録された場合には画面内符号化により符号化し、前記静止画像データが前記第２の記録モードで記録された場合には画面間予測符号化を用いて符号化することを特徴とする画像処理装置。
前記記録手段は、前記符号化手段より符号化された動画像データを前記記録媒体に記録する第３の記録モードを有することを特徴とする請求項１記載の画像処理装置。
前記符号化手段は、前記撮像手段により撮像された動画像データを画面内符号化及び画面間予測符号化を用いて符号化し、
前記記録手段は、前記第３の記録モードにおいて、前記符号化された動画像データを前記記録媒体に記録することを特徴とする請求項２記載の画像処理装置。
前記符号化手段は、前記撮像手段により撮像された動画像データを、画面内符号化又は画面間予測符号化を画面毎に選択して符号化することを特徴とする請求項３記載の画像処理装置。
前記符号化手段は、前記第２の記録モードで記録された複数画面の静止画像データのうち、先頭の静止画像データを画面内符号化により符号化し、先頭以外の静止画像データを画面間予測符号化により符号化することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
前記符号化手段は、前記静止画像データのファイル名に応じて前記第１又は第２の記録モードを判断することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
前記符号化手段は、前記記録媒体に記録された記録モード情報に応じて前記第１又は第２の記録モードを判断することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
撮像手段により撮像された画像データを静止画像データとして記録媒体に記録する記録手段と、
前記記録媒体に記録された複数画面の静止画像データを符号化することにより、前記複数画面の静止画像データを動画像データに変換する符号化手段とを有し、
前記符号化手段は、前記複数画面の静止画像データが所定期間内に撮影されたものである場合には画面間予測符号化を用いて符号化することを特徴とする画像処理装置。
前記符号化手段は、前記複数画面の静止画像データが所定期間内に撮影されたものである場合には、前記複数画面の静止画像データのうち、先頭の静止画像データを画面内符号化により符号化し、先頭以外の静止画像データを画面間予測符号化により符号化することを特徴とする請求項８記載の画像処理装置。
前記符号化手段は、前記複数画面の静止画像データが所定期間内に撮影されたものでない場合には、前記複数画面の静止画像データを画面内符号化により符号化することを特徴とする請求項８又は９記載の画像処理装置。
所定期間内に１画面の静止画像データを記録する第１の記録モードと、前記所定期間内に複数画面の静止画像データを記録する第２の記録モードとを有し、撮像手段により撮像された画像データを静止画像データとして記録媒体に記録する記録ステップと、
前記記録媒体に記録された複数画面の静止画像データを符号化することにより、前記複数画面の静止画像データを動画像データに変換する符号化ステップとを有し、
前記符号化ステップは、前記静止画像データが前記第１の記録モードで記録された場合には画面内符号化により符号化し、前記静止画像データが前記第２の記録モードで記録された場合には画面間予測符号化を用いて符号化することを特徴とする画像処理方法。
撮像手段により撮像された画像データを静止画像データとして記録媒体に記録する記録ステップと、
前記記録媒体に記録された複数画面の静止画像データを符号化することにより、前記複数画面の静止画像データを動画像データに変換する符号化ステップとを有し、
前記符号化ステップは、前記複数画面の静止画像データが所定期間内に撮影されたものである場合には画面間予測符号化を用いて符号化することを特徴とする画像処理方法。