JP2016123046A - 画像処理装置、画像処理方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】複数の動画から一つの動画を生成する場合に、簡単な構成で迅速にフレームレートが一定の動画を生成できるようにする。【解決手段】複数の動画信号から編集対象の動画信号を選択する選択部と、選択部により選択された動画信号を結合し、第１のフレームレートの動画信号を生成する生成部とを有し、選択部は、複数の動画信号のフレームレートと第１のフレームレートとに基づいて、第１のフレームレートと関連した第２のフレームレートの動画信号を選択する。【選択図】 図２

Description

本発明は画像処理装置に関するものである。

従来より、異なるフレームレートの動画を記録する装置が提案されている（例えば、特許文献１参照）。また、記録した動画を再生し、外部の表示装置に出力する場合は、表示装置のフレームレートに合わせて、再生された動画のフレームレートを変換して出力する。また、従来、複数の動画を結合し、一つの動画を生成する編集装置が知られている。

特開２０１１−９９７０号公報

しかしながら、結合しようとする複数の動画のフレームレートが異なっている場合、これらを単に結合しただけでは、一連の動画の中にフレームレートが異なる部分が混在してしまう。そのため、このような動画を再生した場合に、再生速度が途中で変わってしまうという問題が起こる。

そこで、一つの動画を生成する際に、一連の動画のフレームレートが一定の値となるように変換することが考えられる。しかしながら、編集対象の動画の画面サイズやフレームレートが大きい場合、デジタルカメラのような組み込み機器においては処理に時間がかかる、或いは、処理自体ができないといった問題があった。

本発明は上述した課題に鑑みてなされたものであり、複数の動画から一つの動画を生成する場合に、簡単な構成で迅速にフレームレートが一定の動画を生成できるようにすることを目的とする。

以上の目的を達成するため、本発明に係わる画像処理装置は、複数の動画信号から編集対象の動画信号を選択する選択手段と、前記選択手段により選択された動画信号を結合し、第１のフレームレートの動画信号を生成する生成手段とを有し、前記選択手段は、前記複数の動画信号のフレームレートと前記第１のフレームレートとに基づいて、前記第１のフレームレートと関連した第２のフレームレートの動画信号を選択することを特徴とする。

本発明によれば、複数の動画から一つの動画を生成する場合に、簡単な構成で迅速にフレームレートが一定の動画を生成することが可能となる。

本発明の一実施形態の画像処理装置の構成を示すブロック図である。 編集処理を示すフローチャートである。 リスト調整処理を示すフローチャートである。 候補画像の表示処理を示すフローチャートである。

以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。なお、本実施形態では、デジタルカメラなどの画像処理装置に本発明を適用した場合について説明するが、本発明は画像処理装置に限定されるものではなく、携帯電話などであってもよい。

図１は、本実施形態の画像処理装置１００の構成を示すブロック図である。図１において、制御部１０１は、例えば、ＣＰＵ（ＭＰＵ）、メモリ（ＤＲＡＭ、ＳＲＡＭ）などからなり、各種処理（プログラム）を実行して画像処理装置１００の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。また、制御部１０１は、ユーザからの操作を受け付ける操作部１０２からの操作信号に応じて、画像処理装置１００の各ブロックを制御する。また、制御部１０１は、後述の画像処理部１１１によって得られた画像を解析し、その解析結果に応じて、画像処理装置１００の各ブロックを制御する。

操作部１０２は、例えば、電源ボタン、静止画記録ボタン、動画記録開始ボタン、ズーム調整ボタン、オートフォーカスボタンなどの撮影に関連する各種操作を入力するスイッチ類からなる。また、メニュー表示ボタン、決定ボタン、その他カーソルキー、ポインティングデバイス、タッチパネル等からなり、ユーザによりこれらのキーやボタンが操作されると制御部１０１に操作信号を送信する。

また、バス１０３は、各種データ、制御信号、指示信号などを画像処理装置１００の各ブロックに送るための汎用バスである。

撮像部１１０は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換し、アナログ／デジタル変換をして、画像処理部１１１に送信する。撮像部１１０は、後述のように、静止画記録の指示を受けた場合、記録指示に応じて１画面の静止画信号を取得して出力する。また、撮像部１１０は、記録待機状態、或いは、動画記録状態において、例えば１画面が横１９２０画素×縦１０８０画素の動画信号を出力する。また、撮像部１１０は、後述のように、動画記録時において、制御部１０１により指示されたフレームレートの動画信号を出力する。

画像処理部１１１は、入力された画像信号に対して、静止画信号を取得するための処理、或いは、動画信号を取得するための処理を施す。即ち、画像処理部１１１は、設定値に基づいてホワイトバランスや色、明るさなどを調整する画質調整処理を行う。そして、画像処理部１１１で処理された静止画データ、或いは動画データは、制御部１０１の指示により、メモリ１０４や後述の画像出力部１５０、表示制御部１３１に送信される。

また、音声入力部１２０は、例えば、内蔵された無指向性のマイクまたは音声入力端子を介して接続された外部マイク等により、画像処理装置１００の周囲の音声を集音（収音）し、アナログ／デジタル変換をして音声処理部１２１に送信する。音声処理部１２１は、入力されたデジタル音声信号のレベルの適正化処理等の音声に関する処理を行う。そして、音声処理部１２１で処理された音声信号は、制御部１０１の指示によりメモリ１０４に送信される。メモリ１０４は、画像処理部１１１、音声処理部１２１により得られた画像信号及び音声信号を一時的に記憶する。

画像処理部１１１及び音声処理部１２１はまた、メモリ１０４に一時的に記憶された画像信号や音声信号を読み出して画像信号の符号化、音声信号の符号化などを行い、圧縮画像信号、圧縮音声信号等を生成する。制御部１０１は、これらの圧縮画像信号、圧縮音声信号を、記録再生部１４０に送信する。

記録再生部１４０は、記録媒体１４１に対して画像処理部１１１及び音声処理部１２１で生成された圧縮画像信号、圧縮音声信号、その他撮影に関する制御データ等を記録する。また、音声信号を圧縮符号化しない場合には、制御部１０１は、音声処理部１２１により生成された音声信号と画像処理部１１１により生成された圧縮画像信号とを、記録再生部１４０に送信し記録媒体１４１に記録させる。ここで、記録媒体１４１は、画像処理装置に内蔵された記録媒体でも、取外し可能な記録媒体でもよく、画像処理装置１００で生成された圧縮画像信号、圧縮音声信号、音声信号、各種データなどを記録することができればよい。例えば、記録媒体１４１は、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。

また、記録再生部１４０は、記録媒体１４１に記録された圧縮画像信号、圧縮音声信号、音声信号、各種データ、プログラムを読み出す（再生する）。そして読み出した圧縮画像信号、圧縮音声信号を、制御部１０１は画像処理部１１１及び音声処理部１２１に送信する。画像処理部１１１及び音声処理部１２１は、圧縮画像信号、圧縮音声信号を一時的にメモリ１０４に記憶させ、所定の手順で復号し、復号した音声信号を音声出力部１５１へ、復号した画像信号を画像出力部１５０や表示制御部１３１に送信する。また、音声信号が記録媒体１４１に非圧縮記録されている場合には、制御部１０１は、音声信号を直接音声出力部１５１に送信する。

音声出力部１５１は、例えば音声出力端子からなり、接続されたイヤホンやスピーカなどから音声を出力させるために音声信号を送信する。また、音声出力部１５１は、画像処理装置１００に内蔵され、音声信号にかかる音声を出力するスピーカであってもよい。

また、表示制御部１３１は、画像処理部１１１から送信された画像信号による映像や、画像処理装置１００の操作をするための操作画面（メニュー画面）等を表示部１３０に表示させる。表示部１３０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパー等の表示デバイスであれば何でもよい。

ここで、本実施形態の画像処理装置１００の通常の動作について説明する。本実施形態の画像処理装置１００は、ユーザが操作部１０２の電源ボタンを操作すると、操作部１０２から制御部１０１に起動の指示が出される。この指示を受けて、制御部１０１は、不図示の電源供給部を制御して、画像処理装置１００の各ブロックに対して電源を供給させる。

電源が供給されると、制御部１０１は、例えば、操作部１０２のモード切り換えスイッチが、例えば、静止画記録モード、動画記録モード、再生モードを含む複数のモードの何れを選択しているかを操作部１０２からの指示信号により確認する。

静止画記録モードでは、画像処理装置１００は記録待機状態でユーザが操作部１０２を操作して静止画記録が指示された場合、撮像部１１０により得られた静止画信号が記録媒体１４１に記録される。そして再び記録待機状態になる。動画記録モードでは、画像処理装置１００は記録待機状態でユーザが操作部１０２を操作して動画の記録が指示された場合、動画信号と音声信号の記録を開始する。そしてユーザが操作部１０２を操作して動画の記録終了が指示された場合、動画信号と音声信号の記録を終了し、再び記録待機状態になる。再生モードでは、ユーザが選択したファイルに関する圧縮画像信号や圧縮音声信号または音声信号を記録媒体１４１から再生して、音声出力部１５１から音声信号を出力し、表示部１３０に再生された画像を表示させる。

まず、静止画記録モードについて説明する。操作部１０２により静止画記録モードが設定されると前述のようにまず、制御部１０１は、画像処理装置１００の各ブロックを記録待機状態に設定する。記録待機状態では、制御部１０１は、動画信号を出力するように撮像部１１０を制御する。画像処理部１１１は、撮像部１１０から出力された動画信号を表示制御部１３１に送信し表示部１３０に表示させる。ユーザはこの様にして表示された画面を見ながら撮影の準備を行う。

記録待機状態で、ユーザが操作部１０２を操作することにより静止画の記録指示が出力されると、制御部１０１は画像処理装置１００の各ブロックに制御信号を出力し、以下のような動作をさせるように制御する。撮像部１１０は、静止画の記録指示に応じて、１画面の画像信号を取得して画像処理部１１１に送信する。画像処理部１１１は、入力された画像信号に対して、静止画のための画質調整処理（ホワイトバランスや色、明るさなどの調整）を設定値に基づいて実行する。そして、画像処理部１１１で処理された静止画像信号は、制御部１０１によりメモリ１０４や画像出力部１５０や表示制御部１３１に送信される。ここで、表示部１３０に表示された映像を見ることで、ユーザは撮影した静止画を確認することができる。

そして、画像処理部１１１は、メモリ１０４に一時的に記憶された静止画像信号を読み出して所定の符号化を行い、圧縮された静止画像信号を生成し、記録再生部１４０に出力する。記録再生部１４０は、圧縮された静止画像信号を記録媒体１４１に記録する。本実施形態では、記録媒体１４１に記録された静止画像信号、或いは、動画音声信号を含む各種の情報を、ＵＤＦ、ＦＡＴ等のファイルシステムに従い、ファイルとして管理する。

また、制御部１０１は、画像処理部１１１による符号化の動作が終了すると、記録待機状態に移行させるように制御信号を画像処理装置１００の各ブロックに送信して、記録待機状態に戻す。

次に、動画記録モードについて説明する。操作部１０２により動画記録モードが設定されると前述のようにまず、制御部１０１は、画像処理装置１００の各ブロックを記録待機状態に設定する。本実施形態では、記録待機状態において、ユーザが操作部１０２を操作することにより、記録する動画信号のフレームレートを設定することが可能である。本実施形態では、複数の所定のフレームレートの何れかをユーザが選択することができる。設定可能なフレームレートは、２４フレーム毎秒（以下ｆｐｓ）、２５ｆｐｓ、２９．９７ｆｐｓ、５０ｆｐｓ、５９．９４ｆｐｓの何れかとする。ここで、ＮＴＳＣやＰＡＬのように、放送方式によりフレームレートが規定されている。例えば、ＮＴＳＣのフレームレートは２９．９７ｆｐｓであり、ＰＡＬのフレームレートは２５ｆｐｓである。

記録待機状態では、画像処理部１１１は、画像信号を表示制御部１３１に送信し表示部１３０に表示させる。ユーザはこの様にして表示された画面を見ながら撮影の準備を行う。なお、記録待機状態においては、記録される動画のフレームレートとして設定された値に関係なく、所定のフレームレート、例えば３０ｆｐｓの動画を撮像部１１０により取得し、表示部１３０に表示する。

記録待機状態で、ユーザが操作部１０２を操作することにより動画の記録開始の指示が出力されると、制御部１０１は画像処理装置１００の各ブロックに対して制御信号を出力し、以下のような動作をさせるように制御する。

撮像部１１０は、ユーザが設定したフレームレートの動画信号を取得し、画像処理部１１１に送信する。画像処理部１１１は、入力された動画信号に対し、動画信号のための画質調整処理（ホワイトバランスや色、明るさなどの調整）を設定値に基づいて実行する。そして、画像処理部１１１で処理された動画信号は、制御部１０１により表示制御部１３１、メモリ１０４に送信される。表示制御部１３１は、受信した動画信号による動画を表示部１３０に表示させる。

一方、音声入力部１２０は、マイクにより得られたアナログ音声信号をアナログ／デジタル変換し、得られたデジタル音声信号を音声処理部１２１に送信する。音声処理部１２１は、入力されたデジタル音声信号のレベルの適正化処理等をして音声信号を出力する。制御部１０１は、音声処理部１２１により処理された音声信号をメモリ１０４に送信する。

そして、画像処理部１１１及び音声処理部１２１は、メモリ１０４に一時的に記憶された動画信号や音声信号を読み出して所定の符号化を行い、圧縮された動画信号と、圧縮された音声信号を生成する。

そして、制御部１０１は、圧縮された動画信号と音声信号を多重して記録のためのデータストリームを形成し、記録再生部１４０に出力する。記録再生部１４０はデータストリームを一つの動画ファイルとして記録媒体１４１に書き込んでいく。また、音声を圧縮しない場合には、制御部１０１は、音声処理部１２１で生成した音声信号を画像処理部１１１で生成された圧縮された動画信号とともに、記録再生部１４０に出力する。そして、記録再生部１４０は、データストリームを一つの動画ファイルとして記録媒体１４１に書き込んでいく。以上の動作が動画の記録中に継続される。また、制御部１０１は、記録されている動画データのフレームレートを識別するための付加情報を、動画ファイルに格納して記録するように記録再生部１４０に指示する。記録再生部１４０は、動画のフレームレートを識別するための付加情報を、記録中の動画ファイルに格納して記録する。

また、動画の記録中、ユーザによる操作部１０２の操作に応じて、または画像処理部１１１により生成された画像信号の解析結果に応じて、制御部１０１は、撮像部１１０や画像処理部１１１、音声処理部１２１などに各種制御信号を送信している。例えば、レンズの移動や絞り調整などをさせるための制御信号を撮像部１１０に送信するとともに、画像や音声を調整するための制御信号を画像処理部１１１、音声処理部１２１に送信する。

そして、ユーザが操作部１０２を操作することにより、動画の記録終了の指示が制御部１０１に出力されると、制御部１０１は、記録停止の制御信号を画像処理装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。

画像処理部１１１、音声処理部１２１は、それぞれ動画信号、音声信号のメモリ１０４への送信を停止する。そして、メモリ１０４に記憶されている残りの動画信号と音声信号とを読み出して所定の符号化を行い、圧縮動画信号、圧縮音声信号等を生成する。

制御部１０１は、これらの動画信号、音声信号を多重し、データストリームを形成し、記録再生部１４０に出力する。記録再生部１４０は、データストリームを記録媒体１４１に記録し、データストリームの供給が停止したら記録を停止する。制御部１０１はサムネイルを生成するために以下のような動作をさせるように制御する。

記録再生部１４０は記録媒体１４１に記録した動画信号の先頭フレームを読み出し、画像処理部１１１に送信する。画像処理部１１１は、読み出された先頭フレームの画像信号を一時的にメモリ１０４に記憶させ、所定の手順で復号する。次に画像処理部１１１は得られた画像信号に対してサムネイル用の所定の符号化を行い、サムネイル用圧縮画像信号を生成する。そして、制御部１０１はサムネイル用の圧縮画像信号を記録再生部１４０に出力する。記録再生部１４０は、サムネイル用の画像信号を、動画ファイルに格納して記録媒体１４１に書き込み、動画ファイルを完成させるとともに記録動作を停止する。

制御部１０１は、記録動作が停止すると、記録待機状態に移行させるように制御信号を画像処理装置１００の各ブロックに送信して、記録待機状態に戻す。

次に、再生モードについて説明する。操作部１０２により再生モードが設定されると、制御部１０１は、再生状態に移行させるように制御信号を画像処理装置１００の各ブロックに送信し、以下のような動作をさせる。

記録再生部１４０は、記録媒体１４１に記録された静止画ファイル、または動画ファイルから、サムネイル画像信号を読み出す。制御部１０１は、読み出されたサムネイル画像信号を画像処理部１１１により復号させ、更に、インデックス画面に適したサイズにサムネイル画像のサイズを変更して表示制御部１３１に送る。表示制御部１３１は、画像処理部１１１からの各サムネイル画像からなるインデックス画面を生成し、表示部１３０に表示する。

ユーザは操作部１０２を操作して、表示部１３０に表示されたインデックス画面から、所望のサムネイル画像を選択し、再生を指示する。制御部１０１は、ユーザにより選択されたサムネイル画像に対応する動画ファイル、或いは、静止画ファイルに格納された動画信号、音声信号、或いは静止画信号を記録媒体１４１から読み出すように制御する。制御部１０１は、読み出された動画信号、或いは静止画信号を画像処理部１１１に出力し、音声信号を音声処理部１２１に出力する。圧縮されていない音声信号であれば、制御部１０１は、音声出力部１５１に音声信号を送信する。

画像処理部１１１及び音声処理部１２１は、動画信号や静止画信号、音声信号を一時的にメモリ１０４に記憶させ、所定の手順で復号する。そして制御部１０１は、復号した音声信号を音声出力部１５１へ、復号した動画、静止画像信号を画像出力部１５０や表示制御部１３１に送信する。表示制御部１３１は、入力された画像信号にかかる映像を表示部１３０に表示させ、音声出力部１５１は、入力された音声信号にかかる音声を内蔵されたスピーカや、接続されたイヤホンやスピーカから出力する。

次に、本実施形態における編集処理について説明する。画像処理装置１００は、前述のように記録媒体１４１に記録された複数の動画ファイル、或いは静止画ファイルに格納された動画信号や静止画信号を結合し、一つの動画信号を生成する編集処理を行うことができる。編集処理において、記録媒体１４１に記録された動画ファイルや静止画ファイルから選択されたファイルの動画信号、或いは静止画信号が一旦復号される。そして、復号された動画信号と音声信号が、所定の再生順序となるように、一つの動画信号として合成され、再度圧縮されて、一つの動画ファイルとして記録媒体１４１に記録される。

図２は、編集処理における画像処理装置１００の動作を説明するためのフローチャートである。図２の処理は、制御部１０１が画像処理装置１００の各部を制御することにより実行される。いずれかのモードにおいてユーザが操作部１０２を操作して、編集処理を指示した場合に図２の処理が開始される。

制御部１０１はまず、前述のように編集処理により生成する動画のフレームレートＮｆｐｓの情報を取得する（Ｓ２０１）。本実施形態では、現在、動画記録モードで記録される動画のフレームレートとして設定されている値を、編集後の動画のフレームレートＮとする。制御部１０１は、動画記録モードにおいてユーザにより設定されたフレームレートの情報を内部の不揮発メモリに記憶する。そのため、制御部１０１は、ここでは、メモリに記憶されたフレームレートの値を読み出す。ただし、これ以外にも、例えば、記録する動画のフレームレートとして設定可能な値のうちの何れかを、編集後の動画のフレームレートＮとすることも可能である。また、ユーザが編集処理を指示した際に、編集後の動画のフレームレートを、記録時に設定可能なフレームレートの何れかに設定する構成としてもよい。この場合、フレームレートの値に代えて、放送方式（ＮＴＳＣ、ＰＡＬ）の何れかをユーザに選択させる構成としてもよい。

次に、制御部１０１は、表示制御部１３１に対し、自動編集を行うか、或いは、ユーザが編集対象の動画と静止画を選択する処理を行うかを、ユーザに問い合わせるための画面を表示部１３０に表示するように指示する（Ｓ２０２）。自動編集処理では、各画像が所定の条件を満たすか否かを制御部１０１が判定し、判定結果に基づいて、編集対象の動画と静止画を自動的に選択する。そして、制御部１０１により自動的に選択された、編集対象の動画と静止画とを用いて、一つの動画を生成する。ここで、判定の条件は、画像内に検出された被写体の顔の数、笑顔の度合い、画像の明暗、ブレ、ボケ等により判断される。これらの情報は、前述のように、動画或いは静止画の記録時において、画像処理部１１１が画像の内容を解析することにより取得され、ファイルに付加されて記録される。

また、自動編集処理において、ユーザは、編集対象とする動画と静止画の記録期間を指定することができる。そのため、Ｓ２０２で自動編集が選択された場合、制御部１０１は更に、編集対象の期間をユーザに問い合わせるための画面を表示部１３０に表示させる。本実施形態では、例えば、月単位、或いは、日付の単位などで範囲を指定可能とする。

次に、制御部１０１は、記録媒体１４１に記録された動画ファイルのうち記録日時が、編集対象とする期間に含まれる動画ファイルを検出する。更に、制御部１０１は、編集後の動画のフレームレートであるＮｆｐｓに対応するフレームレートの動画ファイルを検索する（Ｓ２０３）。ここでは、フレームレートがＮｆｐｓの動画だけでなく、Ｎの整数倍、或いは整数分の１のフレームレートの動画も検索する。例えば、Ｎが２９．９７の場合、フレームレートが２９．９７ｆｐｓの動画と、５９．９４ｆｐｓの動画が共に検索される。

次に、制御部１０１は、Ｓ２０３での検索の結果見つかった動画ファイルから、前述のように所定の条件を満たすか否かを判断した結果、編集対象とする動画ファイルを選択する（Ｓ２０４）。次に、制御部１０１は、記録媒体１４１に記録された静止画ファイルのうち、記録日時が編集対象とする期間に含まれる静止画ファイルを検出する。そして、検出された静止画ファイルの画像が所定の条件を満たすか否かを判断し、編集対象の静止画ファイルを選択する（Ｓ２０５）。

このように編集対象の動画ファイルと静止画ファイルとが選択されると、制御部１０１は、選択された動画ファイルと静止画ファイルから、一つの動画を生成する編集処理を行う（Ｓ２０６）。即ち、制御部１０１は、選択された動画ファイルと静止画ファイルとを、記録日時の順に記録媒体１４１から再生させる。動画ファイルを再生した場合、制御部１０１は、画像処理部１１１により再生された動画信号を復号すると共に、音声処理部１２１により再生された音声信号を復号する。再生された動画のフレームレートが、編集後の動画のフレームレートＮの整数倍である場合、制御部１０１は、復号後の動画の一部のフレームを間引くことにより、フレームレートをＮｆｐｓに変更する。また、再生された動画のフレームレートが、編集後の動画のフレームレートＮの整数分の１である場合、制御部１０１は、復号後の動画の一部のフレームを繰り返し挿入することにより、フレームレートをＮｆｐｓに変更する。

動画と音声が復号されたら、制御部１０１は、画像処理部１１１により、復号された動画信号を再度、符号化する。このとき、動画信号のフレームレートがＮｆｐｓに変更されていた場合には、このＮｆｐｓの動画信号が再度、符号化され、圧縮される。また、制御部１０１は、復号された音声信号を再度、音声処理部１２１により符号化する。圧縮された動画信号と音声信号は、一旦メモリ１０４に記憶される。

そして、制御部１０１は、メモリ１０４から符号化された動画信号と音声信号とを読み出して多重化し、編集後のデータストリームを生成して記録再生部１４０に出力する。記録再生部１４０は、データストリームを順次記録媒体１４１に記録する。なお、本実施形態では、記録媒体１４１からの編集対象の動画ファイルの読み出しと、編集後の動画信号及び音声信号のデータストリームの書き込みとが、並列に行われるように制御される。例えば、記録再生部１４０は、編集対象の動画信号と音声信号を所定量読み出した後、編集後のデータストリームをメモリ１０４から読みだして記録媒体１４１に書き込む。

また、静止画信号が再生された場合、制御部１０１は、再生された静止画信号を画像処理部１１１により復号する。そして、制御部１０１は、復号された静止画信号を繰り返し符号化することにより、所定時間、例えば数秒程度の動画を生成するように、画像処理部１１１を制御する。このとき、画像処理部１１１は、静止画信号から生成される動画信号のフレームレートをＮｆｐｓとする。また、画像処理部１１１は、再生された静止画の画素数が、編集後の動画信号の画素数と異なる場合には、復号された静止画の画素数を動画と同じになるように変更する。また、再生された静止画の画質が動画に適した画質になるように調整する処理を行う。画像処理部１１１は、静止画信号から生成した動画信号を一旦メモリ１０４に記憶する。そして、記録再生部１４０は、メモリ１０４から動画信号を読み出し、一つの動画として記録媒体１４１に記録する。

このように、編集対象の動画ファイルと静止画ファイルとを順次、記録媒体１４１から読み出して復号し、再度符号化して記録媒体１４１に一つの動画信号として記録することにより、編集後の一つの動画信号が生成される。

制御部１０１は、編集対象として選択された動画ファイルと静止画ファイルの全ての処理が完了すると、編集処理を終了する。

また、Ｓ２０２で自動編集が選択されない場合、制御部１０１は手動編集による処理を行う。即ち、制御部１０１は、以前に手動編集による編集処理を行った際に編集対象として選択された動画ファイルと静止画ファイルを管理するための管理情報としてのリスト情報が記録媒体１４１に記録されているか否かを判別する（Ｓ２０７）。

記録媒体１４１にリスト情報が記録されていた場合、制御部１０１は、記録再生部１４０を制御して記録媒体１４１からリスト情報を読み出し、メモリ１０４に記憶する（Ｓ２０８）。一方、記録媒体１４１にリスト情報が記録されていない場合、制御部１０１は、リスト情報を生成してメモリ１０４に記憶する（Ｓ２１４）。なお、当然ながら、生成された直後のリスト情報には、ファイルの情報は含まれていない。

Ｓ２０８でリスト情報をメモリ１０４に記憶した後、制御部１０１は、読み出されたリスト情報の調整処理を行う（Ｓ２０９）。

図３（ａ）はリスト調整処理を示すフローチャートである。まず、制御部１０１は、リスト情報に示される最初のファイルを選択し（Ｓ３０１）、動画ファイルであるか否かを判別する（Ｓ３０２）。動画ファイルではなく、静止画ファイルであった場合、Ｓ３０６に進む。

また、動画ファイルであった場合、制御部１０１は、この動画ファイルが記録媒体１４１に記録されているか否かを判別し（Ｓ３０３）、記録されていない場合にはこの動画ファイルの情報をリスト情報から削除する（Ｓ３０５）。また、動画ファイルが記録媒体１４１に記録されていた場合、この動画ファイルのフレームレートが、編集後の動画のフレームレートＮに対応するフレームレートであるか否かを判別する（Ｓ３０４）。ここでは、前述のように、フレームレートがＮｆｐｓの動画だけでなく、Ｎの整数倍、或いは整数分の１のフレームレートの動画も対応するフレームレートであるとする。

動画ファイルのフレームレートが、編集後の動画のフレームレートＮに対応するフレームレートでない場合、この動画ファイルの情報をリスト情報から削除する（Ｓ３０５）。

動画ファイルのフレームレートが、編集後の動画のフレームレートＮに対応するフレームレートである場合は、そのままリスト情報に動画ファイルの情報を残す。そして、制御部１０１は、処理対象のファイルがリストの最後のファイルであるか否かを判別し（Ｓ３０６）、最後のファイルである場合は処理を終了する。また、最後のファイルでない場合、リストの次のファイルを選択し、Ｓ３０２に戻る（Ｓ３０７）。

このように調整処理を行うことにより、リスト情報には、記録媒体１４１に記録されている動画ファイルのうち、編集後の動画信号のフレームレートに対応するフレームレートの動画ファイルの情報が記述されるようになる。

リスト情報の調整処理の後、制御部１０１は、記録媒体１４１に記録された動画ファイルと静止画ファイルから、編集対象の候補となる動画ファイルと静止画ファイルのサムネイル画像を表示部１３０に表示する処理を行う（Ｓ２１０）。

図４は、Ｓ２１０の表示処理を示すフローチャートである。制御部１０１は、記録媒体１４１に記録された動画ファイルと静止画ファイルのうち、所定の順序で先頭のファイルを選択する（Ｓ４０１）。そして、制御部１０１は、このファイルが動画ファイルであるか否かを判別する（Ｓ４０２）。動画ファイルではなく、静止画ファイルである場合、制御部１０１は、この静止画ファイルのサムネイル画像を編集候補の画像として表示部１３０に表示するように、表示制御部１３１を制御する（Ｓ４０４）。

また、Ｓ４０２で、動画ファイルであると判別した場合、制御部１０１は、この動画ファイルのフレームレートが、編集後の動画のフレームレートＮに対応するフレームレートであるか否かを判別する（Ｓ４０３）。ここでは、前述のように、フレームレートがＮｆｐｓの動画だけでなく、Ｎの整数倍、或いは整数分の１のフレームレートの動画も対応するフレームレートであるとする。

対応するフレームレートでない場合、この動画ファイルを編集候補から除外し、サムネイル画像は表示せずにＳ４０７に進む。また、対応するフレームレートである場合、制御部１０１は、この動画ファイルのサムネイル画像を編集候補の画像として表示部１３０に表示するように、表示制御部１３１を制御する（Ｓ４０４）。

次に、制御部１０１は、処理対象の動画ファイル或いは静止画ファイルが、前述のように調整処理済みのリスト情報に含まれているか否かを判別する（Ｓ４０５）。リスト情報に含まれていない場合にはＳ４０７に進む。また、リスト情報に含まれている場合、制御部１０１は、表示部１３０に表示したサムネイル画像に対応するファイルが、編集候補として選択済みであることをユーザが識別できるようにするための所定の情報を表示するように制御する（Ｓ４０６）。例えば、選択済みを示すアイコンを、対応するサムネイル画像に多重するか、或いはその近傍に表示する。

そして、制御部１０１は、処理対象のファイルが、候補画像を表示するための表示画面に表示可能な最後のファイルであるか否かを判別し（Ｓ４０７）、最後のファイルである場合には処理を終了する。また、最後のファイルでない場合、制御部１０１は、次のファイルを選択してＳ４０２に戻る（Ｓ４０８）。

このように、編集後の動画のフレームレートに対応するフレームレートの動画と、静止画のサムネイル画像が、編集候補の画像として表示部１３０に表示される。また、過去に手動編集により選択された動画と静止画の情報も合わせて表示される。

ユーザは、表示されたサムネイル画像を見ながら、操作部１０２を操作して、編集対象の動画ファイルと静止画ファイルを選択する。選択されたファイルのサムネイルに対し、選択済みの情報が表示される。制御部１０１は、ユーザにより選択された動画ファイル或いは静止画ファイルの情報を、メモリ１０４に記憶されたリスト情報に追加する（Ｓ２１１）。このように、ユーザは編集対象の動画と静止画を選択し、選択が終了すると（Ｓ２１２）、制御部１０１は、メモリ１０４からリスト情報を読み出して記録媒体１４１に記録するように、記録再生部１４０に指示する（Ｓ２１３）。記録再生部１４０は、メモリ１０４からリスト情報を読み出し、記録媒体１４１に記録する。記録媒体１４１にリスト情報が既に記録されている場合、記録再生部１４０は、記録済みのリスト情報に上書きする。

そして、制御部１０１は、メモリ１０４に記憶されたリスト情報に基づいて、編集処理を行う（Ｓ２０６）。この際、制御部１０１は、リストの先頭から順に動画ファイルと静止画ファイルを順次読み出し、復号後、再度符号化することにより、これらの動画と静止画を結合し、一つの動画信号を生成する。

このように、本実施形態では、記録された複数の動画を結合し、一つの動画を生成する場合に、編集後の動画のフレームレートと同じか、整数倍或いは整数分の１のフレームレートの動画を編集対象として選択する。

そのため、これらを結合する際に、複雑なフレームレートの変換処理が不要となる。即ち、編集対象の動画のフレームレートが編集後の動画のフレームレートの整数倍或いは整数分の１なので、フレーム間引き処理、或いは、同じフレームを繰り返し挿入するといった簡単な処理により、フレームレートを変更することができる。

そのため、デジタルカメラなどの装置においても、時間をかけずに、且つ、大容量のメモリや高速なＣＰＵなどのリソースを用意しなくても、複数の動画を結合し、一つの動画を生成することが可能となる。

なお、本実施形態では、記録媒体１４１に対して一つのリスト情報を記録する構成としたが、複数のリスト情報を記録する構成としてもよい。この場合は、調整処理の際に各リストを調整し、候補画像の表示の際に、各リストに記載された画像を識別するための情報を表示するようにしてもよい。手動編集処理の際に、記録済みのリストの何れかをユーザに選択させる構成としてもよい。

また、編集後の動画のフレームレートの整数倍或いは整数分の１のフレームレートの動画を編集対象として選択する構成としたが、編集後の動画のフレームレートと同じフレームレートの動画だけを選択する構成としてもよい。

また、本実施形態では、編集後の動画のフレームレートと同じか、整数倍或いは整数分の１のフレームレートの動画を編集対象として選択する構成としたが、画素数も考慮して編集対象の動画を選択する構成としてもよい。

また、図３（ａ）の調整処理においては、リストの動画ファイルに格納された付加情報をチェックし、フレームレートを確認する構成としたが、予め、記録された動画ファイルのフレームレートの一覧を生成し、メモリ１０４に記憶しておいてもよい。

また、調整処理を図３（ｂ）のように行うことも可能である。即ち、リスト情報を記録する場合に、このリスト情報を生成したときの、編集後の動画のフレームレートの情報をリスト情報と共に記録しておく。そして、このフレームレートの情報に基づいて、リスト作成時のフレームレートが、現在設定されている、編集後の動画のフレームレートＮに対応するか否かを判別し（Ｓ３０８）、対応しない場合には、全ての動画ファイルの情報をリスト情報から削除する（Ｓ３０９）。

以上、本発明の好ましい実施形態について説明したが、本発明は上記の実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：画像処理装置、１０１：制御部、１０２：操作部、１０３：バス、１０４：メモリ、１１０：撮像部、１１１：画像処理部、１２１：音声処理部、１４０：記録再生部

Claims (14)

1. 複数の動画信号から編集対象の動画信号を選択する選択手段と、
   前記選択手段により選択された動画信号を結合し、第１のフレームレートの動画信号を生成する生成手段とを有し、
   前記選択手段は、前記複数の動画信号のフレームレートと前記第１のフレームレートとに基づいて、前記第１のフレームレートと関連した第２のフレームレートの動画信号を選択することを特徴とする画像処理装置。
2. 前記第２のフレームレートは前記第１のフレームレートと同じ値であることを特徴とする請求項１に記載の画像処理装置。
3. 前記第２のフレームレートは前記第１のフレームレートの整数倍の値、及び前記第１のフレームレートの整数分の１の値、のうちの少なくとも一つを含むことを特徴とする請求項２に記載の画像処理装置。
4. 前記生成手段は、前記選択手段により選択された動画信号のフレームレートが前記第１のフレームレートの整数倍である場合、前記選択手段により選択された動画信号の一部のフレームを間引くことにより前記選択手段により選択された動画信号のフレームレートを前記第１のフレームレートに変更することを特徴とする請求項３に記載の画像処理装置。
5. 前記生成手段は、前記選択手段により選択された動画信号のフレームレートが前記第１のフレームレートの整数分の１である場合、前記選択手段により選択された動画信号の一部のフレームを繰り返し挿入することにより前記選択手段により選択された動画信号のフレームレートを前記第１のフレームレートに変更することを特徴とする請求項３に記載の画像処理装置。
6. 動画信号を取得する取得手段と、
   前記取得手段により取得された動画信号を記録媒体に記録する記録手段と、
   前記取得手段により取得する動画信号のフレームレートを、複数の所定のフレームレートから設定する設定手段とをさらに有し、
   前記生成手段は、前記設定手段により設定されているフレームレートを前記第１のフレームレートとして設定して、前記記録手段により前記記録媒体に記録された複数の動画信号から選択された動画信号を結合し、前記第１のフレームレートの動画信号を生成し、
   前記選択手段は、前記設定手段により設定されているフレームレートを前記第１のフレームレートとして、前記記録媒体に記録された複数の動画信号から、前記第１のフレームレートと関連した第２のフレームレートの動画信号を選択することを特徴とする請求項１に記載の画像処理装置。
7. 前記記録手段は、前記取得手段により取得された動画信号のフレームレートの情報を該取得された動画信号とともに前記記録媒体に記録することを特徴とする請求項６に記載の画像処理装置。
8. 前記記録手段は、前記選択手段により選択された動画信号をリストとして前記記録媒体に記録することを特徴とする請求項６に記載の画像処理装置。
9. 前記選択手段は、編集対象としてさらに静止画信号を選択し、前記生成手段は、前記選択手段により選択された動画信号と静止画信号とを結合して、前記第１のフレームレートの動画信号を生成することを特徴とする請求項１に記載の画像処理装置。
10. 前記生成手段は、前記選択手段により選択された静止画信号を繰り返し挿入することにより、前記第１のフレームレートの動画信号を生成することを特徴とする請求項９に記載の画像処理装置。
11. 前記選択手段により選択された動画信号から、所定の動画信号をユーザが選択することを可能とする操作手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
12. 複数の動画信号から編集対象の動画信号を選択する選択工程と、
    前記選択工程により選択された動画信号を結合し、第１のフレームレートの動画信号を生成する生成工程とを有し、
    前記選択工程では、前記複数の動画信号のフレームレートと前記第１のフレームレートとに基づいて、前記第１のフレームレートと関連した第２のフレームレートの動画信号を選択することを特徴とする画像処理方法。
13. 請求項１２に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
14. 請求項１２に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images