【０００１】
【発明の属する技術分野】
本発明は、動画像を撮像、記録、再生する撮像装置等に用いられる画像処理装置、方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体に関する。
【０００２】
【従来の技術】
従来、固体メモリ素子を有するメモリカードを記録媒体として、静止画像や動画像を記録再生する電子カメラ等の画像処理装置は既に市販されており、カラー液晶パネル等の電子ファインダを備える電子カメラも販売されている。これらの電子カメラによれば、撮影前の画像を連続して表示して電子カメラの使用者が構図を決定することや、撮影した画像を再生表示して確認することが可能である。特に、撮影した画像を撮影直後に再生する機能は利便性が高く、電子カメラの使用者にとって有益な機能となっている。
【０００３】
他方、デジタルカメラにおいても、静止画のみならず動画像の撮影機能を持った製品も増えており、動画像の録画時間や画像サイズ等も向上している。このようなデジタルカメラの中には、動画像を撮影した際に動画像とは別ファイルとして動画像から１フレームを取り出してサムネイルファイルを作成するものもある。サムネイルファイルを作成することで、容易に動画像ファイルの内容を確認することができる。
【０００４】
更に、一部のデジタルカメラにおいては、動画像の編集機能を持った製品もあり、動画像の切り取りや結合といったことも可能になっている。
【０００５】
【発明が解決しようとする課題】
動画像を撮影する際にサムネイルファイルを作成するデジタルカメラでは、撮影した動画像を確認する場合、予めサムネイルファイルから画像を表示させている。サムネイルファイルをＪＰＥＧ形式で作成することで、静止画と同じ処理で動画像の内容の一部を確認することができる。また、サムネイルファイルに動画像の撮影フレーム数等の情報を記すことで、動画像を解析しなくとも動画像の情報を取得することができる。
【０００６】
しかし、編集機能を持ったデジタルカメラでは、動画像データの一部が編集によって削除された場合、編集後の動画像ファイルとサムネイルファイルが一致しなくなる事態が生じうる。例えば、サムネイルファイルで示す動画像の中の１フレームが編集後の動画像には含まれないという可能性もあり、動画像の記録時間の情報もずれてしまう。
【０００７】
本発明は上記課題に鑑みてなされたもので、動画像ファイルを編集した後、サムネイルファイルを動画像ファイルとは別に新たに作成することで、編集後の動画像ファイルとサムネイルファイルを一致させた状態で、その動画像ファイルの内容を簡単に確認できるようにすることを目的とする。
【０００８】
【課題を解決するための手段】
本発明の画像処理装置は、記録媒体に記録された動画像ファイルの編集を行う編集手段と、前記編集した動画像ファイルとは別ファイルとしてサムネイルファイルを生成するサムネイルファイル生成手段とを備えた点に特徴を有する。
【０００９】
また、本発明の画像処理装置の他の特徴とするところは、撮像した動画像を記録媒体に記録し、再生表示可能である撮像装置に用いられている点にある。
【００１０】
また、本発明の画像処理装置の他の特徴とするところは、前記サムネイルファイル生成手段は前記編集した動画像ファイルに含まれるフレームを取り出してサムネイルファイルを生成する点にある。
【００１１】
また、本発明の画像処理装置の他の特徴とするところは、前記サムネイルファイル生成手段は前記編集した動画像ファイルからユーザにより指定されたフレームを取り出してサムネイルファイルを生成する点にある。
【００１２】
また、本発明の画像処理装置の他の特徴とするところは、前記サムネイルファイル生成手段は前記動画像ファイルに対応する編集前のサムネイルファイルを参照して、前記編集した動画像ファイルのサムネイルファイルを生成する点にある。
【００１３】
また、本発明の画像処理装置の他の特徴とするところは、前記編集手段によって動画像ファイルの更新を行う場合、その動画像ファイルの更新に対応して、既存のサムネイルファイルの更新を行う点にある。
【００１４】
本発明の画像処理方法は、記録媒体に記録された動画像ファイルの編集を行う編集手順と、前記編集した動画像ファイルとは別ファイルとしてサムネイルファイルを生成するサムネイルファイル生成手順とを有する点に特徴を有する。
【００１５】
本発明のコンピュータプログラムは、記録媒体に記録された動画像ファイルの編集を行う編集処理と、前記編集した動画像ファイルとは別ファイルとしてサムネイルファイルを生成するサムネイルファイル生成処理とをコンピュータに実行させる点に特徴を有する。
【００１６】
本発明のコンピュータ読み取り可能な記憶媒体は、前記本発明のコンピュータプログラムを格納した点に特徴を有する。
【００１７】
【発明の実施の形態】
以下、図面を参照して、本発明の画像処理装置、方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体の実施の形態について説明する。
【００１８】
図１は、本実施形態の画像処理装置を含むデジタルカメラ等の撮像装置１００の構成を示す図である。同図において、１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。
【００１９】
１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。
【００２０】
２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００２１】
２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。
【００２２】
２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には電力消費を大幅に低減することができる。
【００２３】
３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。
【００２４】
３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
【００２５】
４０は絞り機能を備えるシャッター１２を制御する露光制御部であり、フラッシュ４８と連携することによりフラッシュ調光機能も有するものである。４２は撮影レンズ１０のフォーカシングを制御する測距制御部、４４は撮影レンズ１０のズーミングを制御するズーム制御部、４６はバリアである保護部１０２の動作を制御するバリア制御部である。
【００２６】
４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う。
【００２７】
５０は全体を制御するシステム制御回路である。なお、本実施形態では、システム制御回路５０が主要構成要素となって、本発明でいう編集手段、サムネイルファイル生成手段としての機能を発揮する。５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。
【００２８】
５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の通知部であり、操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。また、通知部５４は、その一部の機能が光学ファインダ１０４内に設置されている。
【００２９】
通知部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示、等がある。
【００３０】
また、通知部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。
【００３１】
５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。
【００３２】
６０、６２、６４、６６、６８及び７０は、システム制御回路５０の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
【００３３】
ここで、これらの操作部の具体的な説明を行う。６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。
【００３４】
６２はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。
【００３５】
６４はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了でＯＮとなり、撮像素子１２から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理という一連の処理の動作開始を指示する。
【００３６】
６６は画像表示ＯＮ／ＯＦＦスイッチで、画像表示部２８のＯＮ／ＯＦＦを設定することができる。この機能により、光学ファインダ１０４を用いて撮影を行う際に、ＴＦＴ ＬＣＤ等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。
【００３７】
６８はクイックレビューＯＮ／ＯＦＦスイッチで、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定する。なお、本実施例では特に、画像表示部２８をＯＦＦとした場合におけるクイックレビュー機能の設定をする機能を備えるものとする。
【００３８】
７０は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。
【００３９】
８０は電源制御部で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
【００４０】
８２はコネクタ、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源である。
【００４１】
９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェース、９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、９８はコネクタ９２及び或いは９６に記録媒体２００或いは２１０が装着されているか否かを検知する記録媒体着脱検知部である。なお、本実施形態では記録媒体を取り付けるインタフェース及びコネクタを２系統持つものとして説明しているが、これらインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。インタフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（Ｒ））カード等の規格に準拠したものを用いて構成して構わない。さらに、インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（Ｒ））カード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード、等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
【００４２】
１０２は、レンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止するバリアである保護部である。
【００４３】
１０４は光学ファインダであり、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダ１０４内には、通知部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等が設置されている。
【００４４】
１１０は通信部で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。
【００４５】
１１２は通信部１１０により他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
【００４６】
２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、撮像装置１００とのインタフェース２０４、撮像装置１００と接続を行うコネクタ２０６を備えている。
【００４７】
２１０はメモリカードやハードディスク等の記録媒体である。記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、撮像装置１００とのインタフェース２１４、撮像装置１００と接続を行うコネクタ２１６を備えている。
【００４８】
図２は、撮像装置１００の操作部材を説明するための図である。電源ボタン３０１はデジタルカメラの起動と終了に用いる。メニューボタン３０２は撮影モードの変更や日付の設定、画像のプロテクトや削除といったメニューへ入るときに使用するボタンである。また、各種設定モードを終了する場合にも使用する。決定ボタン３０３は選択項目の決定に用いる。
【００４９】
表示ボタン３０４は画像に関する撮影情報の表示・非表示を切り替える。左ボタン３０５は選択項目を左に移動する場合や画像送りに用いる。右ボタン３０６は選択項目を右に移動する場合や画像送りに用いる。上ボタン３０７は選択項目を上に移動する場合に用いる。下ボタン３０８は選択項目を下に移動する場合に用いる。
【００５０】
シャッターボタン３１０は撮影モードで撮影する場合に利用するボタンである。モード切替スイッチ３１１は録画モードと再生モードを切り替える。液晶画面３１２は画像を確認しながら撮影する場合に用いられ、また撮影した画像の確認にも用いられる。
【００５１】
図３は、本実施形態の画像処理装置の処理動作の流れを示すフローチャートである。動画像編集を行う場合、まず編集対象となるファイル名（ＦＩＬＥ１）と編集後の動画像の先頭フレーム（Ｎｓ）と最終フレーム（Ｎｅ）を指定する（ステップＳ３０１）。
【００５２】
次にユーザが選択した保存方法が新規保存か否かを判別し（ステップＳ３０２）、新規保存でない場合は上書き保存か否かを判別する（ステップＳ３０３）。新規保存の場合、保存ファイル名を例えばＦＩＬＥ２として新たに設定する（ステップＳ３０４）。上書き保存の場合は、編集対象と同じファイル名（ＦＩＬＥ１）を設定する（ステップＳ３０５）。
【００５３】
そして、ステップＳ３０１にて設定した先頭フレームと最終フレーム情報に基づいてこの２フレーム間の画像データの動画像ファイルを作成する（ステップＳ３０６）。上書き保存の場合には既存の動画像ファイルを更新することになる。
【００５４】
その後、作成した動画像ファイルの情報を反映したサムネイルファイルを作成する（ステップＳ３０７）。上書き保存の場合には、動画像ファイルの更新に対応して既存のサムネイルファイルを更新することになる。なお、このサムネイルファイル作成では、既存のサムネイルファイルの画像が編集後の動画像ファイルの画像に含まれている場合には、その既に存在している編集前のサムネイルファイルを元に作成することも可能である。
【００５５】
図４は、動画像に対して編集を行う場合の液晶画面４０１（図２でいう液晶画面３１２）の表示を示す。画面４０１上には表示画像４０２、前部分カットボタン４０３、後部分カットボタン４０４、及び保存ボタン４０５が編集メニューとして左側に表示され、編集内容を記すインジケータ４０６、編集後のトータル秒数を示すカウンタ４０７が画面下部に表示される。
【００５６】
上ボタン３０７と下ボタン３０８で編集メニューの項目を移動する。前部分カットボタン４０３又は後部分カットボタン４０４が選択対象となっている場合、左ボタン３０５と右ボタン３０６で編集位置を移動させることができる。保存ボタン４０５を選択すると図５に示すような編集保存ボタンが現れる。
【００５７】
図５は編集保存画面である。図４の編集メニューのうち上下ボタンで保存ボタン４０５を選択すると編集保存ボタン５０１、５０２が現れる。左ボタン３０５と右ボタン３０６で保存方法を選択し、決定ボタン３０３で決定する。この際、記憶装置の残り容量を計算し、残り容量が少ない場合には上書き保存しか選択できないようにする。
【００５８】
図６は、編集前後の動画像とサムネイルファイルの関係である。６０１は編集前の動画像ファイルの仮想的な構成を示しており、６０３は編集前の動画像に対するサムネイルファイルの仮想的な構成を示している。この状態から、編集作業によって新しく先頭フレームと最終フレームに指定された位置で切り取られなかった動画像６０３と、その情報を含むサムネイルファイル６０４が生成される。
【００５９】
なお、図４に示した編集メニューは、前部分カットと後部分カットだけであるが、結合や分割といった編集内容でも同様であり、編集内容は限定されるものではない。
【００６０】
また、図６に示した編集後生成されるサムネイルファイル６０４は、上述したが、既存のサムネイルファイルの画像情報が編集後の動画像ファイル内の画像情報に含まれる場合は、編集前のサムネイルファイル６０２を参照して作成するようにしてもよいし、動画像から情報を取得して作成してもよい。また、サムネイルとして動画像から取り出す画像は編集後の動画像ファイルの先頭フレームと決められていてもよいし、ユーザが決定するようにしてもよい。
【００６１】
（その他の実施の形態）
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置或いはシステム内のコンピュータに対し、上記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステム或いは装置のコンピュータ（ＣＰＵ或いはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００６２】
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体は本発明を構成する。そのプログラムコードの伝送媒体としては、プログラム情報を搬送波として伝搬させて供給するためのコンピュータネットワーク（ＬＡＮ、インターネット等のＷＡＮ、無線通信ネットワーク等）システムにおける通信媒体（光ファイバ等の有線回線や無線回線等）を用いることができる。
【００６３】
さらに、上記プログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００６４】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）或いは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることはいうまでもない。
【００６５】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることはいうまでもない。
【００６６】
なお、上記実施形態において示した各部の形状及び構造は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。例えば、記録媒体２００及び２１０は、ＰＣＭＣＩＡカードやコンパクトフラッシュ（Ｒ）等のメモリカード、ハードディスク等だけでなく、マイクロＤＡＴ、光磁気ディスク、ＣＤ−ＲやＣＤ−ＷＲ等の光ディスク、ＤＶＤ等の相変化型光ディスク等で構成されていても勿論問題無い。また、記録媒体２００及び２１０がメモリカードとハードディスク等が一体となった複合媒体であっても勿論問題無い。さらに、その複合媒体から一部が着脱可能な構成としても勿論問題無い。また、記録媒体２００及び２１０は撮像装置１００と分離していて任意に接続可能なものとして説明したが、いずれか或いは全ての記録媒体が撮像装置１００に固定したままとなっていても勿論問題無い。
【００６７】
【発明の効果】
以上述べたように本発明によれば、動画像を編集した後に、動画像ファイルとは別にサムネイルファイルを新たに作成することで、編集後の動画像ファイルとサムネイルファイルを一致させた状態で、その動画像ファイルの内容を簡単に確認できるようにすることが可能となる。
【図面の簡単な説明】
【図１】本実施形態の画像処理装置を含むデジタルカメラ等の撮像装置１００の構成を示す図である。
【図２】撮像装置１００の操作部材を説明するための図である。
【図３】画像処理装置の処理動作の流れを示すフローチャートである。
【図４】動画像に対して編集を行う場合の画面表示の一例を示す図である。
【図５】編集保存画面の一例を示す図である。
【図６】編集前後の動画像とサムネイルファイルの関係を説明するための図である。
【符号の説明】
１４ 撮像素子
２４ 画像表示メモリ
２８ 画像表示部
３０ メモリ
５０ システム制御回路
５４ 表示部
２００ 記録媒体
２０１ 記録媒体[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing device, a method, a computer program, and a computer-readable storage medium used for an imaging device that captures, records, and reproduces a moving image.
[0002]
[Prior art]
Conventionally, an image processing device such as an electronic camera for recording and reproducing a still image or a moving image using a memory card having a solid-state memory element as a recording medium is already on the market, and an electronic camera equipped with an electronic finder such as a color liquid crystal panel is also sold. Have been. According to these electronic cameras, it is possible for the user of the electronic camera to determine the composition by continuously displaying images before photographing and to reproduce and confirm the photographed images. In particular, the function of reproducing a photographed image immediately after photographing is highly convenient and is a useful function for the user of the electronic camera.
[0003]
On the other hand, in digital cameras, more and more products have a function of capturing not only still images but also moving images, and the recording time and image size of moving images have also been improved. Some of such digital cameras create a thumbnail file by extracting one frame from a moving image as a file separate from the moving image when the moving image is captured. By creating a thumbnail file, the contents of a moving image file can be easily confirmed.
[0004]
In addition, some digital cameras have a moving image editing function, and it is possible to cut or combine moving images.
[0005]
[Problems to be solved by the invention]
2. Description of the Related Art In a digital camera that creates a thumbnail file when capturing a moving image, an image is displayed in advance from the thumbnail file when confirming the captured moving image. By creating the thumbnail file in the JPEG format, a part of the content of the moving image can be confirmed by the same processing as the still image. In addition, by writing information such as the number of frames of a moving image in the thumbnail file, information on the moving image can be obtained without analyzing the moving image.
[0006]
However, in a digital camera having an editing function, when a part of moving image data is deleted by editing, a situation may occur in which the edited moving image file and the thumbnail file do not match. For example, there is a possibility that one frame in the moving image indicated by the thumbnail file is not included in the edited moving image, and the information of the recording time of the moving image is also shifted.
[0007]
SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and after editing a moving image file, by creating a new thumbnail file separately from the moving image file, the edited moving image file and the thumbnail file are matched. It is an object of the present invention to be able to easily confirm the contents of the moving image file in the state.
[0008]
[Means for Solving the Problems]
An image processing apparatus according to the present invention includes an editing unit that edits a moving image file recorded on a recording medium, and a thumbnail file generating unit that generates a thumbnail file as a file separate from the edited moving image file. It has features.
[0009]
Another feature of the image processing apparatus of the present invention is that the image processing apparatus is used in an image pickup apparatus capable of recording a captured moving image on a recording medium and reproducing and displaying the moving image.
[0010]
Another feature of the image processing apparatus of the present invention resides in that the thumbnail file generating means extracts a frame included in the edited moving image file and generates a thumbnail file.
[0011]
Another feature of the image processing apparatus of the present invention resides in that the thumbnail file generating means extracts a frame designated by a user from the edited moving image file and generates a thumbnail file.
[0012]
According to another feature of the image processing apparatus of the present invention, the thumbnail file generating unit refers to a thumbnail file before editing corresponding to the moving image file and generates a thumbnail file of the edited moving image file. The point is to generate.
[0013]
Another feature of the image processing apparatus of the present invention is that, when a moving image file is updated by the editing means, an existing thumbnail file is updated in accordance with the updating of the moving image file. It is in.
[0014]
The image processing method of the present invention has an editing procedure for editing a moving image file recorded on a recording medium, and a thumbnail file generating procedure for generating a thumbnail file as a file separate from the edited moving image file. Has features.
[0015]
The computer program of the present invention causes a computer to execute an editing process for editing a moving image file recorded on a recording medium and a thumbnail file generating process for generating a thumbnail file as a file separate from the edited moving image file. It is characterized by points.
[0016]
The computer-readable storage medium of the present invention is characterized in that the computer program of the present invention is stored.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of an image processing apparatus, a method, a computer program, and a computer-readable storage medium of the present invention will be described with reference to the drawings.
[0018]
FIG. 1 is a diagram illustrating a configuration of an imaging device 100 such as a digital camera including the image processing device of the present embodiment. In FIG. 1, reference numeral 10 denotes a photographing lens, 12 denotes a shutter having an aperture function, 14 denotes an image sensor that converts an optical image into an electric signal, and 16 denotes an A / D converter that converts an analog signal output of the image sensor 14 into a digital signal. It is.
[0019]
Reference numeral 18 denotes a timing generation circuit that supplies a clock signal and a control signal to the image sensor 14, the A / D converter 16, and the D / A converter 26, and is controlled by the memory control circuit 22 and the system control circuit 50.
[0020]
Reference numeral 20 denotes an image processing circuit which performs predetermined pixel interpolation processing and color conversion processing on data from the A / D converter 16 or data from the memory control circuit 22. Further, in the image processing circuit 20, predetermined arithmetic processing is performed using the captured image data, and the system control circuit 50 controls the exposure control unit 40 and the distance measurement control unit 42 based on the obtained arithmetic result. TTL (through-the-lens) type AF (autofocus) processing, AE (automatic exposure) processing, and EF (flash pre-flash) processing. Further, the image processing circuit 20 performs predetermined arithmetic processing using the captured image data, and also performs TTL AWB (auto white balance) processing based on the obtained arithmetic result.
[0021]
A memory control circuit 22 controls the A / D converter 16, the timing generation circuit 18, the image processing circuit 20, the image display memory 24, the D / A converter 26, the memory 30, and the compression / decompression circuit 32. The data of the A / D converter 16 is written to the image display memory 24 or the memory 30 via the image processing circuit 20 and the memory control circuit 22, or the data of the A / D converter 16 is directly written via the memory control circuit 22. It is.
[0022]
Reference numeral 24 denotes an image display memory, 26 denotes a D / A converter, and 28 denotes an image display unit composed of a TFT LCD or the like. Image data for display written in the image display memory 24 is transmitted through the D / A converter 26. The image is displayed by the image display unit 28. If image data captured using the image display unit 28 is sequentially displayed, an electronic finder function can be realized. Further, the image display unit 28 can arbitrarily turn on / off the display according to an instruction from the system control circuit 50, and when the display is turned off, the power consumption can be significantly reduced.
[0023]
Reference numeral 30 denotes a memory for storing captured still images and moving images, and has a sufficient storage capacity for storing a predetermined number of still images and moving images for a predetermined time. Accordingly, even in the case of continuous shooting or panoramic shooting in which a plurality of still images are continuously shot, it is possible to write a large amount of images to the memory 30 at high speed. The memory 30 can also be used as a work area of the system control circuit 50.
[0024]
A compression / decompression circuit 32 compresses and decompresses image data by adaptive discrete cosine transform (ADCT) or the like. The compression / decompression circuit 32 reads an image stored in the memory 30 and performs compression or decompression processing. Write to.
[0025]
An exposure control unit 40 controls the shutter 12 having an aperture function, and also has a flash dimming function in cooperation with the flash 48. Reference numeral 42 denotes a distance measurement control unit that controls focusing of the photographic lens 10, 44 denotes a zoom control unit that controls zooming of the photographic lens 10, and 46 denotes a barrier control unit that controls the operation of the protection unit 102, which is a barrier.
[0026]
Reference numeral 48 denotes a flash, which also has a function of projecting AF auxiliary light and a function of flash light control. The exposure control unit 40 and the distance measurement control unit 42 are controlled using the TTL method. The system control circuit 50 controls the exposure control unit 40 and the distance measurement based on the calculation result obtained by calculating the captured image data by the image processing circuit 20. The control unit 42 is controlled.
[0027]
50 is a system control circuit for controlling the whole. In the present embodiment, the system control circuit 50 is a main component and functions as an editing unit and a thumbnail file generating unit according to the present invention. Reference numeral 52 denotes a memory for storing constants, variables, programs, and the like for operation of the system control circuit 50.
[0028]
Reference numeral 54 denotes a notification unit such as a liquid crystal display device or a speaker that displays an operation state or a message using characters, images, sounds, or the like in accordance with the execution of the program in the system control circuit 50. One or a plurality of them are installed at easy positions, and are constituted by a combination of, for example, an LCD, an LED, and a sound generating element. The notification unit 54 has a part of its functions installed in the optical finder 104.
[0029]
Among the display contents of the notifying section 54, those displayed on the LCD or the like include a single shot / continuous shooting display, a self-timer display, a compression ratio display, a recording pixel number display, a recording number display, a remaining number of shots display, a shutter. Speed display, Aperture display, Exposure compensation display, Flash display, Red-eye reduction display, Macro shooting display, Buzzer setting display, Battery remaining battery display, Battery remaining display, Error display, Information display with multiple digits, Recording The display includes the attachment / detachment state display of the media 200 and 210, the communication I / F operation display, the date / time display, and the like.
[0030]
Further, among the display contents of the notification unit 54, those displayed in the optical viewfinder 104 include a focus display, a camera shake warning display, a flash charge display, a shutter speed display, an aperture value display, an exposure correction display, and the like.
[0031]
Reference numeral 56 denotes an electrically erasable / recordable nonvolatile memory, for example, an EEPROM or the like.
[0032]
Reference numerals 60, 62, 64, 66, 68, and 70 denote operation units for inputting various operation instructions of the system control circuit 50. The operation unit includes a switch, a dial, a touch panel, pointing by gaze detection, a voice recognition device, or the like. It is composed of multiple combinations.
[0033]
Here, these operation units will be specifically described. Reference numeral 60 denotes a mode dial switch, which can switch and set various function modes such as a power-off mode, an automatic shooting mode, a shooting mode, a panoramic shooting mode, a playback mode, a multi-screen playback / erase mode, and a PC connection mode.
[0034]
Reference numeral 62 denotes a shutter switch SW1, which is turned on during operation of a shutter button (not shown) to perform AF (auto focus) processing, AE (auto exposure) processing, AWB (auto white balance) processing, EF (flash pre-flash) processing, and the like. Instruct operation start.
[0035]
Reference numeral 64 denotes a shutter switch SW2 which is turned on when the operation of a shutter button (not shown) is completed, and writes a signal read from the image sensor 12 into the memory 30 via the A / D converter 16 and the memory control circuit 22 in an exposure process. A development process using an operation in the image processing circuit 20 or the memory control circuit 22; a recording process in which image data is read from the memory 30, compressed by the compression / decompression circuit 32, and written into the recording medium 200 or 210. Instructs the start of a series of processing operations.
[0036]
An image display ON / OFF switch 66 can set ON / OFF of the image display unit 28. With this function, it is possible to save power by cutting off the current supply to an image display unit such as a TFT LCD when taking a picture using the optical finder 104.
[0037]
Reference numeral 68 denotes a quick review ON / OFF switch, which sets a quick review function for automatically playing back image data shot immediately after shooting. In this embodiment, a function for setting a quick review function when the image display unit 28 is turned off is provided.
[0038]
Reference numeral 70 denotes an operation unit including various buttons, a touch panel, and the like. A menu button, a set button, a macro button, a multi-screen playback page break button, a flash setting button, a single / continuous / self-timer switching button, and a menu shift + (plus) Buttons, a menu move- (minus) button, a play image move + (plus) button, a play image- (minus) button, a photographing image quality selection button, an exposure correction button, a date / time setting button, and the like.
[0039]
Reference numeral 80 denotes a power control unit, which includes a battery detection circuit, a DC-DC converter, a switch circuit for switching a block to be energized, and the like. The DC-DC converter is controlled based on an instruction from the system control circuit 50, and a required voltage is supplied to each unit including a recording medium for a required period.
[0040]
Reference numeral 82 denotes a connector, 84 denotes a connector, and 86 denotes a power supply including a primary battery such as an alkaline battery or a lithium battery, a secondary battery such as a NiCd battery, a NiMH battery, or a Li battery, and an AC adapter.
[0041]
Reference numerals 90 and 94 denote an interface with a recording medium such as a memory card or a hard disk, reference numerals 92 and 96 denote connectors for connecting to a recording medium such as a memory card or a hard disk, and reference numeral 98 denotes a connector 92 or 96 to which a recording medium 200 or 210 is mounted. This is a recording medium attachment / detachment detection unit for detecting whether or not the recording medium is attached. In the present embodiment, the interface and the connector for attaching the recording medium are described as having two systems. However, the interface and the connector may have a single or plural number of systems. Further, a configuration may be adopted in which interfaces and connectors of different standards are provided in combination. The interface and the connector may be configured by using a standard such as a PCMCIA card or a CF (Compact Flash (R)) card. Further, when the interfaces 90 and 94 and the connectors 92 and 96 are configured using a standard such as a PCMCIA card or a CF (Compact Flash (R)) card, a LAN card, a modem card, a USB card, an IEEE 1394 card By connecting various communication cards such as a P1284 card, a SCSI card, a communication card such as a PHS, and the like, image data and management information attached to the image data can be transferred to and from other peripheral devices such as a computer and a printer. Can fit.
[0042]
Reference numeral 102 denotes a protection unit which is a barrier that covers the imaging unit including the lens 10 to prevent the imaging unit from being stained or damaged.
[0043]
Reference numeral 104 denotes an optical finder, which enables photographing using only the optical finder without using the electronic finder function of the image display unit 28. In the optical viewfinder 104, some functions of the notification unit 54, for example, a focus display, a camera shake warning display, a flash charge display, a shutter speed display, an aperture value display, an exposure correction display, and the like are provided.
[0044]
A communication unit 110 has various communication functions such as RS232C, USB, IEEE1394, P1284, SCSI, modem, LAN, and wireless communication.
[0045]
Reference numeral 112 denotes a connector connected to another device by the communication unit 110 or an antenna in the case of wireless communication.
[0046]
Reference numeral 200 denotes a recording medium such as a memory card or a hard disk. The recording medium 200 includes a recording unit 202 including a semiconductor memory or a magnetic disk, an interface 204 with the imaging device 100, and a connector 206 for connecting to the imaging device 100.
[0047]
210 is a recording medium such as a memory card or a hard disk. The recording medium 210 includes a recording unit 212 including a semiconductor memory or a magnetic disk, an interface 214 with the imaging device 100, and a connector 216 for connecting to the imaging device 100.
[0048]
FIG. 2 is a diagram for explaining operation members of the imaging device 100. A power button 301 is used to start and end the digital camera. A menu button 302 is a button used to enter a menu for changing a shooting mode, setting a date, protecting or deleting an image, and the like. It is also used to end various setting modes. A decision button 303 is used to decide a selection item.
[0049]
A display button 304 switches display / non-display of shooting information regarding an image. The left button 305 is used to move a selected item to the left or to feed an image. A right button 306 is used to move a selected item to the right or to feed an image. The up button 307 is used to move a selected item up. The down button 308 is used to move a selected item down.
[0050]
A shutter button 310 is a button used when shooting in a shooting mode. The mode switch 311 switches between a recording mode and a playback mode. The liquid crystal screen 312 is used when photographing while confirming the image, and also used for confirming the photographed image.
[0051]
FIG. 3 is a flowchart illustrating the flow of the processing operation of the image processing apparatus according to the present embodiment. When performing moving image editing, first, a file name (FILE1) to be edited and a first frame (Ns) and a last frame (Ne) of the edited moving image are designated (step S301).
[0052]
Next, it is determined whether or not the storage method selected by the user is new storage (step S302). If not, it is determined whether or not overwrite storage is performed (step S303). In the case of new saving, a saving file name is newly set as, for example, FILE2 (step S304). In the case of overwriting, the same file name (FILE1) as the edit target is set (step S305).
[0053]
Then, a moving image file of image data between the two frames is created based on the first frame and last frame information set in step S301 (step S306). In the case of overwriting, the existing moving image file is updated.
[0054]
Thereafter, a thumbnail file reflecting the information of the created moving image file is created (step S307). In the case of overwriting, the existing thumbnail file is updated corresponding to the update of the moving image file. In this thumbnail file creation, if the image of the existing thumbnail file is included in the image of the edited moving image file, the thumbnail file may be created based on the existing thumbnail file before editing. It is possible.
[0055]
FIG. 4 shows a display of the liquid crystal screen 401 (the liquid crystal screen 312 in FIG. 2) when editing a moving image. On the screen 401, a display image 402, a front part cut button 403, a rear part cut button 404, and a save button 405 are displayed on the left side as an edit menu, an indicator 406 indicating the contents of editing, and a counter indicating the total number of seconds after editing. 407 is displayed at the bottom of the screen.
[0056]
The item of the edit menu is moved by the up button 307 and the down button 308. When the front part cut button 403 or the rear part cut button 404 is to be selected, the editing position can be moved by the left button 305 and the right button 306. When the save button 405 is selected, an edit save button as shown in FIG. 5 appears.
[0057]
FIG. 5 shows an edit save screen. When the save button 405 is selected with the up and down buttons in the edit menu of FIG. 4, the edit save buttons 501 and 502 appear. A storage method is selected with the left button 305 and the right button 306, and determined with the determination button 303. At this time, the remaining capacity of the storage device is calculated, and if the remaining capacity is small, only overwriting can be selected.
[0058]
FIG. 6 shows a relationship between a moving image and a thumbnail file before and after editing. Reference numeral 601 denotes a virtual configuration of a moving image file before editing, and 603 denotes a virtual configuration of a thumbnail file for the moving image before editing. From this state, a moving image 603 that has not been cut at positions newly designated as the first frame and the last frame by the editing operation, and a thumbnail file 604 including the information are generated.
[0059]
Although the editing menu shown in FIG. 4 includes only a front partial cut and a rear partial cut, the same applies to editing contents such as combination and division, and the editing contents are not limited.
[0060]
Although the thumbnail file 604 generated after editing shown in FIG. 6 is described above, if the image information of the existing thumbnail file is included in the image information in the edited moving image file, the thumbnail file 604 before editing is displayed. 602 may be created, or information may be acquired from a moving image to create it. Further, the image to be extracted from the moving image as the thumbnail may be determined as the first frame of the edited moving image file, or may be determined by the user.
[0061]
(Other embodiments)
In order to operate various devices to realize the functions of the above-described embodiments, program codes of software for realizing the functions of the above-described embodiments are transmitted to an apparatus connected to the various devices or a computer in a system. The present invention also includes those which are supplied and operated by operating the above-described various devices according to a program stored in a computer (CPU or MPU) of the system or the apparatus.
[0062]
In this case, the software program code itself implements the functions of the above-described embodiment, and the program code itself constitutes the present invention. As a transmission medium of the program code, a communication medium (a wired line or a wireless line such as an optical fiber) in a computer network (WAN such as a LAN or the Internet, a wireless communication network, etc.) system for transmitting and supplying the program information as a carrier wave. Etc.) can be used.
[0063]
Further, means for supplying the program code to a computer, for example, a recording medium storing the program code constitutes the present invention. As a recording medium for storing such a program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a nonvolatile memory card, a ROM, and the like can be used.
[0064]
When the computer executes the supplied program code, not only the functions of the above-described embodiments are realized, but also the OS (operating system) or other application software running on the computer. Needless to say, such a program code is also included in the embodiment of the present invention when the functions of the above-described embodiment are implemented in cooperation with the above.
[0065]
Further, after the supplied program code is stored in a memory provided in a function expansion board of a computer or a function expansion unit connected to the computer, a CPU provided in the function expansion board or the function expansion unit based on the instruction of the program code. It goes without saying that the present invention also includes a case where the functions of the above-described embodiments are implemented by performing part or all of the actual processing.
[0066]
It should be noted that the shapes and structures of the respective parts shown in the above embodiments are merely examples of the embodiment for carrying out the present invention, and the technical scope of the present invention is interpreted in a limited manner. It must not be done. That is, the present invention can be embodied in various forms without departing from the spirit or main features thereof. For example, the recording media 200 and 210 include not only memory cards such as PCMCIA cards and compact flash (R), hard disks, but also micro DATs, magneto-optical disks, optical disks such as CD-R and CD-WR, and DVDs. Of course, there is no problem even if it is constituted by a variable optical disk or the like. Also, there is no problem if the recording media 200 and 210 are composite media in which a memory card and a hard disk are integrated. Further, there is no problem even if a part of the composite medium is detachable. Further, the recording media 200 and 210 have been described as being separated from the imaging device 100 and can be arbitrarily connected. However, there is no problem even if any or all of the recording media remain fixed to the imaging device 100. .
[0067]
【The invention's effect】
As described above, according to the present invention, after editing a moving image, a new thumbnail file is created separately from the moving image file, so that the edited moving image file and the thumbnail file match, It is possible to easily confirm the contents of the moving image file.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of an imaging device 100 such as a digital camera including an image processing device according to an embodiment.
FIG. 2 is a diagram for explaining operation members of the imaging apparatus 100.
FIG. 3 is a flowchart illustrating a flow of a processing operation of the image processing apparatus.
FIG. 4 is a diagram showing an example of a screen display when editing a moving image.
FIG. 5 is a diagram showing an example of an edit save screen.
FIG. 6 is a diagram for explaining a relationship between a moving image and a thumbnail file before and after editing.
[Explanation of symbols]
14 Image sensor 24 Image display memory 28 Image display unit 30 Memory 50 System control circuit 54 Display unit 200 Recording medium 201 Recording medium
