JP2008099176A - 画像記録編集装置及び画像記録編集方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】撮影した静止画像を画面表示する再生速度を向上させる。
【解決手段】静止画の撮影、再生機能を有する機器において、静止画の再生速度を向上させるために、高解像度の本画像、低解像度のサムネイル画像の他に、中解像度の再生専用画像を作成し、３つの解像度の異なる画像を１つの画像ファイルとして記録する。表示専用として不十分な解像度の画像しか得られない場合には、後から追加又は置換えを行なう。撮影時の本画像のアスペクトに合わせて表示専用画像を作成するとともに、再生出力する表示機器の表示アスペクトに合わせてアスペクトを変更した表示専用画像の追加又は置換えを行なう。
【選択図】 図２

Description

本発明は、静止画像の撮影、記録、再生を行なう画像記録編集装置及び画像記録編集方法、並びにコンピュータ・プログラムに係り、特に、撮影した静止画像を画面表示する再生速度を向上させる画像記録編集装置及び画像記録編集方法、並びにコンピュータ・プログラムに関する。

さらに詳しくは、本発明は、撮影して得られた高解像度の本画像に対して中解像度となる再生専用画像を用いて再生速度を向上させる画像記録編集装置及び画像記録編集方法、並びにコンピュータ・プログラムに係り、特に、撮影画像を表示出力する再生機器に適した再生専用画像を用いて再生速度を向上させる画像記録編集装置及び画像記録編集方法、並びにコンピュータ・プログラムに関する。

カメラは、視覚的な情報を記録する手段として長い歴史を持つ。最近では、フィルムや感光板を使って撮影する銀塩カメラに代わって、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｎｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）といった固体撮像素子で捕捉した静止画又は動画像などの画像データをデジタル符号化するデジタルカメラが広範に普及している。この種のデジタルカメラによれば、デジタル符号化された画像をメモリに記憶し、コンピュータによる画像処理や画像管理を行なうことができ、さらにフィルムの寿命という問題がないといった利点がある。

デジタルスチルカメラのような静止画像を扱う機器では、カメラファイルシステムに関する統一の規格であるＤＣＦに従った静止画記録を行なうのが一般的である。ＤＣＦ（Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ）は、日本電子工業振興協会（ＪＥＩＤＡ)が制定した、デジタルカメラ用画像フォーマットであり、符号化圧縮方式としてＪＰＥＧ（Ｊｏｉｎｔ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）を基本にするとともに、デジタルカメラ用の画像ファイル・フォーマットであるＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ ｆｏｒ ｄｉｇｉｔａｌ ｓｔｉｌｌ ｃａｍｅｒａ）を併用して、フォルダ構造やメモリへの記録様式などを定義し、さまざまな機種間での再生互換を実現し、デジタルスチルカメラの普及に大きな役割を果たしている。すなわち、ＤＣＦに対応したデジタルカメラ同士では、メーカや機種が異なっていても画像を交換でき、記録メディアを対応プリンタに接続するだけでパソコンを介さずに印刷することができる。現在、日本国内では大半のデジタルカメラが対応しており、国際標準化のためにＩＳＯにも提案されている。

ＤＣＦ形式の画像ファイルには、撮影機種や撮影日、サムネイルなどの情報も格納されている。ここで言う「サムネイル」とは１６０×１２０画素からなる低解像度画像であり、イメージャに依存する高解像度の画像（以下では「本画像」とも呼ぶ）とともに記録することがＤＣＦで規定されている。

近年では、イメージャの高解像度化が顕著であり、本画像の解像度が増加するにつれて、本画像の画像サイズ（データ量）も大きくなっている。このため、メディアからの本画像の読み込み時間が増加することや、本画像を表示装置で表示できる画像サイズに解像度変換するための処理時間が長くなるといった要因により、メディアに記録されている本画像を表示装置で再生するための所要時間が増加している。そこで、ＤＣＦに準拠したＪＰＥＧ画像をユーザにストレスを感じさせずに高速に再生する方法が必要である、と本発明者らは考えている。

高速に再生画像を表示する１つの方法として、画像表示中にユーザの指示を待たずに次の画像を読み込んで次の画像表示を準備するという「先読み」が考えられる。

例えば、ユーザが順コマ送りや逆コマ送りの指示を入力する前にあらかじめ記録媒体から画像データを読み出して伸張処理して表示に備えた準備画像としてカメラ内部のメモリに保持しておき、コマ送りの指示が与えられたときには、該当する準備画像をメモリから読み出して液晶モニタに出力することにより、再生時間の短縮を図り、高速再生を実現するデジタルカメラについて提案がなされている（例えば、特許文献１を参照のこと）。

また、高速に再生画像を表示する他の方法として、本画像を再生する前にサムネイルの粗い画像を再生して、見た目のレスポンスを向上させる「２段階再生」が考えられる。

例えば、複数コマの連続表示では再生時間の短いサムネイル画像のみを表示することでコマ送り時間を短縮し、各コマの内容確認の迅速化を図ったデジタルカメラについて提案がなされている（例えば、特許文献２を参照のこと）。

また、記録画像の再生では圧縮画像の表示前にサムネイル画像を表示することにより再生処理の待ち時間を短縮するとともに、再生画像の確認の迅速化を図ったデジタルカメラについて提案がなされている（例えば、特許文献３を参照のこと）。

また、早送り中にサムネイルなどの簡易画像を再生して表示し所望の画像を得る、カメラ装置の早送り方法及びカメラ装置について提案がなされている（例えば、特許文献４を参照のこと）。

また、画像データとそのサムネイルデータを保管しておく部分と、画像データの処理及び画像の出力を行なう部分と、データ保管と画像処理との間で画像データをやりとりする通信部分と、画像データとそのサムネイルを表示する部分を有し、既に表示されているサムネイルが選択されるとまずサムネイルを拡大表示し、その拡大された画像を徐々に詳細にしていき、最終的にサムネイルの元の画像データを完全に表示することで、素早く画像データを確認できる画像表示方法について提案がなされている（例えば、特許文献５を参照のこと）。

また、ユーザによる画像再生要求を受けると、メモリカードから画像データファイル中のサムネイル画像を含むヘッダ部分を読み出して伸張させてから所定のサイズに変換して表示出力し、続いて主画像を含む残りの部分を読み出して伸張させてから所定のサイズに変換して表示出力する画像再生装置について提案がなされている（例えば、特許文献６を参照のこと）。

また、サムネイル画像データの伸張処理を行ない、伸張されたサムネイル画像データを拡大して液晶ディスプレイに表示し、続いて、所望のサムネイル画像を選択し、その間に対応する圧縮画像データを取込んで伸張処理を行ない、伸張された画像データを液晶ディスプレイに表示し、画像の確認を行なってから次の処理に移行する高速画像選択方法について提案がなされている（例えば、特許文献７を参照のこと）。

また、ディレクトリが指定され縮小画像の作成が必要となったとき、まず、処理速度優先エンジンにより高速に縮小画像を作成処理して一覧表示し、次に画質優先エンジンにより高画質の縮小画像を作成処理して該高画質の縮小画像により高速に作成された縮小画像を置き換える画像再生方法について提案がなされている（例えば、特許文献８を参照のこと）。

また、連続再生モードが設定されたとき、各々の前記サムネイル画像を拡大し、拡大した各々の拡大サムネイル画像を連続して再生することにより伸長に要する時間が短く、再生画像の更新周期を短縮したデジタルカメラについて提案がなされている（例えば、特許文献９を参照のこと）。

しかしながら、これらのいずれの方法であっても、解像度の高い本画像を表示するまでの実時間は基本的に変わりがない。「先読み」の場合、次の画像の読み込みが終了する前にユーザがファイル送りすると、次の表示画像が用意できていないため、従来の表示速度と変わりがない。また、「２段階再生」の場合は、ユーザが粗いサムネイル画像ではなく解像度の高い画像表示を望んでいる場合は、意味がない。

表示装置に画面出力する表示画像の解像度は、サムネイルよりも高く、本画像よりも低いのが一般的である。このことから、サムネイルと本画像の間の中解像度からなる第３の画像を表示専用画像として持つ方式が考えられる。

例えば、各画像ファイル内に低解像度画像、中解像度画像、及び高解像度画像を与え、中解像度画像をディスプレイ上で見ることを可能とする方法について提案がなされている（例えば、特許文献１０を参照のこと）。

また、原画像データを読み込み、読み込んだ原画像データをフォーマット変換して表示用画像データを作成し、原画像データ及び表示用画像データを画像データ格納手段に格納可能に構成するとともに、格納された前記表示用画像データを画像データ表示手段に表示可能に構成する画像データ表示装置について提案がなされている（例えば、特許文献１１を参照のこと）。

また、シャッタの押下があると、輝度及び色差データを映像メモリに一旦格納し、そのデータをＪＰＥＧ形式に符号化して格納し、さらに映像メモリに格納されている同じ映像データに対して今度は間引きしてＲＧＢ形式に変換して、異なる種類の環境下で読み込み再現することが可能な映像データとして格納する撮像装置について提案がなされている（例えば、特許文献１２を参照のこと）。

また、撮像された１枚分の画像信号から、複数種類の画像出力装置に出力するのにそれぞれ適した複数の処理形態の画像データを作成して記憶装置に記憶しておき、複数種類の画像出力装置のうちから選択された所定の画像出力装置に適した処理形態の画像データを記憶装置から出力する画像処理装置について提案がなされている（例えば、特許文献１３を参照のこと）。

また、画像信号処理部から入力された生画像データを所定の解像度に変換し、生画像データ及び解像度変換された画像データの少なくとも一方を記録データに変換して記録し、画像表示を行なう度に解像度変換する必要を無くした画像記録再生装置について提案がなされている（例えば、特許文献１４を参照のこと）。

また、被写体像の撮像により得られた本画像データに基づいて表示装置の表示解像度に対応するＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃ Ａｒｒａｙ）画像データを作成し、本画像データとＶＧＡ画像データとをメモリカードの同一画像ファイルとして記録し、表示モニタの画素数と等しい画素数の画像を本画像読み出し中に表示する電子カメラについて提案がなされている（例えば、特許文献１５を参照のこと）。

また、撮影で得た本画像データから画素数を減少させたプレビュー画像データ及びこれよりさらに減少させ、規定の画素数としたサムネイル画像データを作成させ、本画像データと、対応するプレビュー画像データ及びサムネイル画像データとを一纏めにしてメモリカードに記録させるとともに、再生モード時にメモリカード２９に記録された画像データ中から１つが選択されて、その画像データにプレビュー画像データが含まれていない場合には、対応する本画像データ又はサムネイル画像データを表示部に表示させる電子カメラについて提案がなされている（例えば、特許文献１６を参照のこと）。

また、撮影された画像に対して、表示手段のフォーマットに合わせた解像度変換処理を実行し表示手段の特性に合わせた前記画素数の少ない画像を生成し、固定値の圧縮パラメータを用いて圧縮処理して記憶メディアに記録する電子スチルカメラについて提案がなされている（例えば、特許文献１７を参照のこと）。

ところが、本画像及びサムネイル画像とともに表示専用の第３の画像をあらかじめ生成し記録しておく方法においては、被写体撮影時における記録時間が増加するという問題がある。すなわち、再生速度の向上には繋がるものの、撮像器の性能を表す重要な要素である撮影速度を犠牲にすると思料される。この方法では、解像度の高い本画像を解像度変換して第３の表示専用画像を作成し、次に第３の表示画像から解像度の低いサムネイル画像を作成するという画像の作成順が考えられるが（例えば、特許文献１８を参照のこと）、撮影時間の増加を短くする要因とはならない。撮影時に常に第３の画像を記録する場合、記録時間が延びることから、ユーザの利便性を損なうことになる。

また、ＤＣＦで規定するフォーマットに従って、撮影時にはサムネイルと本画像のみを記録したファイルに対して、編集操作などに応じて後から表示専用の第３の画像を追加記録する方法も考えられる（例えば、特許文献１６を参照のこと）。しかしながら、表示専用のプレビュー画像データを追加記録するまでは本画像を表示用に使用するため、画像の再生速度は上がらない。

また、本画像に対する表示専用画像を用意することを提案する従来技術のほとんどは、本画像を撮影する撮影機器に搭載されたモニタ・ディスプレイ上で画像を再生することを前提としており、撮影機器に外付けされたＴＶなどの（解像度やアスペクトが想定外となる）他の表示機器で画像を再生する場合については十分考慮されていない。この種の表示専用画像は表示機器に適した解像度で存在すべきである、と本発明者らは思料する。

特開２００２−１０１３２９号公報 特開平１０−７９９１２号公報 特開平１０−７９９１３号公報 特開平１１−１４６３２６号公報 特開平１１−３４５２４２号公報 特開２００２−３１４９４３号公報 特開２００３−１８９２５４号公報 特開２００３−２５６８２７号公報 特開平１１−１８０４４号公報 特表２００２−５０７３４７号公報 特開平５−２４９９４８７号公報 特開平１０−１０８１３３号公報 特開平１１−２８２４４６号公報 特開２０００−２７０２９９号公報 特開２００２−７７６７３号公報 特開２００４−７４３６号公報 特開平１１−３０８５６９号公報 特開２０００−２９５５７１号公報

本発明の目的は、撮影した静止画像を画面表示する再生速度を向上させることができる、優れた画像記録編集装置及び画像記録編集方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、撮影して得られた高解像度の本画像に対して中解像度となる再生専用画像を用いて再生速度を向上させることができる、優れた画像記録編集装置及び画像記録編集方法、並びにコンピュータ・プログラムを提供することにある。

本発明は、上記課題を参酌してなされたものであり、その第１の側面は、画像の記録に伴う許容時間が異なる複数の動作モードで動作し、画像の記録並びに編集を行なう画像記録編集装置であって、
記録対象となる画像を入力する画像入力手段と、
該入力された画像に応じた解像度となる本画像を作成する本画像作成手段と、
当該装置の現在の動作モードをチェックし、本画像に対する表示専用画像の解像度を該当する許容時間に応じて決定して、該決定された解像度からなる表示専用画像を作成する表示専用画像作成手段と、
前記本画像作成手段により作成された本画像及び前記表示専用画像作成手段により作成された表示専用画像を画像ファイルとして所定の記録メディアに記録する画像ファイル記録手段と、
を具備することを特徴とする画像記録編集装置である。

カメラファイルシステムに関する統一の規格であるＤＣＦでは、画像ファイルの中に、低解像度画像のサムネイルと、イメージャに依存する高解像度の本画像を記録することが規定されている。イメージャの高解像度化に伴い、本画像の画像サイズが大きくなってきていることから、ＪＰＥＧ画像を高速に再生する方法が必要である。

表示装置に画面出力する際の表示画像の解像度は、サムネイルよりも高く、本画像よりも低いのが一般的である。このことから、サムネイルと本画像の間の中解像度からなる第３の画像を表示専用画像として持つ方式が考えられる。しかしながら、再生機能に十分な画像サイズを持つ表示専用画像を常に記録すると、連続撮影などの短い時間間隔で撮影を行ないたい場合には、画像記録を経て撮影可能になるまで長い時間がかかることから、ユーザの利便性が損なわれるおそれがある。他方、表示専用画像を全く作成しないと、モニタ・ディスプレイなどに画像を再生出力したいときには表示時間への影響が大きい。

そこで、本発明に係る画像記録編集装置では、本画像を記録する際の緊急度に応じた解像度で表示専用画像を生成して、本画像に併せて記録することにようにしている。すなわち、撮影時間が許す範囲内で表示専用画像の記録が行なわれるので、ユーザの利便性が損なわれることはない。

具体的には、画像記録編集装置としてのデジタルスチルカメラにおいて高速な撮影が求められるモード下では、撮影時間が許す解像度で表示画像専用画像を作成し、これに伴って、表示専用画像に対応付けてその表示画像サイズ（アスペクトも含む）などのフッタ情報を記録するようにしている。

撮影時間の許容範囲内で表示専用画像の生成並びに記録を行なう場合、高速な撮影が求められるモード下では、表示機器に画面出力するには不十分な解像度となる表示専用画像が記録されること、あるいは表示専用画像が記録されないことが予想される。また、表示専用画像は一律同じサイズで作成されることが多く、デジタルスチルカメラに搭載されているモニタ・ディスプレイで画像再生を行なう際の利便性を考慮すると、モニタ・ディスプレイと同じアスペクトで表示専用画像を記録することが相当であると考えられる。

このような場合、あらかじめ記録メディアに記録されている表示専用画像がモニタ・ディスプレイにとって解像度が不十分である、外付けの表示機器上で画像再生する際には解像度やアスペクトが適切でない、本画像に付随した表示専用画像が存在しない、といった事態が想定される。

そこで、本発明に係る画像記録再生装置は、画像ファイルに記録されている表示専用画像を追加又は置き換え編集する表示専用画像編集手段をさらに備えていても良い。このような場合、高速再生したいときには、事前に記録されている表示専用画像を用いて画面出力するが、適切な解像度やアスペクトで画面出力したいときには、必要に応じて、モニタ・ディスプレイや外部接続される表示機器に適合する解像度及びアスペクトからなる表示専用画像を後から（画面出力する際に）改めて編集するようにすればよい。

また、本発明の第２の側面は、画像の記録に伴う許容時間が異なるいずれかの動作モード下で、画像の記録並びに編集を行なう画像記録編集処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
記録対象となる画像を入力する画像入力手順と、
該入力された画像に応じた解像度となる本画像を作成する本画像作成手順と、
現在の動作モードをチェックし、本画像に対する表示専用画像の解像度を該当する許容時間に応じて決定して、該決定された解像度からなる表示専用画像を作成する表示専用画像作成手順と、
前記本画像作成手順を実行して作成された本画像及び前記表示専用画像作成手順を実行して表示専用画像を画像ファイルとして所定の記録メディアに記録する画像ファイル記録手順と、
画像ファイルに記録されている表示専用画像を追加又は置き換え編集する表示専用画像編集手順と、
を実行させることを特徴とするコンピュータ・プログラムである。

本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本発明の第１の側面に係る画像記録編集装置と同様の作用効果を得ることができる。

本発明によれば、撮影して得られた高解像度の本画像に対して中解像度となる再生専用画像を用いて再生速度を向上させることができる、優れた画像記録編集装置及び画像記録編集方法、並びにコンピュータ・プログラムを提供することができる。

本発明に係る画像記録編集装置によれば、撮影時に作成された表示専用の第３の画像が再生機器に適した解像度になるよう、本画像から再度表示専用画像を作成する。その際、撮影速度を上げることを優先して画像データの記録と編集が行なわれるが、表示専用として不十分な解像度の画像しか得られない場合には、後から追加又は置換えを行なう。さらに、撮影時の本画像のアスペクトに合わせて表示専用画像を作成するとともに、画像を再生出力する表示機器の表示アスペクトに合わせてアスペクトを変更した表示専用画像へ追加又は置換えを行なうことができる。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

以下、図面を参照しながら本発明の実施形態について詳解する。

図１には、本発明の一実施形態に係る画像記録編集装置のハードウェア構成を模式的に示している。図示の画像記録編集装置は、デジタルスチルカメラとして構成され、カメラファイルシステムに関する統一の規格であるＤＣＦに従った静止画記録を行なうようになっている。以下、各部について説明する。

図示のデジタルスチルカメラ１は、撮像素子１１と、前処理部１２と、カメラ・デジタル信号処理部（ＤＳＰ）１６で構成され、

撮像素子１１は、ＣＣＤやＣＭＯＳなどの光電変換効果を持つ各画素が２次元に配列され、受光側には例えばＧ市松ＲＢ色コーディング単板が配設されている。各色フィルタを通した入射光量に対応する信号電荷が各画素に蓄積され、各画素から読み出される３色の各信号電荷量からその画素位置における入射光の色を再現することができる。

前処理部１２は、ＣＤＳ／ＡＧＣ／ＡＤＣブロック１３と、タイミング・ジェネレータ１４と、Ｖドライバ１５で構成される。

ＣＤＳ／ＡＧＣ／ＡＤＣブロック１３では、画素信号中の撮像素子１１から受ける信号の低雑音を高精度に抑圧した後（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ（相関二重サンプリング）：ＣＤＳ）、デジタル信号に変換し、さらにＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ：自動利得制御回路）により適正なゲイン・コントロールをかける。

タイミング・ジェネレータ１４は、撮像素子１１を駆動するためのタイミング・パルス信号を生成する。そして、Ｖドライバ１５は、このタイミング・パルス信号に従って、撮像素子１１の各画素の電荷を垂直方向にライン単位で出力するための駆動信号を出力する。

カメラＤＳＰ部１６は、カメラ信号処理部１７と、解像度変換部１８と、画像コーデック処理部１９と、メモリ制御部２０と、表示制御部２１と、メディア制御部２２を備えている。

カメラ信号処理部１７は、前処理部１２から送られてくる画像信号に対しＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）によりホワイトバランス・ゲインを掛けて適正な色状態を再現し、さらにデモザイク処理によりＲＧＢ画面信号を作成する。また、カメラ信号処理部１７は、ＲＧＢ画像信号に対してγ補正を施し、画像情報をモニタ出力、プリントアウト、又は画像記録する際に適した階調に変換する。

解像度変換部１８は、画像のサイズの変更を行なう。ここで言う解像度変換には、撮像素子１１と前処理部１２からなるイメージング・ブロックにおいて生成される高解像度の本画像から、１６０×１２０画素からなる低解像度のサムネイルに解像度変換することや、表示機器に合わせた中解像度の表示専用画像に解像度変換することを含む。

画像コーデック処理部１９は、ＲＧＢ画像信号を輝度信号と色差信号（Ｙ／Ｃｒ／Ｃｂ）に色空間変換し、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮などへの符号化圧縮処理を行なう。あるいは、ＪＰＥＧ符号化画像を表示出力する際には、画像コーデック処理部１９により画像データの復号化伸張処理が施される。

メモリ制御部２０は、撮影した画像情報などのデータをメモリ装置２４に対して書き込みや読み出しを行なうためのアクセス動作を制御する。メモリ装置２４は、例えば、メモリのバスが一定周期のクロック周波数に同期して動作するように改良されたＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）で構成されている。

表示制御部２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などで構成されるモニタ・ディスプレイ２５の駆動を制御し、例えばメモリ装置２４に保持されている撮影画像の表示出力を行なう。

メディア制御部２２は、メモリスティック（登録商標）などの着脱可能な記録メディア２６を装填するためのスロットを備え、記録メディア２６へのデータの書き込みや読み出しを行なう。例えばメモリ装置２４に保持されている撮影画像ファイルを記録メディア２６に記録する。撮影画像ファイルの記録には、高解像度の本画像とともに、低解像度のサムネイルや、中解像度の表示専用画像を伴うが、その詳細については後述に譲る。

また、カメラＤＳＰ部１６は、バス・インターフェース・ユニット（ＢＩＵ）２３を介して制御部２７に接続されている。制御部２７はユーザ操作に応じて当該装置全体の動作を統括的に制御するＣＰＵ２９、ＣＰＵ２９にとっての主記憶メモリであるＲＡＭ３０、プログラム・コードや装置情報などを不揮発的に保持するＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）３１、入出力インターフェース３２などで構成される。入出力インターフェース３２には、シャッターボタンやズームやその他のカメラ・ワークなどをユーザが指示するための操作部３３が接続され、また、外部の表示機器（図示しない）へのライン出力３４などが含まれる。

続いて、デジタルスチルカメラにおける撮影動作について説明する。

操作部３３を介して入力されたユーザの撮影動作指示により、撮像素子１１、並びに前処理部１２が動作し、画像情報がカメラＤＳＰ部１５に取り込まれる。そして、カメラ信号処理部１７にてＲＧＢ画像フレームを生成した後、メモリ制御部２０がメモリ装置２４に書き込む（画像キャプチャ）。

また、カメラＤＳＰ部１６では、キャプチャした後のデータを、メモリ制御部２０を通してメモリ装置２４から読み出して、カメラ信号処理８６にて、γ補正などの信号処理を行なった後、メモリ制御部２０を通してメモリ装置２４に書き込む（ＤＳＰ）。

また、信号処理後の画像データをメモリ装置２４から読み込み、解像度変換部１８にて画像フレームのサイズを変更し、表示制御部３１を通して、モニタ・ディスプレイ２５に表示出力する。

また、メモリ装置２４から読み込まれたデータを、解像度変換１８にて画サイズを変更し、さらに画像コーデック処理部１９にて、ＪＰＥＧ又はＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などのストリーム・データに圧縮してから、メディア制御部２２を通して記録メディア２６に書き込む。

また、上記で撮影した１枚又は複数枚の画像フレームをモニタ・ディスプレイ２５に表示する場合、最初にメモリ装置２５の表示エリアに黒パッディングを行なう。その後、記録メディア２６のストリーム・データを画像コーデック処理部１９にて伸張し、メモリ装置２４に書き込み、そのデータを、表示制御部２１を通してモニタ・ディスプレイ２５に表示させる。

本実施形態では、静止画像を画面表示する再生速度を向上させるために、高解像度の本画像、低解像度のサムネイル画像の他に、中解像度の再生専用画像を作成し、３つの解像度の異なる画像を１つの画像ファイルとして記録するようになっている。デジタルスチルカメラ１において画像ファイルを記録する方法について、図２を参照しながら説明する。

図示のように、画像ファイルは、低解像度（例えば１６０×１２０）で小容量（例えば２０Ｋバイト）のサムネイル画像２０２と、高解像度（例えば２５６０×１９４４）で大容量（例えば２０００Ｋバイト）の本画像２０３と、中解像度（例えば６４０×４８０）で中容量（例えば２００Ｋバイト）の表示専用画像２０４を含んでいる。本画像２０３とサムネイル２０２はＤＣＦ若しくはＥｘｉｆに規定されている。但し、ＤＣＦ若しくはＥｘｉｆで規定する画像ファイル・フォーマットでは、表示専用画像２０４は含まれていない（中解像度の表示専用画像２０４を記録することは必須ではない）。

また、本画像２０３並びにサムネイル２０２に併せて、ヘッダ情報２０１が作成され、併せて画像ファイルに記録される。ヘッダ情報２０１は、ＤＣＦ若しくはＥｘｉｆに規定されており、撮影機種や撮影日、サムネイルなどの情報が含まれる。

画像ファイルに表示専用画像が記録されていない場合には、画像ファイルを機器内蔵モニタ・ディスプレイ２５から再生出力するためには、例えば記録メディア２６に記録されている本画像２０３を読み込み、これを画像Ｃｏｄｅｃ処理部１９において伸張処理した後、さらに解像度変換部１８においてモニタ・ディスプレイ２５の解像度に合わせてから表示出力する。

このような表示出力方式においては、本画像２０３のバイト・サイズが大きいために、記録メディア２６からの読み込みに時間がかかることと、本画像２０３の解像度が高いために画像Ｃｏｄｅｃ処理部１９における伸張処理や、モニタ・ディスプレイ２５の解像度に合わせて解像度変換部１８で解像度変換処理などの演算処理に時間がかかることが問題となる。すなわち、ユーザが当該装置１に対して画像の再生指示を入力してから実際に画像がモニタ・ディスプレイ２５から表示出力されるまでには長い時間がかかる。

被写体を撮影したときなどに、サムネイル画像２０２と本画像２０３に加えて、表示専用画像２０４を１つの画像ファイルとしてあらかじめ記録しておくことで、モニタ・ディスプレイ２５などに画像ファイルを表示出力する際には、あらかじめモニタ・ディスプレイ２５の解像度に合わせて解像度変換が施された表示専用画像２０４を使用することで、再生速度を向上させることができる。

しかしながら、再生機能に十分な画像サイズを持つ表示専用画像２０４を常に記録すると、連続撮影などの短い時間間隔で撮影を行ないたい場合には、画像記録を経て撮影可能になるまで長い時間がかかることから、ユーザの利便性が損なわれるおそれがある。他方、表示専用画像２０４を全く作成しないと、モニタ・ディスプレイ２５などに画像を再生出力したいときには表示時間への影響が大きい。

そこで、本実施形態では、本画像を記録する際の緊急度に応じた解像度で表示専用画像を生成して、本画像に併せて記録することにようにしている。すなわち、撮影時間が許す範囲内で表示専用画像の記録が行なわれるので、ユーザの利便性が損なわれることはない。具体的には、デジタルスチルカメラ１において高速な撮影が求められるモード下では、撮影時間が許す低い解像度で表示画像専用画像２０４を作成し、これに伴って、表示専用画像２０４に対応付けてその表示画像サイズ（アスペクトも含む）２０５−１などのフッタ情報２０５を記録するようにしている。フッタ情報２０５には、表示専用画像２０４へのポインタも含まれる。

図３には、デジタルスチルカメラ１における撮影画像の記録シーケンスをフローチャートの形式で示している。

シャッタが押下されるなどユーザからの画像記録指示が入力されると（ステップＳ１）、撮像素子１１により撮像された画像が前処理部１２により信号処理されて、本画像の原画の作成が行なわれる（ステップＳ２）。本画像の解像度はイメージャの性能に依存するが、概して高解像度である。

次いで、現在デジタルスチルカメラ１に設定されている撮影モードをチェックして（ステップＳ３）、これに従って表示専用画像の作成・記録方法を決定する。

デジタルスチルカメラ１が高速な撮影モード下ではない場合には、表示専用画像の解像度及びアスペクトを、デジタルスチルカメラ１に搭載されたモニタ・ディスプレイ２５に適合するように設定して、解像度変換部１８により本画像の原画を解像度変換し、表示専用画像の原画の作成を行なう（ステップＳ４−１）。

また、デジタルスチルカメラ１が高速な撮影モード下である場合には、撮影時間の許容範囲となる解像度に設定して、解像度変換部１８により本画像の原画を解像度変換し、表示専用画像の原画の作成を行なう（ステップＳ４−２）。但し、アスペクトはデジタルスチルカメラ１に搭載されたモニタ・ディスプレイ２５に適合するように設定すればよい。

あるいは、デジタルスチルカメラ１が高速な撮影モード下である場合には、撮影時間の許容範囲では表示専用画像を記録することができない場合には、表示専用画像の不作成を決定する（ステップＳ４−２）。

続いて、解像度変換部１８により本画像の原画を解像度変換し、本画像よりも低解像度となるサムネイルの原画を作成する（ステップＳ５）。

次いで、画像Ｃｏｄｅｃ処理部１９において本画像並びにサムネイルを例えばＪＰＥＧ形式に符号化して、図２に示したように画像ファイルとして記録する（ステップＳ６）。このとき、ヘッダ情報２０１が作成され、併せて画像ファイルに記録される（ステップＳ７）。ヘッダ情報２０１には、撮影機種や撮影日、サムネイルなどの情報が含まれる。

次いで、画像Ｃｏｄｅｃ処理部１９において表示専用画像を例えばＪＰＥＧ形式に符号化して、図２に示したように画像ファイルとして記録する（ステップＳ８）。これに伴って、表示専用画像の表示画像サイズ（アスペクトも含む）などのフッタ情報を作成して、併せて画像ファイルに記録する（ステップＳ９）。

このようにして、本画像とサムネイル、及びこれらに関するヘッダ情報と言うＤＣＦで規定されるデータに加えて、表示専用画像とそのフッタ情報を記録して（ステップＳ１０）、画像ファイルの記録処理を終了する。

上述したように撮影時間の許容範囲内で表示専用画像の生成並びに記録を行なう場合、高速な撮影が求められるモード下では、表示機器に画面出力するには不十分な解像度となる表示専用画像が記録されること、あるいは表示専用画像が記録されないことが予想される。また、表示専用画像は一律同じサイズで作成されることが多く、デジタルスチルカメラ１に搭載されているモニタ・ディスプレイ２５で画像再生を行なう際の利便性を考慮すると、モニタ・ディスプレイ２５と同じアスペクトで表示専用画像を記録することが相当であると考えられる。

このような場合、記録メディア２６に記録されている表示専用画像２０４がモニタ・ディスプレイ２５にとって解像度が不十分である、外付けの表示機器上で画像再生する際には解像度やアスペクトが適切でない、あるいは本画像に付随した表示専用画像が存在しない、といった事態が想定される。

そこで、デジタルスチルカメラ１では、画像ファイルに記録されている表示専用画像を追加又は置き換え編集するようにしている。すなわち、既に画像ファイルに記録されている表示専用画像の解像度やアスペクトが、モニタ・ディスプレイ２５、あるいは入出力インターフェース３２を介して外部接続される表示機器に適合しないときには、ユーザからの指示入力に応答して、あるいはフッタ情報２０５を参照して自動的に、表示専用画像編集機能を起動して、表示専用画像を追加又は置き換え編集が行なわれる。

図４には、表示専用画像の追加又は置き換え編集を行なうための処理手順をフローチャートの形式で示している。

この処理手順は、ユーザからの編集指示の入力、画像ファイルの再生出力の開始、あるいはフッタ情報２０５の参照などに基づく自動検出に応じて起動する（ステップＳ１１）。

まず、表示専用画像の追加又は置き換え編集の対象となる画像ファイルを選定する（ステップＳ１２）。このファイル選定処理は特定の方法に限定されるものではない。

次いで、選定された画像ファイルに既に記録されている表示専用画像が存在するかどうかをチェックする（ステップＳ１３）。

そして、画像ファイルに既に記録されている表示専用画像が存在するときには、この表示専用画像の解像度とアスペクトをフッタ情報から取得して、再生出力先となっているモニタ・ディスプレイ２５又は外付け表示機器の解像度及びアスペクトに適合しているどうかをさらにチェックする（ステップＳ１４）。

ここで、画像ファイルに適切な表示専用画像が既に記録されている場合には（ステップＳ１３及びＳ１４においてともにＹｅｓ）、表示専用画像の追加又は置き換え編集を行なう必要はないので、本処理ルーチンを終了する。

他方、選定された画像ファイルに表示専用画像が記録されていない場合には（ステップＳ１３のＮｏ）、表示専用画像の追加編集を行なう。また、選定された画像ファイルに記録されている表示専用画像が再生出力先となっているモニタ・ディスプレイ２５又は外付け表示機器の解像度及びアスペクトに適合しない場合には（ステップＳ１４のＮｏ）、表示専用画像の置き換え編集を行なう。

具体的には、再生出力先となっているモニタ・ディスプレイ２５又は外付け表示機器の解像度及びアスペクトに設定して、解像度変換部１８により本画像の原画を解像度変換し、表示専用画像の原画の作成を行なう（ステップＳ１５）。

次いで、画像Ｃｏｄｅｃ処理部１９において表示専用画像を例えばＪＰＥＧ形式に符号化して、画像ファイルとして記録する（ステップＳ１６）。これに伴って、表示専用画像の表示画像サイズ（アスペクトも含む）などのフッタ情報を作成して、画像ファイル中に追加記録し又は既存の振った情報との置き換えを行なう（ステップＳ１７）。

上述したような表示専用画像の編集処理は、画像ファイル中のヘッダ情報に記載されたファイル更新日時の変更などを伴わない。よって、ユーザが意識することなく、適切な画像がモニタ・ディスプレイ２５や外付け表示機器から画面出力されるので、ユーザの利便性を高めることができる。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、カメラファイルシステムに関する統一の規格であるＤＣＦに従った静止画記録を行なう実施形態を例にとって説明してきたが、本発明の要旨はこれに限定されるものではない。デジタルスチルカメラなどのイメージャで取得された本画像（あるいはその他の高解像度の画像）に併せて表示専用となる画像を記録若しくは編集するさまざまな画像処理機気に対して、同様に本発明を適用することができる。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

本発明の一実施形態に係る画像記録編集装置のハードウェア構成を模式的に示した図である。 図２は、本実施形態で扱う画像ファイルの構成例を示した図である。 図３は、デジタルスチルカメラ１における撮影画像の記録シーケンスを示したフローチャートである。 図４は、表示専用画像の追加又は置き換え編集を行なうための処理手順を示したフローチャートである。

符号の説明

１…デジタルスチルカメラ
１１…撮像素子
１２…前処理部
１３…ＣＤＳ／ＡＧＣ／ＡＤＣブロック
１４…タイミング・ジェネレータ
１５…Ｖドライバ
１６…カメラＤＳＰ部
１７…カメラ信号処理部
１８…解像度変換部
１９…画像コーデック処理部
２０…メモリ制御部
２１…表示制御部
２２…メディア制御部
２３…バス・インターフェース・ユニット（ＢＩＵ）
２４…メモリ装置
２５…モニタ・ディスプレイ
２６…記録メディア
２７…制御部
２９…ＣＰＵ
３０…ＲＡＭ
３１…ＥＥＰＲＯＭ
３２…入出力インターフェース
３３…操作部
３４…ライン出力

Claims (16)

1. 画像の記録に伴う許容時間が異なる複数の動作モードで動作し、画像の記録並びに編集を行なう画像記録編集装置であって、
   記録対象となる画像を入力する画像入力手段と、
   該入力された画像に応じた解像度となる本画像を作成する本画像作成手段と、
   当該装置の現在の動作モードをチェックし、本画像に対する表示専用画像の解像度を該当する許容時間に応じて決定して、該決定された解像度からなる表示専用画像を作成する表示専用画像作成手段と、
   前記本画像作成手段により作成された本画像及び前記表示専用画像作成手段により作成された表示専用画像を画像ファイルとして所定の記録メディアに記録する画像ファイル記録手段と、
   を具備することを特徴とする画像記録編集装置。
2. 画像を表示出力する表示手段をさらに備え、
   前記表示専用画像作成手段は、当該装置の現在の動作モードにおける許容時間に応じて、前記表示手段に適合する解像度からなる表示専用画像を作成する、
   ことを特徴とする請求項１に記載の画像記録編集装置。
3. 前記表示専用画像作成手段は、前記表示手段に適合するアスペクトからなる表示専用画像を作成する、
   ことを特徴とする請求項２に記載の画像記録編集装置。
4. 前記画像ファイル記録手段は、表示専用画像の解像度並びにアスペクトを画像ファイルに記録する、
   ことを特徴とする請求項１に記載の画像記録編集装置。
5. 本画像に対して低解像度となるサムネイル画像を作成するサムネイル画像作成手段をさらに備え、
   前記画像ファイル記録手段は、本画像に併せてサムネイル画像を画像ファイルに記録する、
   ことを特徴とする請求項１に記載の画像記録編集装置。
6. 画像ファイルに記録されている表示専用画像を追加又は置き換え編集する表示専用画像編集手段をさらに備える、
   ことを特徴とする請求項１に記載の画像記録編集装置。
7. 画像を表示出力する表示手段をさらに備え、
   前記表示専用画像編集手段は、前記表示手段に表示専用画像を表示出力する際に、該表示専用画像の解像度又はアスペクトの少なくともいずれかが前記表示手段に適合しないことに応じて、前記表示手段に適合する解像度及びアスペクト比からなる表示専用画像を追加又は置き換え編集を行なう、
   ことを特徴とする請求項６に記載の画像記録編集装置。
8. 外部の表示機器を接続する接続手段をさらに備え、
   前記表示専用画像編集手段は、前記表示手段に表示専用画像を表示出力する際に、該表示専用画像の解像度又はアスペクトの少なくともいずれかが前記表示手段に適合しないことに応じて、前記表示機器に適合する解像度及びアスペクト比からなる表示専用画像を追加又は置き換え編集を行なう、
   ことを特徴とする請求項６に記載の画像記録編集装置。
9. 画像の記録に伴う許容時間が異なるいずれかの動作モード下で、画像の記録並びに編集を行なう画像記録編集方法であって、
   記録対象となる画像を入力する画像入力ステップと、
   該入力された画像に応じた解像度となる本画像を作成する本画像作成ステップと、
   現在の動作モードをチェックし、本画像に対する表示専用画像の解像度を該当する許容時間に応じて決定して、該決定された解像度からなる表示専用画像を作成する表示専用画像作成ステップと、
   前記本画像作成ステップにおいて作成された本画像及び前記表示専用画像作成ステップにおいて作成された表示専用画像を画像ファイルとして所定の記録メディアに記録する画像ファイル記録ステップと、
   を具備することを特徴とする画像記録編集方法。
10. 画像を表示手段から表示出力するステップをさらに備え、
    前記表示専用画像作成ステップでは、当該装置の現在の動作モードにおける許容時間に応じて、前記表示手段に適合する解像度からなる表示専用画像を作成する、
    ことを特徴とする請求項９に記載の画像記録編集方法。
11. 前記表示専用画像作成ステップでは、前記表示手段に適合するアスペクトからなる表示専用画像を作成する、
    ことを特徴とする請求項１０に記載の画像記録編集方法。
12. 前記画像ファイル記録ステップでは、表示専用画像の解像度並びにアスペクトを画像ファイルに記録する、
    ことを特徴とする請求項９に記載の画像記録編集方法。
13. 本画像に対して低解像度となるサムネイル画像を作成するサムネイル画像作成ステップをさらに備え、
    前記画像ファイル記録ステップでは、本画像に併せてサムネイル画像を画像ファイルに記録する、
    ことを特徴とする請求項９に記載の画像記録編集方法。
14. 画像ファイルに記録されている表示専用画像を追加又は置き換え編集する表示専用画像編集ステップをさらに備える、
    ことを特徴とする請求項９に記載の画像記録編集方法。
15. 画像を表示手段から表示出力するステップをさらに備え、
    前記表示専用画像編集ステップでは、前記表示手段に表示専用画像を表示出力する際に、該表示専用画像の解像度又はアスペクトの少なくともいずれかが前記表示手段に適合しないことに応じて、前記表示手段に適合する解像度及びアスペクト比からなる表示専用画像を追加又は置き換え編集を行なう、
    ことを特徴とする請求項１４に記載の画像記録編集方法。
16. 画像の記録に伴う許容時間が異なるいずれかの動作モード下で、画像の記録並びに編集を行なう画像記録編集処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
    記録対象となる画像を入力する画像入力手順と、
    該入力された画像に応じた解像度となる本画像を作成する本画像作成手順と、
    現在の動作モードをチェックし、本画像に対する表示専用画像の解像度を該当する許容時間に応じて決定して、該決定された解像度からなる表示専用画像を作成する表示専用画像作成手順と、
    前記本画像作成手順を実行して作成された本画像及び前記表示専用画像作成手順を実行して表示専用画像を画像ファイルとして所定の記録メディアに記録する画像ファイル記録手順と、
    画像ファイルに記録されている表示専用画像を追加又は置き換え編集する表示専用画像編集手順と、
    を実行させることを特徴とするコンピュータ・プログラム。
    

Images