JP2006287744A - 画像処理方法およびその装置 - Google Patents

Abstract

【課題】 撮影された画像に撮影時の天地方向の情報などの画像の姿勢が付加されている画像を再生する場合に、ユーザが再生された画像を見やすいように再生する画像処理方法及びその装置を提供する。
【解決手段】 縦撮りした画像を表示部に表示する際に、縦撮りした画像を回転して表示部に割り付けて表示しても表示された画像がユーザに見やすと判別される場合には、回転して表示し、縦撮りした画像を回転して表示部に割り付けて表示すると画像がユーザに見にくいと判別される場合には、回転せずに表示するように再生表示の処理を制御する。そのため、つねにユーザは見やすいように調整された再生画像を見ることができる。
【選択図】 図５

Description

本発明は画像処理方法およびその装置に関し、特に画像撮影時に検知される画像の姿勢、例えば天地方向などが対応付けて記憶された入力画像を再生する画像処理方法およびその装置に関するものである。

従来、固体メモリ素子を有するメモリカードを記録媒体として、静止画像や動画像を記録再生する電子カメラなどの画像処理装置は既に市販されており、カラー液晶パネルなどの電子ファインダーを備える電子カメラも販売されている。これらの電子カメラによれば、撮影前の画像を連続して表示して電子カメラの使用者が構図を決定することや、撮影した画像を再生表示することが可能である。特に、撮影した画像を撮影直後に再生する機能は利便性が高く、電子カメラの使用者にとって有益な機能となっている。

ところで、デジタルカメラやデジタルビデオカメラなどの所謂画像記録装置において、ユーザーは画像記録装置を天地方向に対して通常の姿勢で撮影する場合（以下、横撮り）と、画像記録装置を天地方向に対して９０度、または２７０度回転させた姿勢で撮影する場合（以下、縦撮り）とがある。また、通常の姿勢と逆さに天地方向に対して１８０度回転させた姿勢で撮影（横撮り）する場合もある。

そこで、ジャイロなどの姿勢検知手段を備えることで、撮影時の画像記録装置の姿勢（天地方向）を検知し、撮影された画像の天地方向を示す情報を付加して画像を記録する画像記録装置が市販されている。この画像記録装置において、例えば、天地方向は撮影時の装置の姿勢を検知した結果に応じて、０度、９０度、１８０度、２７０度といった回転角度で示すことができる。また、天地方向を示す情報は、撮影画像をＪＰＥＧフォーマットで符号化し記録する画像記録装置においては、ＥＸＩＦ情報として付加することができる。

こうして記録された撮影画像は、デジタルカメラやデジタルビデオカメラなどの所謂画像再生装置で再生する場合において、ＥＸＩＦ情報のうちの天地方向を示す情報に基づいて、撮影画像を９０度、１８０度、または２７０度回転して再生される。例えば、特許文献１には撮影時の装置の姿勢と再生時の装置の姿勢が一致するように撮影画像を回転する技術が、特許文献２には静止画の場合は回転をするが動画の場合は回転をしない技術が提案されている。
特開２０００−３１２３２９号公報 特開２００３−２７４３６６号公報

上記のような回転処理において、例えば、図３に示すように、縦撮りされた画像を回転せずそのまま再生した場合（図３（ａ））には、ユーザーは正しい天地方向で画像を見るためには撮影時の画像記録装置と同様に、画像再生装置を回転させる必要があるが、回転して再生した場合（図３（ｂ））には、ユーザーは画像再生装置を回転させなくても正しい天地方向で画像を見ることができる。

ところで、従来のデジタルカメラなどの画像記録装置は、一般的にアスペクト比４：３（３：２の場合もある）のＣＣＤやＣＭＯＳセンサーといった撮像素子を備え、撮影される画像のアスペクト比も４：３（３：２の場合もある）であり、このデジタルカメラなどの画像再生装置は一般的にアスペクト比４：３のＬＣＤやＥＶＦといった表示手段を備えている。

このような場合、例えば、図３に示すように、撮影画像のアスペクト比と、表示手段のアスペクト比がともに４：３であって、縦撮りされた画像を回転せずに再生する場合（図３（ａ））に対して回転して再生する場合（図３（ｂ））は、再生される画像は回転せずに再生する場合に比べ小さく表示せざるをえず、また画像全体を表示するために左右に余白（図中の黒塗り部分）を設けて表示する必要があった。このときの表示手段全体に占める画像の表示領域は図３（ｂ）に示すように約５６％である。

ところが、近年のデジタルビデオカメラなどにおいては、ワイド対応、ＨＤ対応のため、アスペクト比１６：９の撮像素子を備えるものが現れており、従来よりも横長なアスペクト比１６：９の画像も撮影できるようになった。こうしたデジタルビデオカメラでは、アスペクト比４：３の表示手段を持つものだけでなく、アスペクト比１６：９の表示手段を持つものも現れている。

しかしながら、図４に示すように、例えば、撮影画像のアスペクト比と、表示手段のアスペクト比がともに従来よりも横長な１６：９を有するデジタルビデオカメラなどの場合、縦撮りされた画像を回転せずに再生する場合（図４（ａ））に対して、回転して再生する場合（図４（ｂ））には、表示手段全体に占める画像の表示領域は図４（ｂ）に示すように約３２％となる。このような場合のように、撮影画像や表示手段のアスペクト比が大きくなると、縦撮りされた画像を回転した場合の表示サイズ（表示手段で再生される表示領域）が小さくなってしまうために、ユーザーにとって再生された画像が見づらくなるといった問題がある。

本発明は、上記説明した従来技術の問題点を解決することを出発点としてなされたものであり、その目的は、撮影された画像に撮影時の天地方向の情報などの画像の姿勢が付加されている画像を再生する場合に、ユーザが再生された画像を見やすいように再生する画像処理方法及びその装置を提供するものである。

上記目的を達成するために、本発明の画像処理装置は、画像撮影時に検知される画像の姿勢が対応付けて記憶された入力画像を再生する画像処理装置であって、前記画像の姿勢と再生画像の予測サイズとに基づいて、複数の再生形式から１つの再生形式を選択する再生形式選択手段と、選択された前記再生形式で入力画像を再生して表示する再生画像表示手段とを有することを特徴とする。

ここで、前記画像の姿勢は、画像撮影時の撮影装置の天地方向の角度を含む。また、前記複数の再生形式は、入力画像の回転と再生画面への割り付けとを含む。また、前記再生画像の予測サイズは、画像撮影手段の撮影画像のアスペクト比に基づいて予測される。また、前記再生形式選択手段は、再生画像の天地方向と再生画面の天地方向とが直角方向の場合に、前記撮影画像のアスペクト比が横／縦＝１４／９より小さければ、再生画像の天地方向が再生画面の天地方向に一致するように撮影画像を回転して再生画面に割り付ける再生形式を選択し、前記撮影画像のアスペクト比が横／縦＝１４／９より大きければ、撮影画像を回転せずに再生画面に割り付ける再生形式を選択する。また、前記再生画像の予測サイズは、前記再生画像が前記再生画像表示手段の再生画面に占める面積比率を基準とする。また、前記再生形式選択手段は、再生画像の天地方向と再生画面の天地方向とが直角方向の場合に、前記再生画面に占める再生画像の面積比率が３６．２％を越えるように撮影画像の回転と再生画面への割り付けを選択する。また、前記再生画像の予測サイズは、前記再生画像の表示面積又は対角線の長さを基準とする。また、前記再生形式選択手段は、再生画像の天地方向と再生画面の天地方向とが直角方向の場合に、前記再生表示の面積が所定の表示サイズを越えるように、あるいは前記再生表示の対角線の長さが所定の長さを越えるように、撮影画像の回転と再生画面への割り付けを選択する。また、前記再生画面への割り付けは、再生画像の天地方向と再生画面の天地方向とが直角方向の場合に、再生画像の天地方向が再生画面の天地方向に一致するように回転された倍率の異なる複数の撮影画像の割り付けを含む。また、画像を撮影する撮影手段と、画像撮影時に画像の姿勢を検知する検知手段と、撮影した画像と検知した画像の姿勢を対応付けて記憶する記憶手段とを更に有する。

又、本発明の画像処理方法は、画像撮影時に検知される画像の姿勢が対応付けて記憶された入力画像を再生する画像処理方法であって、前記画像の姿勢と再生画像の予測サイズとに基づいて、複数の再生形式から１つの再生形式を選択する再生形式選択工程と、選択された前記再生形式で入力画像を再生して表示する再生画像表示工程とを有することを特徴とする。

ここで、前記再生画像の予測サイズは、画像撮影手段の撮影画像のアスペクト比に基づいて予測される。また、前記再生画像の予測サイズは、前記再生画像が前記再生画像表示手段の再生画面に占める面積比率を基準とする。また、前記再生画像の予測サイズは、前記再生画像の表示面積又は対角線の長さを基準とする。また、前記複数の再生形式は、入力画像の回転と再生画面への割り付けとを含み、前記再生画面への割り付けは、再生画像の天地方向が再生画面の天地方向に一致するように回転された倍率の異なる複数の撮影画像の割り付けを含む。

更に、上記画像処理方法を実現するコンピュータ実行可能なプログラム、及び該プログラムをコンピュータ読み取り可能な形態で記憶する記憶媒体をも提供する。

本発明によれば、撮影された画像に撮影時の天地方向の情報などの画像の姿勢が付加されている画像を再生する場合に、ユーザが再生された画像を見やすいように再生する画像処理方法及びその装置を提供できる。

すなわち、本発明の第１の実施形態によれば、撮影画像のアスペクト比に基づく処理によって、簡単な構成でユーザが再生された画像を見やすいように再生することが出来る。

本発明の第２の実施形態によれば、再生画像の再生画面の専有率に基づく処理によって、ユーザが再生された画像を見やすいようにより正確な再生が出来る。

本発明の第３の実施形態によれば、再生画像のサイズに基づく処理によって、ユーザが再生された画像を見やすいようにより配慮した再生が出来る。

本発明の第４の実施形態によれば、異なる回転の複数の撮影画像を再生する処理によって、ユーザが再生された画像を認識できるような再生が出来る。

更に、本発明は、パソコンやテレビなどを含む再生専用の画像再生装置や、画像記録装置と画像再生装置が一体となった画像記録再生装置である再生用の電子ファインダー付きデジタルカメラやデジタルビデオカメラや、それぞれ独立した機器である画像記録装置と画像再生装置とがネットワークなどで接続されたシステムのいずれにも適用できる。

以下、図面を参照しながら本発明の好適な実施形態の数例を説明する。尚、本発明はかかる実施形態に限定されるものではなく、ユーザが再生された画像を見やすいように再生するための本実施形態から予期されるあらゆる技術を含むものである。又、以下の実施形態では、画像記録装置、画像再生装置、画像記録再生装置などで装置の構成範囲を分けているが、これらは画像を処理する画像処理装置に含まれるものであり、本明細書ではこれらを含めて画像処理装置として認識するものである。従って、以下の実施形態では、画像記録再生装置である再生用の電子ファインダー付きデジタルカメラやデジタルビデオカメラを例に本発明を説明するが、パソコンやテレビなどを含む再生専用の画像再生装置や、それぞれ独立した機器である画像記録装置と画像再生装置とがネットワークなどで接続されたシステムに対しても適用可能であり、これらも本発明に含まれるものである。

［第１の実施形態］
＜第１の実施形態の特徴＞
第１の実施形態の画像再生装置は、撮影時の姿勢検知によって得られた天地方向を示す情報を付加して記録されている撮影画像を取得して再生する際に、撮影時の画像記録装置の天地方向の角度および撮影された画像のアスペクト比によって、表示部に表示する画像の回転角度を決定し、決定された画像の回転角度で前記取得した画像を回転し、前記回転した画像が前記表示手段の画面サイズに合わせて表示されるように処理することができる。すなわち、縦撮りした画像を表示部に表示する際に、縦撮りした画像を回転して表示部に表示しても表示された画像がユーザに見やすいと判別される場合（縦撮り画像のアスペクト比がしきい値（例：１４／９）より大きい）には９０度（または２７０度）回転して表示し、縦撮りした画像を回転して表示部に表示すると画像がユーザに見にくいと判別される場合（縦撮り画像のアスペクト比がしきい値より小さい）には回転せずに表示することができる。そのため、つねにユーザは見やすいように調整された再生画像を見ることができる。

＜本実施形態の画像記録再生装置の構成例：図１＞
図１は、第１の実施形態における画像記録再生装置の構成を示すブロック図である。

図１において、第１の実施形態における画像記録再生装置１００のＣＰＵ１０２は、バス１０１を介してＲＡＭ１０３、ＲＯＭ１０４、キー操作処理部１０５、ジャイロ入力処理部１０６、画像処理エンジン１１１が接続されている。ＣＰＵ１０２はＲＯＭ１０４に格納されている制御プログラム１０４ａに基づいて動作し、動作時の一時的な情報の格納場所としてＲＡＭ１０３を用いる。ユーザーによるキー操作の状態は、キー操作処理部１０５で保持され、ＣＰＵ１０２の上記制御プログラムは定期的に上記キー操作の状態をキー操作処理部１０５より取得する。撮像時におけるジャイロによって検知される装置の姿勢状態は、ジャイロ入力処理部１０６で保持され、ＣＰＵ１０２の上記制御プログラムは定期的に上記姿勢状態をジャイロ入力処理部１０５より取得する。ＣＰＵ１０２の上記制御プログラムは取得した上記キー操作の状態や、上記姿勢状態に基づき、画像処理エンジン１１１を制御して、画像の記録動作や再生動作を行う。

＜本実施形態の画像記録再生装置の動作例：図１，図２，図５＞
（記録動作：図１，２）
まず、図１を用いて、撮影画像の記録動作について説明する。

画像記録再生装置１０１には図示しないモードダイヤルが設けられており、ユーザーがモードダイヤルを記録モードにあわせると、ＣＰＵ１０２の制御プログラムはキー操作処理部１０５よりモードダイヤルの状態を取得して、記録動作を行うモードに移行する。

画像記録再生装置１０１には図示しないシャッターボタンが設けられており、記録動作を行うモードにおいて、ユーザーがシャッターボタンを押下することで、ＣＰＵ１０２の制御プログラムはキー操作処理部１０５よりシャッターボタン押下の状態を取得する。それにより、上記制御プログラムは以下のように画像処理エンジン１１１を制御して撮影画像の記録動作を行う。尚、画像記録再生装置１０１には図示しないメモリカード・スロットが設けられており、撮影画像は上記スロットにセットされたメモリカードに記録される。

まず、画像処理エンジン１１１は図示しないＴＧ（タイミング・ジェネレータ）およびＡＦＥ（アナログ・フロント・エンド）を制御することでＣＣＤ１０７より、撮影画像のＲａｗデータを取得する。次に、画像処理エンジン１１１は上記ＲａｗデータをＲＡＭ１１４に格納する。次に、画像処理エンジン１１１は上記ＲａｗデータをＲＡＭ１１４より読み出し、色変換などの画像処理を行い、各画素に対して輝度（Ｙ）と色差（Ｃｂ、Ｃｒ）の情報をもつＹＣＣデータに変換して、再びＲＡＭ１１４に格納する。次に、画像処理エンジン１１１は上記ＹＣＣデータをＲＡＭ１１４より読み出し、ＪＰＥＧコーデック１１３を用いて符号化して、画像のサイズ情報などを含むＪＰＥＧの本画像データとして、再びＲＡＭ１１４に格納する。それと同時に、画像処理エンジン１１１は上記ＹＣＣデータをＲＡＭ１１４より読み出し、サムネイル画像のサイズに縮小して、ＲＡＭ１１４に格納する。次に、画像処理エンジン１１１は上記サムネイル画像サイズに縮小されたＹＣＣデータをＲＡＭ１１４より読み出し、ＪＰＥＧコーデック１１３を用いて符号化してＪＰＥＧのサムネイル画像データとして、ＲＡＭ１１４に格納する。

図２に、ＥＸＩＦ情報１５１、ＪＰＥＧの画像データ１５２及びＪＰＥＧのサムネイル画像データ１５３を含む画像１のデータ１５０（画像２、画像３、・・・と同様に格納される）を格納するためのＲＡＭ１１４内の撮影画像記憶部１１４ａの構成の一例を示す。画像に関わる付加情報をＥＸＩＦ情報１５１として格納可能である。

また、シャッターボタンの押下から、ここまでの画像処理エンジン１１１の動作と平行してＣＰＵ１０２の上記制御プログラムは、撮影時のシャッタースピードや絞り量といったパラメータとともに、ジャイロによって検知されジャイロ入力処理部１０６で保持されている撮像時における装置の姿勢状態を定期的にジャイロ入力処理部１０５より取得し、撮影時の姿勢状態から得られる撮影画像の天地方向を示すパラメータ１５１ａを、ＥＸＩＦ情報としてＣＰＵ１０２より画像処理エンジン１１１を介してＲＡＭ１１４に格納する。ここで、天地方向を示すパラメータは撮影時の姿勢状態に応じて、０度、９０度、１８０度、２７０度といった回転角度で示される。このとき、例えば撮影時の姿勢が−８０度（２８０度）〜８０度の範囲ならばパラメータは０度、同様に、８０度超〜１００度未満の範囲ならば９０度、１００度〜２６０度ならば１８０度、２６０度超〜２８０度未満ならば２７０度といった具合に割り当てたほうが都合がよい。

最後に、画像処理エンジン１１１はＲＡＭ１１４に格納された上記ＥＸＩＦ情報と、上記サムネイル画像データと、上記本画像データとを読み出して合成し、ＪＰＥＧファイルとして、カード制御部１１５を用いてメモリカードに記録する。

（再生動作：図１）
次に、撮影画像の再生動作について説明する。

ユーザーが上記モードダイヤルを再生モードにあわせると、ＣＰＵ１０２の制御プログラムはキー操作処理部１０５よりモードダイヤルの状態を取得して、再生動作を行うモードに移行する。再生動作を行うモードにおいて、上記制御プログラムは以下のように画像処理エンジン１１１を制御して上記メモリカードに記録されている撮影画像の再生動作を行う。

まず、画像処理エンジン１１１はカード制御部１１５を用いてメモリカードよりＪＰＥＧファイルを読み出し、ＲＡＭ１１４に格納する。次に、上記制御プログラムはＲＡＭ１１４に格納された上記ＪＰＥＧファイルの先頭に位置するＥＸＩＦ情報１５１（図２）を、画像処理エンジン１１１を介してＣＰＵ１０２により解析する。ここで、撮影時のシャッタースピードや絞り量などとともに、撮影画像の天地方向を示すパラメータ１５１ａ（例えば、回転角度：０、９０、１８０、２７０度）を取得する。また、ＪＰＥＧファイルの本画像データ１５２の位置を取得する。

次に、画像処理エンジン１１１は、ＲＡＭ１１４に格納された上記ＪＰＥＧファイルの本画像データ１５２を読み出し、そこに含まれている画像のサイズ情報などを、ＪＰＥＧコーデックを用いて解析して保持する。次に、上記制御プログラムは画像処理エンジン１１１が保持する上記サイズ情報を取得し、上記サイズ情報と、上記撮影画像の天地方向を示すパラメータ１５１ａ（例えば、回転角度：０、９０、１８０、２７０度）とによって、撮影画像を再生する際の回転角度を判別する。次に、上記制御プログラムは画像処理エンジン１１１に対して、再生する撮影画像の回転角度を設定する。次に、画像処理エンジン１１１は、ＲＡＭ１１４に格納されたＪＰＥＧファイルの本画像データを読み出し、ＪＰＥＧコーデック１１３を用いて、設定された上記回転角度に応じて復号化し、ＹＣＣデータとしてＲＡＭ１１４に格納する。

次に、画像処理エンジン１１１は、画像処理エンジン１１１の出力部の画像フォーマット（ＳＤまたはＨＤ）に従った出力データに、上記撮影画像の全体が収まるよう、ＲＡＭ１１４に格納された上記ＹＣＣデータに対して拡大縮小処理を行い、出力データとしてＲＡＭ１１４に格納する。上記ＹＣＣデータのアスペクト比と、上記出力データのアスペクト比が一致しない場合、上記出力データの中心に上記撮影画像の全体が収まるよう上記拡大縮小処理を行い、左右または上下の余白領域には黒が表示されるデータを埋めておく。

最後に、画像処理エンジン１１１は、ＲＡＭ１１４に格納された上記出力データを読み出し、ビデオ出力部１２２およびＬＣＤ出力部１２３に対して出力し続けることで、外部モニターやＬＣＤなどに再生された撮影画像が表示される。

また、画像記録再生装置１００には図示しない十字キーが設けられており、再生動作を行うモードにおいて、ユーザーが十字キーを押下することで、ＣＰＵ１０２の制御プログラムはキー操作処理部１０５より十字キー押下の状態を取得する。それにより、上記制御プログラムはメモリカード内の次の（または前の）撮影画像に対して上記の再生動作を行う。

（再生処理の処理手順例：図５）
上記の再生動作において、上記制御プログラム１０４ａが、上記回転角度を判別する判別処理を含む本実施形態の再生処理について、図５のフローチャートを用いて説明する。

まず、ステップＳ２０１において、上記撮影画像の天地方向（回転角度）を示すパラメータが０度または１８０度であった場合（横撮り）ステップＳ２０４に進み、該パラメータで示される角度をそのまま上記撮影画像を再生する際の回転角度として、回転（Ｓ２０４）・表示画面への割り付け（Ｓ２０５）・表示処理（Ｓ２０６）を行なう。すなわち、該パラメータで示される角度が０度のときはそのまま、１８０度のときは１８０度回転する表示処理を行う。一方、上記撮影画像の天地方向（回転角度）を示すパラメータが９０度または２７０度であった場合（縦撮り）には、ステップＳ２０２−１に進む。

ステップＳ２０２−１において、上記撮影画像の横方向のサイズｗと、縦方向のサイズｈ（ここでいう横方向と縦方向は、撮影時の天地方向には寄らず、ＪＰＥＧの本画像データにおける横方向と縦方向を示し、ｗ＞ｈとする）を用いてアスペクト比ｗ／ｈを算出し、算出したアスペクト比ｗ／ｈが閾値１４／９より小さい（例えば４／３の）場合に、ステップＳ２０４に進んで、該パラメータで示される角度をそのまま上記撮影画像を再生する際の回転角度とする。すなわち、この条件下では９０度或いは２７０度回転する表示処理を行う。例えば、４：３の画像のときは９０度或いは２７０度回転して表示されることになる。一方、ステップＳ２０２−１において、算出したアスペクト比ｗ／ｈが１４／９より大きい（例えば１６／９の）場合には、ステップＳ２０３に進む。

ステップＳ２０３では、撮影時の天地方向を示したパラメータを０度に置き換えて、すなわち回転角度を０度としてステップＳ２０４に進み、回転（Ｓ２０４）・表示画面への割り付け（Ｓ２０５）・表示処理（Ｓ２０６）を行なう。すなわち、この条件下では回転する表示処理を無効化する。例えば、１６：９の画像のときは縦撮りした画像であっても回転して表示されることはない。

尚、図５では、しきい値として１４／９を用いて説明しているが、これは一般的なアスペクト比４／３と１６／９との間に設定したものであり、撮影画像や再生画面のアスペクト比などが変われば変化するものであり、１４／９に限定されないことは当業者には自明であり、異なる値でも本発明の目的は達成される。

＜本実施形態の表示部に表示される画像例：図６〜図９＞
第１の実施形態の画像記録再生装置において、表示部に表示される画像の一例を図６乃至図９に示す。すなわち、表示部のアスペクト比が１６：９である場合において、縦撮りされた撮影画像のアスペクト比が１６：９の場合には、図６のように回転せずに再生される。これは、回転して表示すると表示される画像が小さくてユーザに見にくいことから、回転せずに再生したものである。一方、表示部のアスペクト比が１６：９である場合において、縦撮りされた撮影画像のアスペクト比が４：３の場合には、図７のように回転されて再生される。これは、回転して表示すると表示される画像をユーザは見やすい（表示部の表示領域は４２％である）ことから、回転して再生したものである。

同様に、表示部のアスペクト比が４：３である場合において、縦撮りされた撮影画像のアスペクト比が１６：９の場合には、図８のように回転せずに再生される。これは、回転して表示すると表示される画像が小さくてユーザに見にくいことから、回転せずに再生したものである。一方、表示部のアスペクト比が４：３である場合において、縦撮りされた撮影画像のアスペクト比が４：３の場合には、図９のように回転されて再生される。これは、回転して表示すると表示される画像をユーザは見やすい（表示部の表示領域は５６％である）ことから、回転して再生したものである。そのため、つねにユーザは見やすいように調整された再生画像を見ることができる。

［第２の実施形態］
＜第２の実施形態の特徴＞
第２の実施形態の画像記録再生装置においては、縦撮りした撮影画像を回転して再生する場合に、表示部の表示可能領域に占める撮影画像の表示領域の割合によって、撮影画像を再生する際の表示部に表示する画像の回転角度を決定するような構成とした。このような構成により、つねにユーザは見やすいように調整された再生画像を見ることができる。尚、以下の説明では、第２の実施形態の画像記録再生装置が第１の実施形態の画像記録再生装置と共通する点の説明は重複するので省略し、以下異なる点のみを説明する。

＜本実施形態の画像記録再生装置の構成例：図１＞
本実施形態の画像記録再生装置の構成は、第１の実施形態と同様である。

＜本実施形態の画像記録再生装置の動作例：図１０＞
本実施形態の画像記録については、第１の実施形態と同様なので、以下画像再生の手順例について示す。

画像記録再生装置において、表示部のアスペクト比（１６：９または４：３）と撮影画像のアスペクト比（１６：９または４：３）に対する、縦撮りした撮影画像を回転して再生した場合の表示画面に対する表示領域の占有割合は、図１１に示す表の通りとなる。第２の実施形態では、図１１の表における再生画面上の表示占有率が３２％と４２％の中ほどにある３６．２％（８１／２２４＝（９×９）／（１６×１４））を回転・割り付けを行なうか否かのしきい値として設定する。かかるしきい値は本例に限定されない。撮影画像や表示画面のアスペクト比の変化などにより変わり得るものである。

（再生処理の処理手順例：図１０）
図１，２を用いて第１の実施形態の画像記録再生装置で説明したのと同様の再生動作において、第２の実施形態の画像記録再生装置の制御プログラムが、回転角度を判別する判別処理を含む再生処理について、図１０のフローチャートを用いて説明する。

まず、ステップＳ２０１において、上記撮影画像の天地方向（回転角度）を示すパラメータが０度または１８０度であった場合（横撮り）ステップＳ２０４に進み、該パラメータで示される角度をそのまま上記撮影画像を再生する際の回転角度として、回転（Ｓ２０４）・表示画面への割り付け（Ｓ２０５）・表示処理（Ｓ２０６）を行なう。すなわち、該パラメータで示される角度が０度のときはそのまま、１８０度のときは１８０度回転する表示処理を行う。一方、上記撮影画像の天地方向（回転角度）を示すパラメータが９０度または２７０度であった場合（縦撮り）には、ステップＳ２０２−２に進む。

次に、ステップＳ２０２−２において、撮影画像の横方向のサイズｗと、縦方向のサイズｈと（ここでいう横方向と縦方向は、再生時の天地方向には寄らず、通常の姿勢における横方向と縦方向を示し、ｗ＞ｈとする）、表示部の横方向のサイズＷと、縦方向のサイズＨ（ここでいう横方向と縦方向は、再生時の天地方向には寄らず、通常の姿勢における横方向と縦方向を示し、Ｗ＞Ｈとする）より得られる、撮影画像を回転して再生した場合の表示画面に対する表示領域の割合Ｈｈ／Ｗｗを算出し、算出した表示領域の割合Ｈｈ／Ｗｗがしきい値、例えば８１／２２４（＝３６．２％）より大きい場合、例えば２７／２６４（＝約４２％）の場合には、ステップＳ２０４に進んで、該パラメータで示される角度をそのまま上記撮影画像を再生する際の回転角度とする。すなわち、この条件下では９０度或いは２７０度回転する表示処理を行う。一方、ステップＳ２０２−２において、算出した表示領域の割合Ｈｈ／Ｗｗがしきい値より小さい場合、例えば８１／２５６（＝約３２％）の場合には、ステップＳ２０３に進む。

ステップＳ２０３では、撮影時の天地方向を示したパラメータを０度に置き換えて、すなわち回転角度を０度としてステップＳ２０４に進み、回転（Ｓ２０４）・表示画面への割り付け（Ｓ２０５）・表示処理（Ｓ２０６）を行なう。すなわち、この条件下では回転する表示処理を無効化する。

＜本実施形態の表示部に表示される画像例：図１２＞
第２の実施形態の画像記録再生装置は、第１の実施の形態における画像再生装置に比べ、表示部のアスペクト比が４：３である場合、アスペクト比１６：９で縦撮りされた撮影画像を再生した場合には、図１２のように回転され再生される点が異なり、表示画面上の占有比率を考慮することで、ユーザにとって見やすい画面をより正確に表示することが可能となる。

［第３の実施形態］
＜第３の実施形態の特徴＞
第３の実施形態の画像記録再生装置は、直接、再生画面上における再生画像のサイズに注目して、縦撮りされた撮影画像を回転するか否かを判定する。かかる構成により、例えば、画像再生装置が既知の固定された装置でなく、種々接続可能である場合に、ユーザにとって見やすい画像をより確実に提供できる。尚、以下の説明では、第３の実施形態の画像記録再生装置が第１及び第２の実施形態の画像記録再生装置と共通する点の説明は重複するので省略し、以下異なる点のみを説明する。

＜本実施形態の画像記録再生装置の構成例：図１＞
本実施形態の画像記録再生装置の構成は、第１の実施形態と同様である。

＜本実施形態の画像記録再生装置の動作例：図１，図１３＞
（再生処理の処理手順例：図１３）
上記制御プログラム１０４ａが、上記回転角度を判別する判別処理を含む本実施形態の再生処理について、図５のフローチャートを用いて説明する。

まず、ステップＳ２０１において、上記撮影画像の天地方向（回転角度）を示すパラメータが０度または１８０度であった場合（横撮り）ステップＳ２０４に進み、該パラメータで示される角度をそのまま上記撮影画像を再生する際の回転角度として、回転（Ｓ２０４）・表示画面への割り付け（Ｓ２０５）・表示処理（Ｓ２０６）を行なう。すなわち、該パラメータで示される角度が０度のときはそのまま、１８０度のときは１８０度回転する表示処理を行う。一方、上記撮影画像の天地方向（回転角度）を示すパラメータが９０度または２７０度であった場合（縦撮り）には、ステップＳ２０２−３に進む。

次に、ステップＳ２０２−３において、撮影画像の横方向のサイズｗと、縦方向のサイズｈと（ここでいう横方向と縦方向は、再生時の天地方向には寄らず、通常の姿勢における横方向と縦方向を示し、ｗ＞ｈとする）、表示部の横方向のサイズＷと、縦方向のサイズＨ（ここでいう横方向と縦方向は、再生時の天地方向には寄らず、通常の姿勢における横方向と縦方向を示し、Ｗ＞Ｈとする）より得られる、撮影画像を回転して再生した場合の表示画面に表示される画像のサイズをその面積で算出し、算出した表示面積がしきい値となる所定のサイズα、例えばＶＧＡ（640×480）サイズより大きい場合には、ステップＳ２０４に進んで、該パラメータで示される角度をそのまま上記撮影画像を再生する際の回転角度とする。すなわち、この条件下では９０度或いは２７０度回転する表示処理を行う。一方、ステップＳ２０２−３において、算出した表示面積が上記しきい値となる所定のサイズより小さい場合には、ステップＳ２０３に進む。

ステップＳ２０３では、撮影時の天地方向を示したパラメータを０度に置き換えて、すなわち回転角度を０度としてステップＳ２０４に進み、回転（Ｓ２０４）・表示画面への割り付け（Ｓ２０５）・表示処理（Ｓ２０６）を行なう。すなわち、この条件下では回転する表示処理を無効化する。

尚、かかるしきい値は本例に限定されない。再生画面までの距離などの再生環境や再生画面を見るユーザの変化などにより変わり得るものである。又、上記例では、表示画像のサイズとして表示面積を考慮したが、例えば表示画像の短い辺の長さや対角線の長さなど、ユーザにとって見やすいための基準であれば表示画像のサイズを判定する様々な基準が考えられ、これらも本発明に含まれる。又、本実施形態ではＶＧＡ（640×480）サイズを回転するか否かの基準の例としたが、このような固定値を基準にするのではなく、例えば、表示機器の画面サイズ、表示画面を見る距離（すなわち、個人の携帯用か／多数が観る大画面かなどを含む）、更に、表示機器が自在に回転可能かなどの条件をも加味して、回転するか否かの基準を設けるようにしてもよい。本発明は、従来の撮影時の方向のみによる回転ではユーザにとって常に見やすいとは言えないことを認識することによって成されたものであり、表示の状態を予測することで回転を制御する技術思想を提供するものであり、これらの変形例も本発明に含まれるものである。

［第４の実施形態］
＜第４の実施形態の特徴＞
第４の実施形態の画像記録再生装置は、縦撮りされた撮影画像を回転して再生するとき、表示可能領域の余白部分を利用して異なる倍率で撮影画像を表示するよう構成されている。尚、以下の説明では、第４の実施形態の画像記録再生装置が第１乃至第３の実施形態の画像記録再生装置と共通する点の説明は重複するので省略し、以下異なる点のみを説明する。

＜本実施形態の画像記録再生装置の構成例：図１＞
本実施形態の画像記録再生装置の構成は、第１の実施形態と同様である。

＜本実施形態の画像記録再生装置の動作例：図１，図１４＞
（再生動作：図１）
撮影画像の再生動作について説明する。ユーザーが上記モードダイヤルを再生モードにあわせると、ＣＰＵ１０２の制御プログラムはキー操作処理部１０５よりモードダイヤルの状態を取得して、再生動作を行うモードに移行する。再生動作を行うモードにおいて、上記制御プログラムは以下のように画像処理エンジン１１１を制御して上記メモリカードに記録されている撮影画像の再生動作を行う。

まず、画像処理エンジン１１１はカード制御部１１５を用いてメモリカードよりＪＰＥＧファイルを読み出し、ＲＡＭ１１４に格納する。次に、上記制御プログラムはＲＡＭ１１４に格納された上記ＪＰＥＧファイルの先頭に位置するＥＸＩＦ情報１５１（図２）を、画像処理エンジン１１１を介してＣＰＵ１０２により解析する。ここで、撮影時のシャッタースピードや絞り量などとともに、撮影画像の天地方向を示すパラメータ１５１ａ（例えば、回転角度：０、９０、１８０、２７０度）を取得する。また、ＪＰＥＧファイルの本画像データの位置を取得する。

次に、画像処理エンジン１１１は、ＲＡＭ１１４に格納された上記ＪＰＥＧファイルの本画像データを読み出し、そこに含まれている画像のサイズ情報などを、ＪＰＥＧコーデックを用いて解析して保持する。次に、上記制御プログラムは上記撮影画像の天地方向を示すパラメータ１５１ａ（例えば、回転角度：０、９０、１８０、２７０度）とによって、撮影画像を再生する際の回転角度を判別する。次に、上記制御プログラムは画像処理エンジン１１１に対して、再生する撮影画像の回転角度を設定する。次に、画像処理エンジン１１１は、ＲＡＭ１１４に格納されたＪＰＥＧファイルの本画像データを読み出し、ＪＰＥＧコーデック１１３を用いて、設定された上記回転角度に応じて復号化し、ＹＣＣデータとしてＲＡＭ１１４に格納する。

次に、上記制御プログラムは画像処理エンジン１１１の出力部の画像フォーマット（ＳＤまたはＨＤ）に従った出力データに、上記画像の全体が収まるよう拡大縮小処理を選択する。次に、画像処理エンジン１１１は、上記制御プログラムが選択した拡大縮小処理に従って、画像エンジン１１１の出力部のフォーマット（ＳＤまたはＨＤ）に従った出力データに、上記撮影画像の全体が収まるよう、ＲＡＭ１１４に格納された上記ＹＣＣデータに対して拡大縮小処理を行い、出力データとしてＲＡＭ１１４に格納する。最後に、画像処理エンジン１１１は、ＲＡＭ１１４に格納された上記出力データを読み出し、ビデオ出力部１２２およびＬＣＤ出力部１２３に対して出力し続けることで、外部モニターやＬＣＤなどに再生された撮影画像が表示される。

（再生処理の処理手順例：図１４）
上記の再生動作において、上記制御プログラムが、上記拡大縮小処理を選択する処理を含む再生処理について、図１４のフローチャートを用いて説明する。

まず、ステップＳ３０１において、上記撮影画像の天地方向（回転角度）を示すパラメータが０度または１８０度の場合（横撮り）、ステップＳ３０２で第１の拡大縮小処理を行う。第１の拡大縮小処理とは、天地方向に対応する回転（０度あるいは１８０度）の後、上記ＹＣＣデータのアスペクト比と、上記出力データのアスペクト比が一致する場合、出力データ全体に撮影画像全体が収まるよう拡大縮小を行い、上記アスペクト比が一致しない場合には、上記出力データの中心に上記撮影画像の全体が収まるよう拡大縮小を行い、左右または上下の余白領域には黒が表示されるデータを埋める、上記第１乃至第３の実施形態で示した拡大縮小処理である。

一方、ステップＳ３０１において、上記撮影画像の回転角度を示すパラメータが９０度または２７０度の場合（縦撮り）、ステップＳ３０３に進み、第２の拡大縮小処理を行う。第２の拡大縮小処理とは、天地方向に対応する回転（９０度あるいは２７０度）の後、上記出力データの左端に上記撮影画像の全体が収まるよう拡大縮小を行い、右側の余白領域には上記撮影画像のなかに設けたトリミング領域を余白領域全体に収まるよう拡大縮小する拡大縮小処理である。

＜本実施形態の第２の拡大縮小処理の例と表示部に表示される画像例：図１５〜図１８＞
次に、第２の拡大縮小処理の例について説明する。

例えば、表示部のアスペクト比が１６：９で、撮影画像のアスペクト比が４：３の場合、第２の拡大縮小処理の結果、上記表示部には上記撮影画像が図１６のように表示される。尚、上記撮影画像の横方向のサイズをｗ、縦方向のサイズをｈ（ここでいう横方向と縦方向は、撮影時の天地方向には寄らず、ＪＰＥＧの本画像データにおける横方向と縦方向を示し、ｗ＞ｈとする）とし、上記表示部の横方向のサイズをＷと、縦方向のサイズをＨ（ここでいう横方向と縦方向は、再生時の天地方向には寄らず、通常の姿勢における横方向と縦方向を示し、Ｗ＞Ｈとする）とする。上記表示部に回転して表示された画像１１００のサイズは、縦方向にＨ、横方向にｈ（Ｈ／ｗ）となる。

上記表示部の余白領域１１０２のサイズは、縦方向にＨ、横方向にＷ−ｈ（Ｈ／ｗ）となり、この余白領域１１０２に画像１１００の中心に位置するトリミング領域１１０１を２倍（画像１１００の表示倍率に対して）に拡大した画像を表示する。よって、トリミング領域のサイズは、縦方向にＨ／２、横方向に（Ｗ−ｈ（Ｈ／ｗ））／２となる。また、画像１１００の中のトリミング領域１１０１は、枠線を点滅して表示させることで、どの領域が拡大表示されているのかをユーザーに知らせる。枠線は点滅しているので、トリミング枠が一カ所に固定している状態であっても、枠線の下に何が表示されているか確認することができる。

同様に、表示部のアスペクト比が４：３で、撮影画像のアスペクト比が１６：９の場合、図１７のように表示される。同様に、表示部のアスペクト比が４：３で、撮影画像のアスペクト比が４：３の場合、図１８のように表示される。

一方、撮影画像のアスペクト比が１６：９で、表示部のアスペクト比が１６：９といった場合には、上記の処理ではトリミング領域１１０１の横方向のサイズが画像１１００の横方向のサイズを超えてしまうため、トリミング領域１１０１の横方向のサイズを画像１１００と同じくｈ（Ｈ／ｗ）に制限して、余白領域１１０２の中心にトリミング領域１１０１の拡大画像を横方向のサイズを２ｈ（Ｈ／ｗ）として図１５のように表示する。

［他の実施形態］
尚、本発明の目的は、図１に示すＣＣＤ１０７といった撮像装置を備えず、外部から通信手段もしくは記憶媒体などを介して撮影画像を入力し、上記再生動作を行うよう構成された画像再生装置によって実現しても達成されることは言うまでもない。また、本発明の目的は、図１、図５，図１０、図１３および図１４に示す機能ブロックおよびフローチャートにおいて、どの部分をハードウェア回路により実現しても、コンピュータを用いたソフトウェア処理によって実現しても達成されることは言うまでもない。

又、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

又、自装置にセットされたＣＤ−ＲＯＭ、或いは、インターネット等の外部供給源から、前述した実施形態の機能を実現する為のプログラムデータを、自装置のメモリにダウンロードし、前述した実施形態の機能が実現されるような形態も本発明に包含される。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートを含む処理手順に対応するプログラムコードが格納されることが好ましい。

本実施形態における画像記録再生装置の構成を示すブロック図である。 本実施形態におけるメモリに記憶されている画像データなどの構成例を示す図である。 縦撮りした４：３の撮影画像を回転せず４：３の表示手段で再生した結果と、縦撮りした４：３の撮影画像を回転し４：３の表示手段で再生した結果の例を示す図である。 縦撮りした１６：９の撮影画像を回転せず１６：９の表示手段で再生した結果と、縦撮りした１６：９の撮影画像を回転し１６：９の表示手段で再生した結果の例を示す図である。 第１の実施の形態における再生処理の手順例を示すフローチャートである。 第１の実施の形態における縦撮りした１６：９の撮影画像を回転せず１６：９の表示手段で再生した結果の例を示す図である。 第１の実施の形態における縦撮りした４：３の撮影画像を回転し１６：９の表示手段で再生した結果の例を示す図である。 第１の実施の形態における縦撮りした１６：９の撮影画像を回転せず４：３の表示手段で再生した結果の例を示す図である。 第１の実施の形態における縦撮りした４：３の撮影画像を回転し４：３の表示手段で再生した結果の例を示す図である。 第２の実施の形態における再生処理の手順例を示すフローチャートである。 第２の実施の形態における撮影画像と表示手段のアスペクト比に対して撮影画像を回転して再生した場合の表示手段全体に占める画像の表示領域の割合を説明する図である。 第２の実施の形態における縦撮りした１６：９の撮影画像を回転し４：３の表示手段で再生した結果の例を示す図である。 第３の実施形態における再生処理の手順例を示すフローチャートである。 第４の実施形態における再生処理の手順例を示すフローチャートである。 第４の実施形態における縦撮りした１６：９の撮影画像を回転し二種類の倍率で１６：９の表示手段に並べて再生した結果の例を示す図である。 第４の実施形態における縦撮りした４：３の撮影画像を回転し二種類の倍率で１６：９の表示手段に並べて再生した結果の例を示す図である。。 第４の実施形態における縦撮りした１６：９の撮影画像を回転し二種類の倍率で４：３の表示手段に並べて再生した結果の例を示す図である。。 第４の実施形態における縦撮りした４：３の撮影画像を回転し二種類の倍率で４：３の表示手段に並べて再生した結果の例を示す図である。。

Claims (18)

1. 画像撮影時に検知される画像の姿勢が対応付けて記憶された入力画像を再生する画像処理装置であって、
   前記画像の姿勢と再生画像の予測サイズとに基づいて、複数の再生形式から１つの再生形式を選択する再生形式選択手段と、
   選択された前記再生形式で入力画像を再生して表示する再生画像表示手段とを有することを特徴とする画像処理装置。
2. 前記画像の姿勢は、画像撮影時の撮影装置の天地方向の角度を含むことを特徴とする請求項１記載の画像処理装置。
3. 前記複数の再生形式は、入力画像の回転と再生画面への割り付けとを含むことを特徴とする請求項１記載の画像処理装置。
4. 前記再生画像の予測サイズは、画像撮影手段の撮影画像のアスペクト比に基づいて予測されることを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
5. 前記再生形式選択手段は、再生画像の天地方向と再生画面の天地方向とが直角方向の場合に、前記撮影画像のアスペクト比が横／縦＝１４／９より小さければ、再生画像の天地方向が再生画面の天地方向に一致するように撮影画像を回転して再生画面に割り付ける再生形式を選択し、前記撮影画像のアスペクト比が横／縦＝１４／９より大きければ、撮影画像を回転せずに再生画面に割り付ける再生形式を選択することを特徴とする請求項４記載の画像処理装置。
6. 前記再生画像の予測サイズは、前記再生画像が前記再生画像表示手段の再生画面に占める面積比率を基準とすることを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
7. 前記再生形式選択手段は、再生画像の天地方向と再生画面の天地方向とが直角方向の場合に、前記再生画面に占める再生画像の面積比率が３６．２％を越えるように撮影画像の回転と再生画面への割り付けを選択することを特徴とする請求項６記載の画像処理装置。
8. 前記再生画像の予測サイズは、前記再生画像の表示面積又は対角線の長さを基準とすることを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
9. 前記再生形式選択手段は、再生画像の天地方向と再生画面の天地方向とが直角方向の場合に、前記再生表示の面積が所定の表示サイズを越えるように、あるいは前記再生表示の対角線の長さが所定の長さを越えるように、撮影画像の回転と再生画面への割り付けを選択することを特徴とする請求項８記載の画像処理装置。
10. 前記再生画面への割り付けは、再生画像の天地方向と再生画面の天地方向とが直角方向の場合に、再生画像の天地方向が再生画面の天地方向に一致するように回転された倍率の異なる複数の撮影画像の割り付けを含むことを特徴とする請求項３記載の画像処理装置。
11. 画像を撮影する撮影手段と、
    画像撮影時に画像の姿勢を検知する検知手段と、
    撮影した画像と検知した画像の姿勢を対応付けて記憶する記憶手段とを更に有することを特徴とする請求項１乃至１０のいずれか１つに記載の画像処理装置。
12. 画像撮影時に検知される画像の姿勢が対応付けて記憶された入力画像を再生する画像処理方法であって、
    前記画像の姿勢と再生画像の予測サイズとに基づいて、複数の再生形式から１つの再生形式を選択する再生形式選択工程と、
    選択された前記再生形式で入力画像を再生して表示する再生画像表示工程とを有することを特徴とする画像処理方法。
13. 前記再生画像の予測サイズは、画像撮影手段の撮影画像のアスペクト比に基づいて予測されることを特徴とする請求項１２記載の画像処理方法。
14. 前記再生画像の予測サイズは、前記再生画像が前記再生画像表示手段の再生画面に占める面積比率を基準とすることを特徴とする請求項１２記載の画像処理方法。
15. 前記再生画像の予測サイズは、前記再生画像の表示面積又は対角線の長さを基準とすることを特徴とする請求項１２記載の画像処理方法。
16. 前記複数の再生形式は、入力画像の回転と再生画面への割り付けとを含み、前記再生画面への割り付けは、再生画像の天地方向が再生画面の天地方向に一致するように回転された倍率の異なる複数の撮影画像の割り付けを含むことを特徴とする請求項１２記載の画像処理方法。
17. 請求項１２乃至１６のいずれか１つに記載の画像処理方法を実現するコンピュータ実行可能なプログラム。
18. 請求項１７記載のプログラムをコンピュータ読み取り可能な形態で記憶する記憶媒体。

Images