JP2006287386A - 画像の天地判定方法及び画像の天地判定装置 - Google Patents

Abstract

【課題】 被写体表面の陰影の付き方に基づいて天地を正確に判定する。
【解決手段】 多数の画素を配列して構成された画像の天地判定装置であって、前記画素または複数画素からなる画素の集まりを明るさ計測単位として明るさを調べる第１手段と、隣接する前記明るさ計測単位の明るさが所定の向きに対し増加傾向にあるか減少傾向にあるかを判定する第２手段と、前記判定結果により画像の天地を判定する第３手段とを含むことを特徴とする。
【選択図】 図９

Description

本発明は、画像の天地判定方法及び画像の天地判定装置に関する。

デジタルカメラで撮影された画像の形状は、短辺と長辺からなる矩形であり、その縦横比は、縦に対して横が長い、たとえば、「１対１．３」である。

図１５は、デジタルカメラの撮影時の構え方を示す図である。この図において、デジタルカメラ１で被写体２を撮影するとき、通常は、（ａ）に示すように、デジタルカメラ１を水平に構えて被写体２を撮影する。このときの撮影画像は、横長の画像になる。他方、背景等の都合などから、しばしば、（ｂ）や（ｃ）に示すように、デジタルカメラ１を縦に構えて被写体２を撮影することもある。このときの撮影画像は、縦長の画像になる。

さて、デジタルカメラ１で撮影した画像を、たとえば、パーソナルコンピュータに取り込んで、そのディスプレイに再生表示して鑑賞する際、縦長の画像が混在していると都合が悪い。パーソナルコンピュータは、横長の画像と縦長の画像を区別できないため、縦長の画像であっても、表示上は横長の画像として取り扱われてしまうからであり、図示の例でいえば、（ｂ）や（ｃ）の被写体２が横に寝た形で表示されるからである。

ここで、被写体２の頭上を“天”、足下を“地”ということにすると、上記の不都合は、デジタルカメラ１の内部、または、パーソナルコンピュータの内部で画像の天地を判定し、常に“天”が上にくるように画像を加工（回転補正）することによって解消できる。

図１６は、第１の従来技術の概念図である（特許文献１参照）。この従来技術では、デジタルカメラで撮影された画像３を４つの領域Ａ１〜Ａ４に分け、上二つの領域Ａ１、Ａ２の輝度値と下二つの領域Ａ２、Ａ３の輝度値とを比較し、輝度値が高い（つまり、明るい）方の領域を“天”、暗い方の領域を“地”と判定する。

図１７は、第２の従来技術の概念図である（特許文献２参照）。この従来技術では、デジタルカメラで撮影された画像４の４隅の領域Ｅ１〜Ｅ４の輝度値を取り出し、それら四つの輝度値を相互に比較対照して、輝度値が高い（つまり、明るい）二つの領域を特定し、それらの領域に接する辺を“天”と判定する。

特開２０００−１８４２７１号公報 特開２０００−２４１８４６号公報

しかしながら、上記の従来技術にあっては、いずれも、単に撮影画像の明るい方の辺を天と判定しているに過ぎないため、たとえば、以下のような撮影条件の場合に誤判定を招くことがある。

図１８は、従来技術の問題点の説明図である。（ａ）に示すように、被写体５の頭上に太陽等の高輝度体６が位置している場合、上記の従来技術は、被写体５の頭上の辺を天と判定するので、特段の不都合はない。しかし、（ｂ）に示すように、被写体７の背景が暗めで、しかも、その背景の左右いずれかに（図では右側に）偏って、ホワイトボードや白壁または白基調のポスター類若しくは人工照明などの白色物体８が位置している場合、上記の従来技術にあっては、その白色物体８に近い辺（図では右辺）を“天”と誤認する。このため、天を上にするための所要の補正（左９０度回転）を行うと、被写体７が横に寝てしまい、画像鑑賞の妨げになるという問題点がある。

そこで、本発明は、被写体表面の陰影の付き方に基づいて天地を正確に判定することにより、仮に背景中に白色物体が存在していた場合であっても、その白色物体に影響されることなく、天地の誤判定を招かない画像の天地判定方法及び画像の天地判定装置を提供することを目的とする。

請求項１記載の発明は、多数の画素を配列して構成された画像の天地判定方法であって、前記画素または複数画素からなる画素の集まりを明るさ計測単位として明るさを調べる第１ステップと、隣接する前記明るさ計測単位の明るさが所定の向きに対し増加傾向にあるか減少傾向にあるかを判定する第２ステップと、前記判定結果により画像の天地を判定する第３ステップとを含むことを特徴とする画像の天地判定方法である。
請求項２記載の発明は、多数の画素を配列して構成された画像の天地判定方法であって、前記画像の特定領域内の画素または複数画素からなる画素の集まりを明るさ計測単位として明るさを調べる第１ステップと、隣接する前記明るさ計測単位の明るさが所定の向きに対し増加傾向にあるか減少傾向にあるかを判定する第２ステップと、前記判定結果により画像の天地を判定する第３ステップとを含むことを特徴とする画像の天地判定方法である。
請求項３記載の発明は、前記第３ステップは、減少傾向が大となる向きを天から地への向きとする請求項１または請求項２いずれかに記載の画像の天地判定方法である。
請求項４記載の発明は、前記画像の撮影時の条件に基づき前記特定領域を設定する第４ステップをさらに含むことを特徴とする請求項１乃至請求項３のいずれかに記載の画像の天地判定方法である。
請求項５記載の発明は、前記画像がストロボ発光の下で撮影された画像であった場合には前記第１のステップ乃至第３のステップを実行しないようにする第５ステップをさらに含むことを特徴とする請求項１乃至請求項３のいずれかに記載の画像の天地判定方法である。
請求項６記載の発明は、多数の画素を配列して構成された画像の天地判定装置であって、前記画素または複数画素からなる画素の集まりを明るさ計測単位として明るさを調べる第１手段と、隣接する前記明るさ計測単位の明るさが所定の向きに対し増加傾向にあるか減少傾向にあるかを判定する第２手段と、前記判定結果により画像の天地を判定する第３手段とを含むことを特徴とする画像の天地判定装置である。
請求項７記載の発明は、多数の画素を配列して構成された画像の天地判定装置であって、前記画像の特定領域内の画素または複数画素からなる画素の集まりを明るさ計測単位として明るさを調べる第１手段と、隣接する前記明るさ計測単位の明るさが所定の向きに対し増加傾向にあるか減少傾向にあるかを判定する第２手段と、前記判定結果により画像の天地を判定する第３手段とを含むことを特徴とする画像の天地判定装置である。
請求項８記載の発明は、前記第３手段は、減少傾向が大となる向きを天から地への向きとする請求項６または請求項７いずれかに記載の画像の天地判定装置である。
請求項９記載の発明は、前記画像の撮影時の条件に基づき前記特定領域を設定する第４手段をさらに含むことを特徴とする請求項６乃至請求項７のいずれかに記載の画像の天地判定装置である。
請求項１０記載の発明は、前記画像がストロボ発光の下で撮影された画像であった場合には前記第１手段乃至第３手段の動作を停止するする第５手段をさらに含むことを特徴とする請求項６乃至請求項７のいずれかに記載の画像の天地判定装置である。

本発明では、多数の画素を配列して構成された画像の画素または複数画素からなる画素の集まりを明るさ計測単位として明るさを調べ、隣接する前記明るさ計測単位の明るさが所定の向きに対し増加傾向にあるか減少傾向にあるか、つまり、被写体表面の陰影の付き方に応じて画像の天地を判定する。
かかる判定において、ホワイトボードや白壁または白基調のポスター類若しくは人工照明などの白色物体は、上記の陰影がまったく観察されないか、またはきわめて少ないため、画像の天地判定に影響を及ぼさない。

以下、本発明の実施形態を、デジタルカメラを例にして、図面を参照しながら説明する。なお、以下の説明における様々な細部の特定ないし実例および数値や文字列その他の記号の例示は、本発明の思想を明瞭にするための、あくまでも参考であって、それらのすべてまたは一部によって本発明の思想が限定されないことは明らかである。また、周知の手法、周知の手順、周知のアーキテクチャおよび周知の回路構成等（以下「周知事項」）についてはその細部にわたる説明を避けるが、これも説明を簡潔にするためであって、これら周知事項のすべてまたは一部を意図的に排除するものではない。かかる周知事項は本発明の出願時点で当業者の知り得るところであるので、以下の説明に当然含まれている。

図１は、デジタルカメラ１０（画像の天地判定装置）の正面図及び背面図である。この図において、特に限定しないが、デジタルカメラ１０は、箱形のカメラボディ１１の前面に沈胴式のレンズ鏡筒１２、ストロボ発光窓１３及びファインダ前面窓１４などを配置すると共に、カメラボディ１１の上面に電源スイッチ１５及びシャッターボタン１６などを配置し、さらに、カメラボディ１１の背面にファインダ後面窓１７、撮影モード／再生モード切り換えスイッチ１８、ズーム操作兼再生表示モード切替スイッチ１９、ＭＥＮＵボタン２０、上下左右方向移動ボタン２１、ＳＥＴボタン２２、ＤＩＳＰボタン２３、及び、縦横比「１対１．３」の表示画面をもつ液晶モニター２４などを配置し、加えて、カメラボディ１１の底面に蓋２５を設け、この蓋２５を開くことによってカメラボディ１１の内部に実装されたバッテリ２６やカード型メモリやカード型ハードディスクなどの大容量の外部メモリ２７を着脱できるようになっている。

図２は、デジタルカメラ１０の内部ブロック図である。この図において、デジタルカメラ１０は、機能別に、撮像系２８、制御系２９、画像記憶系３０、表示系３１及び操作系３２などに分類することができる。

これらの系毎に説明すると、撮像系２８は、ボディ前面のレンズ鏡筒１２に収められたズーム機能及びオートフォーカス機能付の撮影レンズ群３３と、この撮影レンズ群３３を通過した被写体像を二次元の画像信号、すなわち、縦横比「１対１．３」の、たとえば、Ｉ×Ｊ画素の画像信号に変換するＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などからなる電子撮像部３４と、この電子撮像部３４からの画像信号に対して所要の画像処理を施す映像処理部３５と、画像処理後の画像信号を一時的に記臆する画像メモリ３６とを備えるとともに、レンズ鏡筒１２の不図示のフォーカス機構を駆動するフォーカス駆動部３７と、同ズーム機構を駆動するズーム駆動部３８と、ボディ前面のストロボ発光窓１３に設けられたストロボ発光部３９（ストロボ）と、このストロボ発光部３９を駆動するストロボ駆動部４０と、これらの各部（電子撮像部３４、映像処理部３５、フォーカス駆動部３７、ズーム駆動部３８、ストロボ駆動部４０）を制御するための撮影制御部４１とを備える。

制御系２９は、上記の各系を制御してデジタルカメラ１０の動作を集中的にコントロールするＣＰＵ４２（第１手段、第２手段、第３手段、第４手段、第５手段）と、このＣＰＵ４２の動作に必要な各種プログラムやデータを不揮発的に記憶するプログラムメモリ４３と、ユーザ固有のデータ、たとえば、後述のＭＥＮＵ処理で任意に設定される画面回転オンオフデータ等を不揮発的且つ書き換え可能に記憶するユーザデータメモリ４４と、任意の外部機器、たとえば、パーソナルコンピュータ４５との間のデータの入出力を行う外部インターフェース部４６とを備える。

画像記憶系３０は、メモリインターフェース部４７と、このメモリインターフェース部４７に着脱可能に接続される外部メモリ２７とを備える。表示系３１は、ＣＰＵ４２から適宜に出力される表示データを一時的に保持するビデオメモリ（ＶＲＡＭ４８）を含む表示制御部４９と、表示制御部４９の出力信号を表示する液晶モニター２４とを備える。

操作系３２は、カメラボディ１１の各部に設けられた様々な操作ボタン類、すなわち、シャッターボタン１６、撮影モード／再生モード切り換えスイッチ１８、ズーム操作兼再生表示モード切替スイッチ１９、ＭＥＮＵボタン２０、上下左右方向移動ボタン２１、ＳＥＴボタン２２、ＤＩＳＰボタン２３を含む操作入力部５０と、この操作入力部５０からの操作信号をＣＰＵ４２に入力するための入力回路５１とを備える。

図３は、デジタルカメラ１０の全体的な動作フローチャートを示す図である。この図において、デジタルカメラ１０の電源スイッチ１５がＯＮになると、まず、撮影モード／再生モード切り換えスイッチ１８の現在のスイッチ位置を調べて「撮影モード」であるか「再生モード」であるかを判定する（ステップＳ１０）。そして、判定結果が「撮影モード」であれば、所要の撮影モード処理を実行し（ステップＳ１１）、「再生モード」であれば、以下の再生モード処理を実行する。なお、撮影モード処理については、本発明と直接の関連性がないため、説明を省略する。

再生モード処理の流れは、概略、次のとおりである。まず、液晶モニター２４に画像が表示されているか否かを判定し（ステップＳ１２）、表示されていれば、後述のステップＳ２１に進み、表示されていなければ、外部メモリ２７に画像ファイル（撮影済画像）が格納されているか否かを判定する（ステップＳ１３）。そして、画像ファイルが格納されていなければ、液晶モニター２４に所要の警告メッセージ（たとえば“画像がありません”）を表示（ステップＳ１４）して、ＭＥＮＵボタン２０の押し下げ操作判定（ステップＳ１５）を経た後、再びステップＳ１０に復帰する。

一方、外部メモリ２７に画像ファイルが格納されていれば、その画像ファイルの中から、たとえば、最後に撮影された画像ファイルを読み出し（ステップＳ１６）、復号処理（Ｅｘｉｆ−ＪＰＥＧフォーマットで圧縮された画像を元の画像に再生する処理）を行い（ステップＳ１７）、次いで、ユーザデータメモリ４４に記憶されている画像回転オンオフデータ（詳細は後述）を読み出して、その画像回転オンオフデータが“オン”に設定されているか否かを判定し（ステップＳ１８）、“オン”に設定されていなければ、復号処理後の画像ファイルをそのまま液晶モニター２４に表示する（ステップＳ１９）一方、“オン”に設定されている場合には画像回転処理（ステップＳ２０：第１ステップ、第２ステップ、第３ステップ）を実行した後、画像回転処理後の画像ファイルを液晶モニター２４に表示する（ステップＳ１９）。なお、ステップＳ１９で、画像ファイルを液晶モニター２４に表示する際に、画像ファイルの画素数が液晶モニター２４の画素数を上回っている場合は、液晶モニター２４の画素数に合わせて画像ファイルを縮小してから液晶モニター２４に表示する。

ここで、“画像回転処理”とは、後で詳しく説明するが、画像ファイルの天地を判定し、画像の上辺以外の辺が天と判定された場合に、その辺が上にくるように画像を回転加工する処理のことをいう。たとえば、画像の右辺が天と判定された場合は画像を左９０度回転し、または、画像の左辺が天と判定された場合は画像を右９０度回転し、若しくは、画像の下辺が天と判定された場合は画像を１８０度回転することをいう。

図４は、液晶モニター２４に表示される画像例を示す図である。この図において、（ａ）に示す画像５２は、被写体５３（ここでは便宜的に人物像とする）の頭上側の上辺を“天”、足下側の下辺を“地”としたものである。すなわち、この画像５２は、デジタルカメラ１０を水平に構えて撮影したとき（図１５（ａ）参照）のものであり、縦横比「１対１．３」の横長の画像であるから、そのまま同一縦横比の液晶モニター２４やパーソナルコンピュータのディスプレイに表示して差し支えない。

これに対して、（ｂ）に示す画像５４は、デジタルカメラ１０を縦に構えて撮影したとき（図１５（ｂ）参照）のものであり、縦横比の点で上記の画像５２と一致するものの、被写体５５の向き（９０度異なっている）の点で上記の画像５２と相違する。すなわち、この画像５４は、正しくは、被写体５５の頭上側の右辺を“天”、足下側の左辺を“地”としなければならないところ、液晶モニター２４やパーソナルコンピュータのディスプレイ上では、図示のように、横長の画像として表示されるため、被写体５５が横に寝てしまい、見た目の違和感を否めない。

かかる違和感を無くすためには、（ｃ）に示すように、（ｂ）の画像５４を左９０度回転すると共に、液晶モニター２４の縦サイズに収まるように、縦横比を維持したまま縮小補正した画像５４′を生成し、その画像５４′を液晶モニター２４に表示すればよい。ステップＳ２０（及び後述のステップＳ２６）の画像回転処理は、こうした一連の処理、すなわち、画像の天地判定から回転加工及び縮小補正までを実行するためのものである。

画像ファイルを液晶モニター２４に表示すると、次に、上下左右方向移動ボタン２１の「左側」又は「右側」が押されたか否かを判定する（ステップＳ２１）。そして、いずれかが押されていれば、ユーザの所望による表示画像の入れ替えであると判断して、その押し下げ位置（「左側」又は「右側」）に対応した画像（撮影順番が一つ前の画像又は一つ後の画像）を外部メモリ２７から読み出し（ステップＳ２２）、復号処理する（ステップＳ２３）。

次いで、上記のステップＳ１８〜ステップＳ２０と同様に、ユーザデータメモリ４４に記憶されている画像回転オンオフデータを読み出して、その画像回転オンオフデータが“オン”に設定されているか否かを判定し（ステップＳ２４）、“オン”に設定されていなければ、復号処理後の画像ファイルをそのまま液晶モニター２４に表示する（ステップＳ２５）一方、“オン”に設定されている場合には、上記のステップＳ２０と同様の画像回転処理（ステップＳ２６：第１ステップ、第２ステップ、第３ステップ）を実行した後、画像回転処理後の画像ファイルを液晶モニター２４に表示する（ステップＳ２５）。

ステップＳ２５で画像ファイルを液晶モニター２４に表示すると、次に、「インデックス表示選択」か否かを判定する（ステップＳ２７）。“インデックス表示”とは、外部メモリ２７に格納されている画像ファイルの縮小画像を液晶モニター２４に配列表示することをいう。インデックス表示を所望するユーザは、ズーム操作兼再生表示モード切替スイッチ１９の「左側」を押し下げ操作する。また、このインデックス表示は、縮小画像の配列表示だけでなく、ファイル名や撮影日時等の文字情報をリスト表示する態様も含む。このリスト表示を希望するユーザは、ズーム操作兼再生表示モード切替スイッチ１９の「右側」を押し下げ操作する。

図５は、液晶モニター２４のインデックス表示画面を示す図である。この図において、液晶モニター２４にはｎ枚（ここでは一例として９枚）のインデックス画像５６ａ〜５６ｉが横３列、縦３行のマトリクス状に配列されている。太枠で囲まれたインデックス画像５６ｉは、現在選択中の画像（カーソルが位置している画像）である。

このような配列状態において、ＳＥＴボタン２２が押し下げ操作された場合には、選択中のインデックス画像（図示の例では太枠で囲まれたインデックス画像５６ｉ）に対応する画像ファイル（元の大きさの画像）を外部メモリ２７から読み出して復号処理を実行（ステップＳ２３）すると共に、ユーザデータメモリ４４に記憶されている画像回転オンオフデータを読み出して、その画像回転オンオフデータが“オン”に設定されているか否かを判定し（ステップＳ２４）、“オン”に設定されていなければ、復号処理後の画像ファイルをそのまま液晶モニター２４に表示する（ステップＳ２５）一方、“オン”に設定されている場合には、上記のステップＳ２０と同様の画像回転処理（ステップＳ２６）を実行した後、画像回転処理後の画像ファイルを液晶モニター２４に表示する（ステップＳ２５）。また、上下左右方向移動ボタン２１が押し下げ操作された場合には、その上下左右方向移動ボタン２１の押し下げ位置（「左側」又は「右側」）に対応して選択画像を変更する。なお、ステップＳ２５で、画像ファイルを液晶モニター２４に表示する際に、画像ファイルの画素数が液晶モニター２４の画素数を上回っている場合は、液晶モニター２４の画素数に合わせて画像ファイルを縮小してから液晶モニター２４に表示する。

次に、上記の再生モード処理のステップＳ２９で実行される「ＭＥＮＵ処理」について説明する。
図６は、ＭＥＮＵ処理のフローチャートを示す図である。このフローチャートでは、まず、液晶モニター２４に再生モード用メニュー画面を表示する（ステップＳ２９ａ）。次いで、ユーザによるメニュー項目の選択操作に対応した分岐判断を行い（ステップＳ２９ｂ）、いずれのメニュー項目も選択されていなければ、ＭＥＮＵボタン２０の再押し下げを判定して（ステップＳ２９ｃ）、押し下げられていなければ、ステップＳ２９ｂの分岐判断を繰り返す一方、ＭＥＮＵボタン２０が押し下げられた場合には、再生モード用メニュー画面を消した後（ステップＳ２９ｄ）、フローチャートを終了する。

ステップＳ２９ｂの分岐判断では、再生モードにおける様々な設定メニュー、たとえば、「拡大」、「スライドショー」及び「リサイズ」などに加えて、本実施形態特有の「画像回転オンオフ設定」のいずれかの分岐判断を行い、その判断結果に対応した処理を実行する。たとえば、「画像回転オンオフ設定」を判断した場合には、ユーザの設定値（画像回転する／しない）をユーザデータメモリ４４に書き込むための画像回転オンオフ設定処理（ステップＳ２９ｅ）を実行する。

図７（ａ）は、再生モード用メニュー画面５７を示す図である。液晶モニター２４に表示された再生モード用メニュー画面５７には、たとえば、拡大５８、スライドショー５９、リサイズ６０及び画像回転オンオフ設定６１などの各メニュー項目が並んでいる。ユーザによっていずれかのメニュー項目が選択されたときに、上記のフローチャートの分岐判断（図６のステップＳ２９ｂ）が成立し、それらの選択メニュー項目に対応した処理が実行される。すなわち、拡大５８が選択されると、再生画像の拡大処理が行われ、また、スライドショー５９が選択されると再生画像のスライドショー処理が行われ、また、リサイズ６０が選択されると再生画像のリサイズ処理が行われる。さらに、画像回転オンオフ設定６１が選択されると、ユーザの設定値（画像回転する／しない）をユーザデータメモリ４４に書き込むための画像回転オンオフ設定処理（図６のステップＳ２９ｅ）が行われる。

図７（ｂ）は、画像回転オンオフ設定のサブ画面６２を示す図である。液晶モニター２４に表示されたサブ画面６２には、オンボタン６３とオフボタン６４が配置されている。反転表示中のボタンは現在の設定ボタンを示す。“画像回転する”を希望するユーザによってオンボタン６３が押されると、ユーザデータメモリ４４の画面回転オンオフデータが“オン”になり、一方、“画像回転しない”を希望するユーザによってオフボタン６４が押されると、ユーザデータメモリ４４の画面回転オンオフデータが“オフ”になる。

以上のとおり、本実施形態のデジタルカメラ１０は、電源スイッチ１５をオンにすると、そのときの撮影モード／再生モード切り換えスイッチ１８の位置に応じて、ステップＳ１１の撮影モード処理、または、ステップＳ１０〜ステップＳ２９の再生モード処理のいずれか一方が繰り返し実行される。また、再生モード処理中にＭＥＮＵボタン２０が押し下げ操作されると、画像回転オンオフのユーザ設定を行うための画像回転オンオフ設定処理（図６のステップＳ２９ｅ参照）が実行される。

そして、再生モード処理の初回の繰り返しでは、外部メモリ２７に記憶されている画像ファイルの有無が判定され、画像ファイルが記憶されている場合には、最終撮影日時の画像ファイルが読み出されて復号処理された後、その復号処理後の画像ファイルが液晶モニター２４に表示される。また、再生モード処理の初回と２回目以降の繰り返しでは、上下左右方向移動ボタン２１の押し下げ操作に応答して、外部メモリ２７に記憶されている別の画像ファイルが読み出されて復号処理された後、その復号処理後の画像ファイルが液晶モニター２４に表示される。

本実施形態では、画像ファイルが表示される前に、ユーザによって予め設定された「画像回転する／しない」の判定（図３のステップＳ１８、ステップＳ２４参照）が行われ、その判定結果が「画像回転する」の場合に、画像回転処理（図３のステップＳ２０、ステップＳ２６参照）が実行される。

画像回転処理の目的は、液晶モニター２４に画像ファイルを表示する前に、その画像ファイルの天地を判定し、もし、天地が横向き（または逆さま）の場合に、その画像ファイルを９０度（または１８０度）回転加工するとともに、液晶モニター２４の縦サイズに収まるように縮小補正した画像ファイルを生成することにある。

画像ファイルの天地判定方法としては、冒頭の従来技術で説明したような画像の明るい方の辺を“天”とし、暗い方の辺を“地”とするものがあるが、この方法は、背景中の白色物体（図１８の白色物体８参照）の影響を受けやすく、その白色物体の位置によっては、横長の画像ファイルを間違って回転加工してしまうおそれがある。本実施形態の画像回転処理は、こうした背景中の白色物体の影響を受けることなく、画像ファイルの天地を正しく判定できるようにしたものであり、そのポイントは、単に「画像の明るい方の辺を“天”とし、暗い方の辺を“地”とする」のではなく、被写体表面の陰影の付き方に基づいて天地を判定する点にある。

図８は、本実施形態の画像回転処理の原理図である。特殊な撮影テクニックを除き、一般的に照明光線６６は被写体６５の“真上または斜め上”から当てられる。照明光線６６は昼間の屋外撮影における自然光（太陽光線）であり、あるいは、夜間の屋外撮影における街灯などの人工光である。また、屋内撮影における室内灯などの人工光も照明光線６６である。なお、夜間撮影時におけるストロボ３９の光は被写体６５に対してほぼ正面から当てられるため、図示の照明光線６６には含まれない。ストロボ３９を利用する場合の対策は後述する。

ここで、被写体６５の表面は、ホワイトボードなどの平面体を除き、大小様々な凹凸を有している。たとえば、被写体６５を人物の顔とすると、大きなところでは、目、鼻、口、顎、首などの各パーツごとの凹凸があり、さらに、微細なところでは、毛髪、眉毛、皮膚の皺（しわ）などの凹凸がある。これらの凹凸に、“真上または斜め上”から照明光線６６を当てると陰影が付く。本発明では、その陰影の付き方から照明光線６６の照射方向を判定する。

つまり、（ｂ）に示すように、目、鼻、口、顎、首などの各パーツごとの大きな凹凸については、照明光線６６の照射方向に面している側が明るく、影の部分が暗くなり、また、（ｃ）に示すように、毛髪、眉毛、皮膚の皺（しわ）などの微細な凹凸についても、照明光線６６の照射方向に面している側が明るく、影の部分が暗くなるから、こうした陰影の付き方を画像処理することにより、被写体６５に対する照明光線６６の照射方向、したがって、画像の天地を判定することができる。

図９は、被写体６５の陰影に基づく天地判定の概念図である。この図において、説明の便宜上、被写体６５は半球状の断面を有しているものとする。この被写体６５の斜め上方から照明光線６６を当てると、被写体６５のほぼ上半分が明るくなり、下半分が暗くなる。つまり、被写体６５の表面に陰影が付く。

さらに、それらの明るい部分と暗い部分を子細に観察すると、（ａ）に示すように、明るい部分については、被写体６５の上端付近が暗くなっており、その上端付近から下に行くにつれてだんだんと明るさがアップ（暗→明）し、明るい部分のほぼ中央付近で最大の明るさになり、且つ、その中央付近から暗い部分にかけて明るさが減少（明→暗）する。一方、影の部分については、暗から明への変化はほとんど観察されず、ただひたすら、下に行くにつれて明るさが減少（明→暗）し、最後には完全な影になる。

ここで、照明光線６６の光軸と観察方向とのなす角θを便宜的に４５度とすると、（ｂ）に示すように、被写体６５の上端部から少し下がった位置Ｐａの明るさが最大になる。被写体６５の表面の明るさは、この位置Ｐａの最大輝度を境にして、スキャン方向に沿って被写体６５の上端Ｐｂから下端Ｐｄに行くにつれて、次のように変化する。すなわち、位置Ｐｂからスタートした当初は暗から明（最大輝度）へと変化するが、位置Ｐａで最大輝度に至った後は、明から暗へと明るさの変化方向が逆転し、位置Ｐｃで暗となり、さらに、位置Ｐｄで最も暗くなるといった変化傾向を示す。かかる明るさの変化傾向において、特徴的な点は、暗から明への変化期間の長さ（Ｐｂ−Ｐａ）に比べて、明から暗への変化期間（Ｐａ−Ｐｃ）の方が長い点にある。つまり、「Ｐｂ−Ｐａ＞Ｐａ−Ｐｃ」の関係を示す点にある。Ｐｂ−ＰａとＰａ−Ｐｃの長短比率は、照明光線６６の光軸と観察方向とのなす角θが９０度に近くなるほど大きくなる。

したがって、このような特徴的な明るさの変化傾向（明→暗の変化期間が長い）から、被写体６５の天地方向を判定することができる。すなわち、被写体６５を撮像した画像を任意方向にスキャンして、その明るさの変化傾向を把握し、上記の特徴的な明るさの変化傾向（明→暗の変化期間が長い）が観察された場合に、そのスキャン方向を天地方向、詳細には、スキャン開始方向を“天”、終了方向を“地”と判定することができるのである。

かかる判定において、冒頭の従来技術の誤判定要因であった、ホワイトボードや白壁または白基調のポスター類若しくは人工照明などの白色物体（図１８の白色物体８参照）は、表面がほぼ均一な平面であり、凹凸が存在しないため、陰影はほとんど生じない。すなわち、上記の特徴的な明るさの変化傾向（明→暗の変化期間が長い）は観察されない。このため、本実施形態の陰影に基づく画像回転処理によれば、仮に背景中に白色物体が存在していとしても、その白色物体に影響されることがないため、天地の誤判定を招かない。

次に、本実施形態の画像回転処理の具体例を説明する。
図１０〜図１２は、具体的な画像回転処理のプログラムのフローチャートを示す図であり、図１３は、その処理対象画素の概念図である。このフローチャートでは、まず、図３のステップＳ１７またはステップＳ２３で復号処理された画像ファイルから判定用画像を作成する（ステップＳ３０）。ここでは、復号処理された画像ファイルを縮小処理して判定用画像を作成する。なお、ステップＳ３０の目的は、以降の判定処理のオーバヘッドを軽くすることにある。したがって、充分な画像処理能力がある場合は、当然ながら復号処理された画像ファイルそれ自体を判定用画像に用いても構わない。つまり、縮小処理（ステップＳ３０）を省略してもよい。本実施形態では、便宜的に、元の画像ファイルがＩ×Ｊ画素で構成された縦横比「１対１．３」の画像であると仮定し、その縦横比を崩さないように、Ｉ×Ｊ画素からＸ×Ｙ画素の画像に縮小変換したものを判定用画像とすることにする。ここで、Ｉ＞Ｘ、Ｊ＞Ｙであり、Ｘは横方向（水平方向）の画素数、Ｙは縦方向（垂直方向）の画素数である。たとえば、Ｉ＝１０２４、Ｊ＝７６８、Ｘ＝２５６、Ｙ＝１９２とすると、Ｘの一つの画素はＩの４個分の画素に相当し、また、Ｙの一つの画素もＪの４個分の画素に相当するので、ＸとＹはそれぞれ発明の要旨に記載の「複数画素からなる画素の集まり」に相当する。なお、一般的にＥｘｉｆ等の汎用形式の画像ファイルは、サムネイルと呼ばれる縮小画像をファイル内に保持しているため、そのサムネイルを読み出して上記の判定用画像に利用することができる。但し、そのようにすると、サムネイルをもたない他の形式の画像ファイルに適用できなくなるため都合が悪い。本実施形態では、汎用性を考慮し、敢えてステップＳ３０を入れる（判定用画像を作成する）ことにする。また、本実施形態では、Ｉ×Ｊの画像をＸ×Ｙの画像に縮小したものを判定用画像としているが、これに限定されず、たとえば、８×８画素のブロック毎に１画素をサンプリングしたもの、あるいは、ブロック内の明るさの平均値を１画素に担わせたものを判定用画像としてもよい。

判定用画像の作成を完了すると、次いで、変数ｘと変数ｙの値を“０”に初期化する（ステップＳ３１）。

次に、現在の注目画素（ｘ，ｙ）の明るさＫ_x,y と垂直方向の隣接画素（ｘ，ｙ＋１）の明るさＫ_x,y+1 の明るさの関係Ｄｖ_x,y を調べる（ステップＳ３２）。ここで、現在の注目画素とは、変数ｘと変数ｙで与えられる座標（ｘ，ｙ）に位置する画素のことをいう。今、変数ｘと変数ｙは共に初期値“０”であるから、現在の注目画素の座標（ｘ，ｙ）は（０，０）である（図１３（ａ）参照）。また、垂直方向の隣接画素の座標（ｘ，ｙ＋１）は（０，１）である。画素の明るさＫ_x,y 、Ｋ_x,y+1 とは、輝度値のことである。すなわち、黒レベル“０”から白レベル“２５５”までの間を離散化して表現した値のことである。明るさの関係Ｄｖ_x,y は、たとえば、次式（１）によって与えられる。

Ｄｖ_x,y ＝Ｋ_x,y −Ｋ_x,y+1 ・・・・（１）

式（１）は、注目画素（ｘ，ｙ）の明るさＫ_x,y から垂直方向の隣接画素（ｘ，ｙ＋１）の明るさＫ_x,y+1 を減算し、その答えを明るさの関係Ｄｖ_x,y とするものである（図１３（ｂ）参照）。式（１）によれば、注目画素（ｘ，ｙ）の明るさＫ_x,y よりも隣接画素（ｘ，ｙ＋１）の明るさＫ_x,y+1 が暗い場合、すなわち、垂直方向に連続する二つの画素の明るさが「明→暗」へと変化する場合には、明るさの関係Ｄｖ_x,y が正極性側に大きくなり、また、注目画素（ｘ，ｙ）の明るさＫ_x,y よりも隣接画素（ｘ，ｙ＋１）の明るさＫ_x,y+1 が明るい場合、すなわち、垂直方向に連続する二つの画素の明るさが「暗→明」へと変化する場合には、明るさの関係Ｄｖ_x,y が負極性側に大きくなり、また、注目画素（ｘ，ｙ）の明るさＫ_x,y と隣接画素（ｘ，ｙ＋１）の明るさＫ_x,y+1 が共に同じである場合、すなわち、垂直方向に連続する二つの画素の明るさが「無変化」の場合には、明るさの関係Ｄｖ_x,y が“０”になる。

このようにして、垂直方向の明るさの関係Ｄｖ_x,y を調べると、次に、このＤｖ_x,y の値から垂直方向に連続する二つの画素の明るさの変化態様、つまり、上記の「明→暗」、「暗→明」及び「無変化」のいずれであるか判定し（ステップＳ３３）、その判定結果でカウンタを更新する（ステップＳ３４）。

ここで、Ｎｖｉ_upper は垂直方向用の「明→暗」の出現回数カウンタであり、Ｎｖｉ_lower は垂直方向用の「暗→明」の出現回数カウンタであり、Ｎｖｉ_ungrad は垂直方向用の「無変化」の出現回数カウンタである。

なお、「明→暗」、「暗→明」及び「無変化」の判定は、上記のように、Ｄｖ_x,y が正極性であるか、負極性であるか、または、０であるかで行ってもよいが、好ましくは、「Ｄｖ_x,y ＞０かつ｜Ｄｖ_x,y｜ ＜＝Ｄ_thresh」のときに「明→暗」を判定し、「Ｄｖ_x,y ＜０かつ｜Ｄｖ_x,y ｜＜＝Ｄ_thresh」のときに「暗→明」を判定し、「Ｄｖ_x,y ＝０または｜Ｄｖ_x,y ｜＞Ｄ_thresh」のときに「無変化」を判定するようにしてもよい。

Ｄ_threshは、明るさの変化が“極端に大きい場合”を除外するためのしきい値である。すなわち、明るさの変化が極端に大きい場合は、光源による明るさの変化ではなく、被写体の材質に起因する色の変化であると判断し、そのような明るさの変化を「無変化」としてカウントすることにより、被写体の材質に起因する天地の誤判定を排除するためのしきい値である。

以上のように、垂直方向に連続する二つの画素の明るさの変化態様に対応したカウンタの更新を行うと、次に、同様の手法で、水平方向に連続する二つの画素の明るさの変化態様について調べる。

すなわち、現在の注目画素（ｘ，ｙ）の明るさＫ_x,y と水平方向の隣接画素（ｘ＋１，ｙ）の明るさＫ_x+1,y の明るさの関係Ｄｈ_x,y を調べる（ステップＳ３５）。上記と同様に、現在の注目画素とは、変数ｘと変数ｙで与えられる座標（ｘ，ｙ）に位置する画素のことをいう。今、変数ｘと変数ｙは共に初期値“０”であるから、現在の注目画素の座標（ｘ，ｙ）は（０，０）であり、また、水平方向の隣接画素の座標（ｘ＋１，ｙ）は（１，０）である。明るさの関係Ｄｈ_x,y は、たとえば、次式（２）によって与えられる。

Ｄｈ_x,y ＝Ｋ_x,y −Ｋ_x+1,y ・・・・（２）

式（２）は、注目画素（ｘ，ｙ）の明るさＫ_x,y から水平方向の隣接画素（ｘ＋１，ｙ）の明るさＫ_x+1,y を減算し、その答えを明るさの関係Ｄｈ_x,y とするものである（図１３（ｃ）参照）。式（２）によれば、注目画素（ｘ，ｙ）の明るさＫ_x,y よりも隣接画素（ｘ＋１，ｙ）の明るさＫ_x+1,y が暗い場合、すなわち、水平方向に連続する二つの画素の明るさが「明→暗」へと変化する場合には、明るさの関係Ｄｈ_x,y が正極性側に大きくなり、また、注目画素（ｘ，ｙ）の明るさＫ_x,y よりも隣接画素（ｘ＋１，ｙ）の明るさＫ_x+1,y が明るい場合、すなわち、水平方向に連続する二つの画素の明るさが「暗→明」へと変化する場合には、明るさの関係Ｄｈ_x,y が負極性側に大きくなり、また、注目画素（ｘ，ｙ）の明るさＫ_x,y と隣接画素（ｘ＋１，ｙ）の明るさＫ_x+1,y が共に同じである場合、すなわち、水平方向に連続する二つの画素の明るさが「無変化」の場合には、明るさの関係Ｄｈ_x,y が“０”になる。

このようにして、水平方向の明るさの関係Ｄｈ_x,y を調べると、次に、このＤｈ_x,y の値から水平方向に連続する二つの画素の明るさの変化態様、つまり、上記の「明→暗」、「暗→明」及び「無変化」のいずれであるか判定し（ステップＳ３６）、その判定結果でカウンタを更新する（ステップＳ３７）。

Ｎｈｉ_upper は水平方向用の「明→暗」の出現回数カウンタであり、Ｎｈｉ_lower は水平方向用の「暗→明」の出現回数カウンタであり、Ｎｈｉ_ungrad は水平方向用の「無変化」の出現回数カウンタである。

なお、「明→暗」、「暗→明」及び「無変化」の判定も、上記のように、Ｄｈ_x,y が正極性であるか、負極性であるか、または、０であるかで行ってもよいが、好ましくは、「Ｄｈ_x,y ＞０かつ｜Ｄｈ_x,y｜ ＜＝Ｄ_thresh」のときに「明→暗」を判定し、「Ｄｈ_x,y ＜０かつ｜Ｄｈ_x,y ｜＜＝Ｄ_thresh」のときに「暗→明」を判定し、「Ｄｈ_x,y ＝０または｜Ｄｈ_x,y｜ ＞Ｄ_thresh」のときに「無変化」を判定するようにしてもよい。

前記と同様に、Ｄ_threshは、明るさの変化が“極端に大きい場合”を除外するためのしきい値である。すなわち、明るさの変化が極端に大きい場合は、光源による明るさの変化ではなく、被写体の材質に起因する色の変化であると判断し、そのような明るさの変化を「無変化」としてカウントすることにより、被写体の材質に起因する天地の誤判定を排除するためのしきい値である。

以上のように、水平方向に連続する二つの画素の明るさの変化態様に対応したカウンタの更新を行うと、次に、変数ｙを“＋１”（ステップＳ３８）した後、変数ｙの値がＹ（判定用画像の縦方向の画素数）を越えているか否かを判定する（ステップＳ３９）。そして、変数ｙの値がＹを越えていなければ、まだ、判定用画像のｘ列（第０列）の処理が完了していないと判断し、再びステップＳ３２以降を繰り返すが、変数ｙの値がＹを越えた場合は、判定用画像のｘ列（第０列）の処理が完了したものと判断し、この場合は、次列の処理を開始するために、変数ｘを“＋１”（ステップＳ４０）した後、変数ｘの値がＸ（判定用画像の横方向の画素数）を越えているか否か、つまり、判定用画像の最終列（第Ｘ列）の処理を完了したか否かを判定する（ステップＳ４１）。そして、変数ｘの値がＸを越えていなければ、変数ｙを初期値“０”に戻して（ステップＳ４２）、再びステップＳ３２以降を繰り返す。

一方、変数ｘの値がＸを越えている場合には、判定用画像の最終列（第Ｘ列）の処理を完了したと判断し、判定用画像全体の明るさ方向（天地方向）を判定（ステップＳ４３）する。そして、判定用画像の上辺以外の辺が明るいか否かを判定し（ステップＳ４４）、判定用画像の上辺以外の辺が明るい場合には、その辺が上にくるように対象画像ファイル（元画像または元画像を液晶モニター２４の表示サイズに変換したもの）を回転加工（ステップＳ４５）した後、図３のフローチャート（ステップＳ１９またはステップＳ２５）に復帰する。

ステップＳ４３における判定用画像全体の明るさ方向（天地方向）の判定は、以下の手順で行うことができる。

まず、次の三つの条件に従って、判定用画像の各列（垂直方向の画素単位）ごとの明るさの方向を決める。Ｙは縦方向の画素数、Ｗ_lineは列の重み係数である。

「Ｎｖｉ_upper ＞Ｎｖｉ_lower かつ｜Ｎｖｉ_upper −Ｎｖｉ_lower ｜＞（Ｙ−Ｎｖｉ_ungrad）×Ｗ_line」が満たされる場合、その列の明るさの方向は上から下に向かって「明→暗」である。
「Ｎｖｉ_upper ＜Ｎｖｉ_lower かつ｜Ｎｖｉ_upper −Ｎｖｉ_lower ｜＞（Ｙ−Ｎｖｉ_ungrad）×Ｗ_line」が満たされる場合、その列の明るさの方向は上から下に向かって「暗→明」である。
「Ｎｖｉ_upper ＝Ｎｖｉ_lower または｜Ｎｖｉ_upper −Ｎｖｉ_lower ｜＜＝（Ｙ−Ｎｖｉ_ungrad）×Ｗ_line」が満たされる場合、その列の明るさの方向は上から下に向かって「無変化」である。

同様に、次の三つの条件に従って、判定用画像の各行（水平方向の画素単位）ごとの明るさの方向を決める。Ｘは横方向の画素数、Ｗ_lineは行の重み係数である。

「Ｎｈｉ_upper ＞Ｎｈｉ_lower かつ｜Ｎｈｉ_upper −Ｎｈｉ_lower ｜＞（Ｘ−Ｎｈｉ_ungrad）×Ｗ_line」が満たされる場合、その行の明るさの方向は左から右に向かって「明→暗」である。
「Ｎｈｉ_upper ＜Ｎｈｉ_lower かつ｜Ｎｈｉ_upper −Ｎｈｉ_lower ｜＞（Ｘ−Ｎｈｉ_ungrad）×Ｗ_line」が満たされる場合、その行の明るさの方向は左から右に向かって「暗→明」である。
「Ｎｈｉ_upper ＝Ｎｈｉ_lower または｜Ｎｈｉ_upper −Ｎｈｉ_lower ｜＜＝（Ｘ−Ｎｈｉ_ungrad）×Ｗ_line」が満たされる場合、その行の明るさの方向は左から右に向かって「無変化」である。

次に、判定用画像全体における明るさの変化する方向を推定する。まず、各列（垂直方向）の明るさの変化する方向をスキャンして、明るさの変化方向毎に列数をカウントする。

「明→暗」にカウントされた画素数をＮｖ_upper 、「暗→明」にカウントされた画素数をＮｖ_lower 、「無変化」にカウントされた画素数Ｎｖ_ungradとし、これらのカウント値（Ｎｖ_upper 、Ｎｖ_lower 、Ｎｖ_ungrad）から、画像全体の垂直方向に明るさの変化する方向を、以下の条件にしたがって、３つの場合のいずれかに分類する。Ｘは横方向の画素数、Ｗ_imageは重み係数である。

「Ｎｖｉ_upper ＞Ｎｖｉ_lower かつ｜Ｎｖｉ_upper −Ｎｖｉ_lower ｜＞（Ｘ−Ｎｖｉ_ungrad）×Ｗ_image」が満たされる場合、その画像の明るさの方向は上から下に向かって「明→暗」である。
「Ｎｖｉ_upper ＜Ｎｖｉ_lower かつ｜Ｎｖｉ_upper −Ｎｖｉ_lower ｜＞（Ｘ−Ｎｖｉ_ungrad）×Ｗ_image」が満たされる場合、その画像の明るさの方向は上から下に向かって「暗→明」である。
「Ｎｖｉ_upper ＝Ｎｖｉ_lower または｜Ｎｖｉ_upper −Ｎｖｉ_lower ｜＞（Ｘ−Ｎｖｉ_ungrad）×Ｗ_image」が満たされる場合、その画像の明るさの方向は上から下に向かって「無変化」である。

同様に、各行（水平方向）の明るさの変化する方向をスキャンして、明るさの変化方向毎に行数をカウントする。「明→暗」にカウントされた画素数をＮｈ_upper 、「暗→明」にカウントされた画素数をＮｈ_lower 、「無変化」にカウントされた画素数Ｎｈ_ungradとし、これらのカウント値（Ｎｈ_upper 、Ｎｈ_lower 、Ｎｈ_ungrad）から、画像全体の水平方向に明るさの変化する方向を、以下の条件にしたがって、３つの場合のいずれかに分類する。Ｙは縦方向の画素数、Ｗ_imageは重み係数である。

「Ｎｈｉ_upper ＞Ｎｈｉ_lower かつ｜Ｎｈｉ_upper −Ｎｈｉ_lower ｜＞（Ｙ−Ｎｈｉ_ungrad）×Ｗ_image」が満たされる場合、その画像の明るさの方向は左から右に向かって「明→暗」である。
「Ｎｈｉ_upper ＜Ｎｈｉ_lower かつ｜Ｎｈｉ_upper −Ｎｈｉ_lower ｜＞（Ｙ−Ｎｈｉ_ungrad）×Ｗ_image」が満たされる場合、その画像の明るさの方向は左から右に向かって「暗→明」である。
「Ｎｈｉ_upper ＝Ｎｈｉ_lower または｜Ｎｈｉ_upper −Ｎｈｉ_lower ｜＞（Ｙ−Ｎｈｉ_ungrad）×Ｗ_image」が満たされる場合、その画像の明るさの方向は左から右に向かって「無変化」である。

最後に、画像の上下方向を判定する。すなわち、判定用画像全体における垂直方向と水平方向の明るさの変化する方向の組み合わせを用いて、以下のように画像の上下方向、すなわち、天地方向を判定する。

（Ａ）垂直方向が「明→暗」で、かつ水平方向が「無変化」の場合には、 画像の上辺が実際の上方向（天方向）に一致した横長画像であると判定する。
（Ｂ）垂直方向が「暗→明」で、かつ水平方向が「無変化」の場合には、画像の下辺が実際の上方向（天方向）に一致した逆さまの横長画像であると判定する。
（Ｃ）垂直方向が「無変化」で、且つ水平方向が左から右にかけて「暗→明」の場合には、画像の右辺が実際の上方向（天方向）に一致した横向きの縦長画像であると判定する。
（Ｄ）垂直方向が「無変化」で、かつ水平方向が左から右にかけて「明→暗」の場合には、画像の左辺が実際の上方向（天方向）に一致した横向きの縦長画像であると判定する。

以上の判定結果（Ａ）〜（Ｄ）のうち（Ａ）については、画像の上辺が実際の上方向（天方向）に一致した横長画像であるため、そのまま表示しても差し支えなく、回転加工は不要であるが、他の判定結果（Ｂ）〜（Ｄ）については、画像の回転加工は欠かせない。つまり、（Ｂ）の場合は、画像の下辺が実際の上方向（天方向）に一致した逆さまの横長画像であるので、１８０度の回転加工が必要である。また、（Ｃ）の場合は、画像の右辺が実際の上方向（天方向）に一致した横向きの縦長画像であるので、左９０度の回転加工が必要であり、（Ｄ）の場合は、画像の左辺が実際の上方向（天方向）に一致した横向きの縦長画像であるので、右９０度の回転加工が必要である。さらに、（Ｃ）や（Ｄ）の場合は、回転加工後に、液晶モニター２４の縦サイズに合わせた縮小加工（但し、縦横比を保ったままの縮小加工）も必要である。

以上のとおり、図１０〜図１３で示した具体的な画像回転処理では、画像内の画素単位に隣接画素との明るさの方向を判定し、その判定を、画像を構成する列と行毎に繰り返し行うとともに、それらの列及び行の判定結果に基づいて画像全体の明るさの方向（天地方向）を判定している。かかる処理手法は、原理的には、前記のとおりの、被写体表面の凹凸の陰影の付き方を画素単位に微細に観察し、その観察結果に基づいて、画像全体の明るさの方向、すなわち、天地の方向を判定していることに他ならない。

したがって、冒頭の従来技術の誤判定要因であった、ホワイトボードや白壁または白基調のポスター類若しくは人工照明などの白色物体（図１８の白色物体８参照）は、表面がほぼ均一の平面であり、凹凸が存在しないため、当然ながら陰影はほとんど観察されないから、仮に背景中に白色物体が存在していても、その白色物体に影響されることはなく、その結果、天地の判定精度を大幅に向上することができるのである。

なお、本発明は、その技術思想の範囲内において、様々な変形例や発展例を包含することはもちろんである。たとえば、図１０〜図１３で示した具体的な画像回転処理では、画像内のすべての画素を対象にして明暗方向の判定処理を行っているが、つまり、画像全体を処理対象にしているが、これに限定されない。

図１４は、本発明の変形例を示す図である。画像６７の特定領域、たとえば、（ａ）に示すように、一つ乃至は複数の列からなる縦領域６８と、同じく一つ乃至は複数の行からなる横領域６９とに含まれる画素だけを対象にして明暗方向の判定を行ってもよいし、あるいは、（ｂ）に示すように、画像６７の略中央部分のフォーカス領域７０に含まれる画素だけを対象にして明暗方向の判定を行ってもよい。このようにすると、画像回転処理のオーバヘッドを軽減できる。

または、前記のとおり、ストロボ３９の光は、被写体６５（図８参照）に対してほぼ正面から当てられるため、陰影が付きにくく、画像回転処理に不都合を来すおそれがあるが、この対策としては、ストロボ３９を発光させて撮影した画像である場合には、図３のステップＳ１８及びステップＳ２４の判定結果を“ＮＯ”に固定するようにしてもよい。このようにすると、ストロボ３９の発光時には、図３のステップＳ２０及びステップＳ２６の画像回転処理が実行されないため、ストロボ３９の発光に伴う不本意な画像の回転加工を回避することができる。

また、撮影レンズ群３３に組み込まれている光学レンズの特性、とりわけ、周辺減光の影響により、画像の周辺部分における判定精度が不十分になることが考えられるが、この対策としては、たとえば、画像ファイル内の撮影情報に、使用した撮影レンズの情報を書き込む（Ｅｘｉｆ形式の画像ファイルの場合はそのための情報格納エリアを標準で備えている）ようにしておき、画像回転処理を行う際に、その撮影レンズ情報から判定に適さない周辺領域（画像の周辺部であって、当該レンズの周辺減光の影響を受ける領域）を特定して、その周辺領域を判定対象範囲から除外してもよい。

さらに、以上の説明では、デジタルカメラ１０への適用を例にしたが、これに限定されない。要は、画像の天地を判定し、その判定結果に基づいて画像の回転加工を行う画像処理機器であればよく、または、それらの画像処理機器に実装されるアプリケーションプログラムであってもよい。このような画像処理機器としては、たとえば、パーソナルコンピュータ、携帯情報端末、プロジェクタ、画像表示機能付きの携帯電話機などが考えられ、また、アプリケーションプログラムとしては、たとえば、画像加工や画像編集用のソフトウェア、それらの機能を有する他のソフトウェアなどが考えられる。

本発明を適用可能な具体的なアプリケーションプログラムとしては、たとえば、「電子アルバム」がある。電子アルバムは、デジタルカメラで撮影した画像ファイルやインターネットからダウンロードした画像ファイルなどを整理保管する汎用のソフトウェアである。多くの電子アルバムは、撮影日や撮影内容などの分類毎に画像ファイルを仕分けして管理できるようになっており、さらに、画像の回転や画質の調整などもできるようになっている。さて、かかる電子アルバムを用いて、画像ファイルを整理保管するときに縦撮り画像が混在していると見た目が悪い。縦撮り画像の被写体が横に寝てしまうからである。普通の写真アルバムの場合、縦撮り写真であっても、横撮り写真と同様に被写体が正立するように縦に貼り付けるが、これと同じことを電子アルバムで行おうとすると、縦撮り画像が出現するたびに、手作業で編集メニューを開き画像の回転コマンドを選択しなければならない。数枚の画像であれば支障はないが、大量の縦撮り画像が存在する場合は相当な手間がかかり、きわめて効率が悪い。

かかる電子アルバムの欠点は、本発明の技術を適用することによって解消することができる。すなわち、横撮りと縦撮りの画像が混在した大量の画像を電子アルバムに取り込む（インポートする）際に、本発明の技術を用いて各画像毎の天地を判定し、上辺側が天と判定された画像についてはそのまま取り込む一方、短辺側が天と判定された画像については左または右９０度の回転加工を施した後で取り込み、また、下辺側が天と判定された画像については１８０度の回転加工を施した後で取り込むことにより、いちいち、手作業で編集メニューを開き画像の回転コマンドを選択することなく、つまり、完全に自動化した状態ですべての画像の被写体を正立させることができるからである。したがって、本発明を適用した「電子アルバム」によれば、きわめて使い勝手がよいものとなり、本発明を適用しない他の電子アルバムとの明らかな差別化を図ることができる。

デジタルカメラ１０の正面図及び背面図である。 デジタルカメラ１０の内部ブロック図である。 デジタルカメラ１０の全体的な動作フローチャートを示す図である。 液晶モニター２４に表示される画像例を示す図である。 液晶モニター２４のインデックス表示画面を示す図である。 ＭＥＮＵ処理のフローチャートを示す図である。 再生モード用メニュー画面５７を示す図及び画像回転オンオフ設定のサブ画面６２を示す図である。 本実施形態の画像回転処理の原理図である。 被写体６５の陰影に基づく天地判定の概念図である。 具体的な画像回転処理のプログラムのフローチャートを示す図（１／３）である。 具体的な画像回転処理のプログラムのフローチャートを示す図（２／３）である。 具体的な画像回転処理のプログラムのフローチャートを示す図（３／３）である。 処理対象画素の概念図である。 本発明の変形例を示す図である。 デジタルカメラの撮影時の構え方を示す図である。 第１の従来技術の概念図である。 第２の従来技術の概念図である。 従来技術の問題点の説明図である。

符号の説明

Ｓ２０ ステップ（第１ステップ、第２ステップ、第３ステップ）
Ｓ２６ ステップ（第１ステップ、第２ステップ、第３ステップ）
１０ デジタルカメラ（画像の天地判定装置）
３９ ストロボ発光部（ストロボ）
４２ ＣＰＵ（第１手段、第２手段、第３手段、第４手段、第５手段）

Claims (10)

1. 多数の画素を配列して構成された画像の天地判定方法であって、
   前記画素または複数画素からなる画素の集まりを明るさ計測単位として明るさを調べる第１ステップと、
   隣接する前記明るさ計測単位の明るさが所定の向きに対し増加傾向にあるか減少傾向にあるかを判定する第２ステップと、
   前記判定結果により画像の天地を判定する第３ステップと
   を含むことを特徴とする画像の天地判定方法。
2. 多数の画素を配列して構成された画像の天地判定方法であって、
   前記画像の特定領域内の画素または複数画素からなる画素の集まりを明るさ計測単位として明るさを調べる第１ステップと、
   隣接する前記明るさ計測単位の明るさが所定の向きに対し増加傾向にあるか減少傾向にあるかを判定する第２ステップと、
   前記判定結果により画像の天地を判定する第３ステップと
   を含むことを特徴とする画像の天地判定方法。
3. 前記第３ステップは、減少傾向が大となる向きを天から地への向きとする請求項１または請求項２いずれかに記載の画像の天地判定方法。
4. 前記画像の撮影時の条件に基づき前記特定領域を設定する第４ステップをさらに含むことを特徴とする請求項１乃至請求項３のいずれかに記載の画像の天地判定方法。
5. 前記画像がストロボ発光の下で撮影された画像であった場合には前記第１のステップ乃至第３のステップを実行しないようにする第５ステップをさらに含むことを特徴とする請求項１乃至請求項３のいずれかに記載の画像の天地判定方法。
6. 多数の画素を配列して構成された画像の天地判定装置であって、
   前記画素または複数画素からなる画素の集まりを明るさ計測単位として明るさを調べる第１手段と、
   隣接する前記明るさ計測単位の明るさが所定の向きに対し増加傾向にあるか減少傾向にあるかを判定する第２手段と、
   前記判定結果により画像の天地を判定する第３手段と
   を含むことを特徴とする画像の天地判定装置。
7. 多数の画素を配列して構成された画像の天地判定装置であって、
   前記画像の特定領域内の画素または複数画素からなる画素の集まりを明るさ計測単位として明るさを調べる第１手段と、
   隣接する前記明るさ計測単位の明るさが所定の向きに対し増加傾向にあるか減少傾向にあるかを判定する第２手段と、
   前記判定結果により画像の天地を判定する第３手段と
   を含むことを特徴とする画像の天地判定装置。
8. 前記第３手段は、減少傾向が大となる向きを天から地への向きとする請求項６または請求項７いずれかに記載の画像の天地判定装置。
9. 前記画像の撮影時の条件に基づき前記特定領域を設定する第４手段をさらに含むことを特徴とする請求項６乃至請求項７のいずれかに記載の画像の天地判定装置。
10. 前記画像がストロボ発光の下で撮影された画像であった場合には前記第１手段乃至第３手段の動作を停止するする第５手段をさらに含むことを特徴とする請求項６乃至請求項７のいずれかに記載の画像の天地判定装置。

Images