JP2011119997A - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP2011119997A JP2011119997A JP2009275565A JP2009275565A JP2011119997A JP 2011119997 A JP2011119997 A JP 2011119997A JP 2009275565 A JP2009275565 A JP 2009275565A JP 2009275565 A JP2009275565 A JP 2009275565A JP 2011119997 A JP2011119997 A JP 2011119997A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- detected
- angle
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3877—Image rotation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/164—Detection; Localisation; Normalisation using holistic features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
【課題】画像を正しい方向で表示させるための支援を行う。
【解決手段】画像処理装置10において指示入力受付部12は、処理対象の画像データの指定などをユーザより受け付ける。顔検出処理部16は、所定の角度ずつ画像を回転させて顔検出処理を施し、顔が検出されたときの回転角を取得する。角度補正部18は、顔と肩角度をパターンマッチングによって取得し、画像の回転角を補正する。人物画像方向特定部20は、回転角に基づき人物画像の正しい方向を特定する。画像特性解析部22は、非人物画像の周波数および輝度の分布を解析する。非人物画像方向特定部24は、周波数や輝度の所定方向の軸に対する分布特性に基づき人物画像の正しい方向を特定する。画像データ更新部26は、画像のデータに正しい方向の情報を反映させる。
【選択図】図1
【解決手段】画像処理装置10において指示入力受付部12は、処理対象の画像データの指定などをユーザより受け付ける。顔検出処理部16は、所定の角度ずつ画像を回転させて顔検出処理を施し、顔が検出されたときの回転角を取得する。角度補正部18は、顔と肩角度をパターンマッチングによって取得し、画像の回転角を補正する。人物画像方向特定部20は、回転角に基づき人物画像の正しい方向を特定する。画像特性解析部22は、非人物画像の周波数および輝度の分布を解析する。非人物画像方向特定部24は、周波数や輝度の所定方向の軸に対する分布特性に基づき人物画像の正しい方向を特定する。画像データ更新部26は、画像のデータに正しい方向の情報を反映させる。
【選択図】図1
Description
本発明は情報処理技術に関し、特に写真などの画像を処理する画像処理装置およびそこで実行される画像処理方法に関する。
近年、デジタルカメラなど撮影機器の普及、画像処理技術の進歩などにより、編集対象や印刷対象を選択したり、スライドショーなどの形式で鑑賞したりするために、撮影した写真などの画像をディスプレイに表示させる機会が増えている。また複数の画像のサムネイルを印刷する場合もある。画像データは通常、その構図が縦向き、横向きに関わらず、受像素子の位置に基づき各画素値が記録されるため、表示する際の画像も基本的に、構図によらず同じ向きに表示される。
そのためユーザは、表示された後に個別に画像を回転させて正しい向きとしたり、編集画面で正しい向きに編集したうえスライドショーなどのコンテンツとする必要がある。この作業を支援する一つの方法として、人物像の肌領域を検出しその並びの向きに応じて写真の天地方向を判定する技術が提案されている(例えば特許文献1参照)。
しかしながら上記の技術は画像の色の特徴を利用していることから、光源環境や服の色、手足の位置に対する頑健性が弱い。また顔の並びから天地方向を判断するため、複数の人が並んで写っていることが前提であり、適用できる写真が限定的である。
本発明はこのような課題に鑑みてなされたものであり、その目的は、多様な被写体、構図の画像に適用することのできる画像の方向判定技術を提供することにある。
本発明のある態様は画像理装置に関する。この画像処理装置は、処理対象の画像と対象物の比較画像とを、相対角度を変化させながらパターンマッチングすることにより、処理対象の画像における対象物を検出する対象物検出処理部と、対象物検出処理部において対象物が検出されたときの相対角度から、対象物の上下に対応する前記画像の天地を判断し、当該画像の正しい方向を特定する対象物画像方向特定部と、特定した方向に前記画像が表示されるように前記画像のデータを更新する画像データ更新部と、を備えることを特徴とする。
本発明のさらに別の態様は画像処理方法に関する。この画像処理方法は、指定された画像のデータを記憶装置より読み出し、当該画像と対象物の比較画像とを、相対角度を変化させながらパターンマッチングすることにより、前記画像における対象物を検出するステップと、対象物が検出されたときの相対角度から、対象物の上下に対応する前記画像の天地を判断し、当該画像の正しい方向を特定するステップと、特定した方向に前記画像が表示されるように前記画像のデータを更新するステップと、を含むことを特徴とする。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、ユーザの負担を少なく画像を正しい方向で表示させることができる。
図1は本実施の形態における画像処理装置の構成を示している。画像処理装置10は、処理対象の画像データの指定などをユーザより受け付ける指示入力受付部12、所定角度ずつ画像を回転させ顔検出処理を施し、顔が検出された角度を取得する顔検出処理部16、顔と肩の角度をパターンマッチングによって取得し、回転角を補正する角度補正部18、回転角に基づき人物画像の正しい方向を特定する人物画像方向特定部20、画像の周波数および輝度の分布特性を取得する画像特性解析部22、周波数や輝度の分布特性の傾きから非人物画像の正しい方向を特定する非人物画像方向特定部24、および最終的に画像のデータに正しい方向の情報を反映させる画像データ更新部26を含む。
指示入力受付部12はユーザによる、処理対象の画像データを指定する入力を受け付ける入力装置である。ここで処理対象とする画像は、静止画像、動画像のいずれでもよく、また静止画像の場合は1枚でも複数でもよい。また画像は、実世界を撮影した写真やビデオ映像のほか、コンピュータグラフィックスや、手書きした絵を電子データ化したものなど、その製作手法は特に限定されない。指示入力受付部12はさらに、画像データ更新部26による画像データの修正を了承するか否かの入力も受け付ける。指示入力受付部12はキーボード、ボタン、タッチパネル、マウスなど一般的な入力装置、または表示装置と入力装置の組み合わせでよい。
画像データ記憶部14は、処理対象とする画像データが格納された記憶装置である。顔検出処理部16は、指定された画像データを画像データ記憶部14から読み出し、顔検出処理を施す。指定された画像が複数枚であればそのそれぞれに、動画であれば各フレーム画像、またはマーキングされた区切りのフレーム画像などに同じ処理を繰り返す。
一般的な手法を用いて顔検出を行う場合、顔の濃淡特徴パターンに着目し、あらかじめ準備した画像とパターンマッチングすることにより、画像内に顔があるか否かを判別する。このような手法では、通常、頭が上、あごが下にある状態の顔の比較画像がマッチングに用いられるため、例えば顔が上下逆になっている画像についてはマッチングが失敗し、顔が検出されない。本実施の形態ではこの顔検出の方向依存性を利用する。
具体的には、画像をディスプレイ平面上で所定の角度ずつ回転させ、顔検出を施す。画像が人物画像であれば、いずれかの回転角で顔が検出される。このとき、上述の顔検出の方向依存性により、頭を上として顔の縦方向の軸がディスプレイ平面の縦軸におよそ一致している。人物画像では多くの場合、体の上下が画像の天地に対応する、すなわち頭を上として体の軸が画像の縦方向にある。体の軸と顔の縦方向の軸がほぼ同じ方向であれば、顔検出がなされたときの画像の向きが、正しい画像の向きに近いと考えられる。顔検出処理部16はこのように、顔検出の特性を利用し、顔の角度に基づき画像の正しい方向をおよそ推定する。したがって顔検出処理部16が行う顔検出処理は、上述のパターンマッチングによる手法など、傾きのない顔を検出することを前提とした一般的な手法を用いる。
角度補正部18は、顔検出処理部16が行った顔検出の結果を利用して、パターンマッチングにより人物像の肩の水平軸と顔の縦方向の軸の角度を特定し、それに基づき顔が検出されたときの画像の回転角を補正する。肩の水平軸は体の軸と垂直であるため、この補正により、体の軸とディスプレイ平面の縦軸とを揃えることができ、著しく顔を傾けているなど顔の軸と体の軸の方向が異なっていることにより発生する誤差を吸収する。複数の人が写っている場合、顔検出処理部16と角度補正部18は、検出した顔ごとに同じ処理を行う。
なお以後の説明では、顔を検出したときまたは補正後の画像の回転角を「回転角」と呼ぶが、この角度は元の方向の画像における人物の角度を間接的に表している。また最終的に特定する、画像の本来の向きは、画像を90°刻みに回転させたいずれかとなり、以後、この向きを「画像の正しい方向」と呼ぶ。人物画像方向特定部20は、顔が検出された人物画像の、補正後の回転角に基づき、画像の正しい方向を特定する。複数の人物が写っている場合は、それぞれに対する回転角を平均した値によって画像の正しい方向を特定する。
画像特性解析部22は、顔検出処理部16がいずれの角度でも顔を検出しなかった画像、すなわち非人物画像について、周波数分布、輝度分布を取得する。風景写真や室内を写した画像では、画像の上側に空や天井がある場合が多い。空や天井は一般に、太陽や照明の存在で明るく、また物が存在しないことから高周波成分が少ない。そこで画像特性解析部22は、それぞれの分布から所定の軸方向の分布特性を取得する。非人物画像方向特定部24は、当該分布特性の全体的な傾きを軸同士比較することによって、画像の正しい方向を特定する。
人物画像方向特定部20および非人物画像方向特定部24は、上述のとおり基本的には、元の画像の方向から90°刻みで、正しい画像の方向を決定する。一方、画像の演出上、常に人物を縦に表示させたい場合などは、それ以外の角度でも良い。画像データ更新部26は、そのように決定した方向を画像データに反映させ、画像データ記憶部14に格納する。ここでは、画素のラスタ順の並びを画像の正しい方向での並びに入れ替える、といった画像データそのものの修正でもよいし、後の表示時に反映されるように正しい角度情報を画像データに付加するのでもよい。また画像データ更新部26は、そのように画像データを加工する前に、表示装置にその旨の表示を行うことで、ユーザに最終的な判断を促す。
次に、顔検出処理部16、角度補正部18、および人物画像方向特定部20が、人物画像の正しい方向を特定する手法について説明する。図2は顔検出処理によって正しい画像の方向を特定する原理を説明するための図である。図の左列の3つの画像30、32、34はそれぞれ、画像データ記憶部14に記憶された、「画像A」、「画像B」、「画像C」の処理前の画像である。図示するように、画像は一般的には横に長い向きで記録されている。ところが撮影したときのカメラの構え方によって、それが本来の向きである場合(画像A)、本来の上が画像の左側にある場合(画像B)、本来の上が画像の右側にある場合(画像C)の3つのパターンが発生し得る。
なお画像が上下逆になることはカメラ操作の関係上、まれであるためここでは示していないが、この場合も以後の処理は同様に行える。このようなパターンを区別して正しい方向を特定するために、顔検出処理部16は、画像を所定角度ずつ回転させて顔検出処理を行い、顔が検出されたときの回転角を記録する。図2中列の3つの画像36、38、40はそれぞれ、「画像A」、「画像B」、「画像C」を回転させ、顔が検出されたときの画像を、右列はそのときの画像の回転角を示している。なお同図では、図の上側を0°とし、時計回りの回転としている。
「画像A」の場合、元の画像30が画像の正しい方向であるため、回転させる前の画像36で顔が検出される。したがって回転角は0°である。「画像B」の場合、回転角が90°のときに顔が検出される。「画像C」の場合、回転角が270°のときに顔が検出される。したがって、画像Bは90°、画像Cは270°、回転させるように画像データに情報を付加するか、画像データそのものを更新することにより、表示時には常に正しい方向で画像を提示することができる。
図2の場合、3つの画像はいずれも、人物像の顔の縦方向の軸が、画像の縦方向あるいは横方向の軸と一致していたため、顔は90°刻みの回転角において検出され、その回転角が即ち最終的な画像の方向となり得た。一方、実際の画像では被写体が動いていたりポーズをとっていたりして、顔の縦方向の軸が画像に対して斜めになっている場合も多い。図3はそのような場合も考慮して、正しい画像の方向を特定する手法を説明するための図である。
同図において元の画像42は、顔の縦方向の軸43が、画像の縦方向の軸、横方向の軸のいずれとも一致していない。このような画像は、顔検出時の画像44に示すように、90°刻みの回転角とは異なる角度で顔が検出される。そこで回転角を4つの領域に分け、検出時の回転角がどの範囲に入っているかによって最終的な画像の方向を特定する。例えば同図の回転角座標46で示すように、315°≦θ<45°を第1象限、45°≦θ<135°を第2象限、135°≦θ<225°を第3象限、225°≦θ<315°を第4象限とする。
そして回転角θが第1象限にある場合は0°、第2象限にある場合は90°、第3象限にある場合は180°、第4象限にある場合は270°、を最終的な画像の方向とする。図3の画像44の場合、θ=80°で顔が検出されたとすると、第2象限にあるので、正しい画像は90°回転させた方向の画像48である、と判定する。このように角度領域を決めることにより、顔検出処理における検出可能な顔の角度幅による誤差も吸収できる。図3に示した、顔検出時の画像の回転角から、90°刻みの最終的な画像の方向を決定する処理は、実際には次に述べる、顔と肩の角度による補正を行った後、人物画像方向特定部20が行う。
図4は角度補正部18が行う、頭部と肩の角度による回転角の補正手法を説明するための図である。この補正はこれまで述べた、顔の縦方向の軸に基づき正しい画像の方向を推定する処理に、体の軸の要素を加味して精度を上げるものである。まず元の画像52を上述のように回転させ、画像54のようにθの回転角において顔が検出されたとする。しかし同図に示すように、この人物像は首をかしげているため、顔の縦方向の軸はディスプレイ平面の縦軸と合っているが、正しい画像の方向を示す基準となる、体の軸がディスプレイ平面の縦軸に合っていない。
そこで角度補正部18は、顔が検出された画像54と、あらかじめ準備した頭部と肩の輪郭形状を表すテンプレート画像56とをマッチングすることにより、頭部と肩の角度を特定し、それに基づき人の軸がディスプレイ平面の縦軸と一致するときの回転角を求める。テンプレート画像56としては、頭部の縦方向の軸と肩の水平軸の角度を段階的に変化させた複数の画像を準備する。そして顔検出がなされている画像54の顔領域にテンプレート画像56の頭部を一致させたときの肩の線が最も一致しているテンプレート画像を決定する。それにより、画像内の顔の縦方向の軸と肩の水平軸との傾きが特定できる。
このようにして得られた、顔の縦方向の軸である実線60と肩の水平軸58との角度θxを用いて、補正角度θcは次のように求められる。
θc=90°−θx
すなわち角度θcだけ画像54を回転させると、体の軸がディスプレイ平面の縦軸と一致した画像62が得られる。このときの回転角θ+θcに基づき、人物画像方向特定部20が図3の4象限の判定を行うことにより、人物画像の正しい画像の方向が得られる。
θc=90°−θx
すなわち角度θcだけ画像54を回転させると、体の軸がディスプレイ平面の縦軸と一致した画像62が得られる。このときの回転角θ+θcに基づき、人物画像方向特定部20が図3の4象限の判定を行うことにより、人物画像の正しい画像の方向が得られる。
次に、画像特性解析部22によって非人物画像の正しい向きを特定する手法について説明する。図5は非人物画像の周波数および輝度の分布特性の傾向を説明する図である。同図において画像64は、風景写真などの非人物画像である。元の画像は同図に示すように本来の縦方向がディスプレイ平面の横方向、すなわちx軸に表示されている。このような画像に対し周波数分布と輝度分布を取得すると、画像の上側の領域が、他の領域と比較し、輝度が高く高周波成分が少ない、という傾向がみられる。これは上述のとおり、画像の上側の領域は一般的に空や天井など明るく広い領域であるためである。したがって、画像64についてx軸に対する周波数および輝度の分布特性を取得すると、図のようになる。
すなわち周波数の平均値分布66は、図の上側、すなわちx座標が減少する方向でその値が低くなる。逆に輝度分布68は、x座標が減少する方向でその値が高くなる。そこで、周波数の平均値分布66および輝度分布68を、それぞれ破線70および72で示すように最小二乗法を用いて直線で近似し、その傾きを求める。そして周波数分布の近似直線の傾きをAf、輝度分布の近似直線の傾きをAyとしたとき、それらを重み付け加算した評価値Vを次のように求める。
V=Wf×Af+Wy×Ay
V=Wf×Af+Wy×Ay
ここでWfおよびWyは、各傾きAfおよびAyのスケールを統一して評価値Vに反映させるための重みであり、テスト画像などを用いて決定しておく。周波数分布の傾きAfと輝度分布の傾きAyは、図に示すように正負が逆の数値であるため、係数を適当に設定することにより、評価値Vは0に近い値を有する。この評価値Vを、画像の縦軸方向、横軸方向で算出する。そしてVの値が最も小さい軸が本来の画像の縦軸であり、周波数分布の傾きAfが正となる方向、または輝度分布の傾きAyが負となる方向が、本来の画像の上から下への方向であるとして、正しい画像の方向を特定する。このように周波数や輝度の傾きに着目することにより、画像の光源環境などによって周波数や輝度の絶対値が変化しても、それに影響されることなく向きの特定が可能となる。
なお夜景を撮影した画像など、画像の上側が暗い場合、輝度の分布特性は、図5に示した特性とは異なる。このような場合を想定し、画像特性解析部22はまず撮影時間帯を確認する。撮影時間帯は、デジタルカメラなどで撮影した場合に装置が自動で記録する付加情報を読み出すことで取得できる。そして撮影時刻が夜でなければ、上記の評価値Vで傾きの評価を行う。あるいはユーザが、指示入力受付部12に対し画像のデータを指定した際などに当該情報を入力してもよい。
一方、撮影時刻が夜の場合、かつ画像全体の輝度が所定のしきい値より小さい場合、当該画像は夜景を写した物であると判断する。この場合、上述のとおり、画像の上側ほど暗くなる傾向になるため、輝度の傾きAyは昼間の画像と正負が逆になると判断し、評価値Vを次のようにする。
V=Wf×Af−Wy×Ay
なお夜間の撮影であっても輝度がしきい値以上であれば、室内など上に照明のある画像と判断し、昼と同様の評価値式とする。
V=Wf×Af−Wy×Ay
なお夜間の撮影であっても輝度がしきい値以上であれば、室内など上に照明のある画像と判断し、昼と同様の評価値式とする。
次に、これまで述べた構成によってなされる動作を説明する。図6は画像処理装置10が正しい画像の方向を特定してデータを修正する処理手順を示すフローチャートである。まずユーザが指示入力受付部12に対し、画像データの指定を行い処理の開始を指示する入力を行うと(S10)、顔検出処理部16は、当該画像データを画像データ記憶部14から読み出し顔検出処理を施す(S12)。
次に画像を、45°や90°など所定の回転角だけ回転させ(S14)、当該画像に対し再度顔検出処理を施す(S14、S16のN、S10)。ここでの回転角の刻みは、要求される精度や計算負荷を考慮して適宜設定しておく。これを画像が360°回転するまで繰り返す。S12の顔検出処理においていずれかの角度で顔が検出されたら、その顔の位置と回転角を記録しておくが、他に人が写っている可能性があるため、顔検出処理は360°まで続行する。画像が360°回転するまで顔検出処理がなされたら(S16のY)、その間に顔が一度でも検出されたか否かで、当該画像が人物画像か非人物画像かを判断する。
顔が検出されたら(S18のY)、角度補正部18は、S12で記録した顔の領域と、あらかじめ準備した頭部と肩の形状を有するテンプレート画像とをマッチングすることにより、顔の縦方向の軸と肩の水平軸との角度を求め、その結果に従い回転角を補正する(S20)。S12において複数の顔が検出されたら、その処理を顔ごとに行う。次に人物画像方向特定部20は、複数の顔が検出されている場合に、各顔に対し求めた画像の回転角を次の式で平均化する(S22)。
θave=Σθn/N
θave=Σθn/N
ここでθaveは求める回転角の平均値、θnはn番目の顔に対し求めた回転角、Nは顔の総数である。そして得られた画像の回転角、あるいは画像の回転角の平均値が、図3で示した4象限のような角度領域のいずれに属するかを特定することにより正しい画像の方向を判定する(S24)。
一方、顔検出が一度もなされなかった場合は(S18のN)、画像特性解析部22が周波数分布および輝度分布の分布特性を画像の縦方向および横方向に対し取得する(S26)。そして各分布特性を直線で近似したときの傾きから上記の評価値Vを算出する(S30)。この際、上述のとおり画像が夜景であることが撮影時刻および輝度の絶対値より判定されたら、輝度の傾きの係数を負として評価値Vを算出する。そして非人物画像方向特定部24は、評価値Vの値と周波数分布の傾きなどから画像の上下を特定することで正しい画像の方向を判定する(S32)。
次に画像データ更新部26は、正しい方向と判定した方向へ回転させた画像を表示装置に表示するなどしてユーザに確認を求める。ユーザが表示された向きへ画像を回転させることを了承したら(S34のY)、当該方向の情報を画像データに付加するか、画像データの画素値の順列を入れ替えることにより、判定の結果を画像データに反映させる(S36)。ユーザが了承しなければ(S34のN)、そのまま処理を終了する。
図7はS34においてユーザに提示する画面の例を示している。画像方向確認画面80は、変換前の画像表示欄82と変換後の画像表示欄84を含む。変換前の画像表示欄82には、処理対象の画像を元の向きで表示する。そして変換後の画像表示欄84には、正しい方向と認められる向きに回転させた画像を表示する。ただしこの段階ではまだ画像データには反映されていない。
ここでユーザが指示入力受付部12を介し、画面内に表示した各画像に対応するチェックボックス86をチェックし、決定する指示入力を行うと、画像データ更新部26は、チェック対象となった画像に対する判定結果を画像データに反映させる。チェックされなかった画像のデータは修正しない。このように、実際の画像データの修正前に判定結果をユーザに提示することで、ユーザの意図しない方向で画像が表示されるのを防ぐことができる。
以上述べた本実施の形態によれば、画像を所定の角度ずつ回転させて顔検出処理を施し、顔が検出されたときの回転角を記録する。この角度は顔の縦方向の軸がディスプレイ平面の縦軸と一致している方向であるため、正しい画像の方向を概ね表していると考えることができる。また顔検出結果を利用し、パターンマッチングによって顔の縦方向の軸と肩の水平軸との角度を求めることにより、体の軸がディスプレイ平面の縦軸に一致している状態を容易に作り出すことができる。
多くの写真は体の軸がおよそ縦方向になるため、これにより正しい画像の方向を容易に特定することができる。複数の人物が写っている場合も、顔ごとに正しい回転角を特定し、それを平均化することにより方向判定の精度を上げることができる。これにより、撮影環境、被写体の人数、被写体の格好などを限定せずに、同様の処理で容易に正しい画像の方向を特定することができる。
また顔が検出されない場合は非人物画像であると判断し、画像の周波数分布および輝度分布を求める。そして、風景写真などが画像の上側の領域で輝度が高く高周波成分が少ない傾向にあることを利用し、縦軸および横軸に対する分布特性のおよその傾きから画像の上下を特定する。これにより顔が検出されない画像であっても、画像の詳細な部分の変化や撮影環境の変化に左右されることなく正しい画像の方向を特定することができる。
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
例えば図1の画像処理装置10は画像の正しい方向を判定する機能のみを備えていたが、当該画像処理装置にさらに、スライドショーを作成したり表示したりする機能、サムネイルを表示したり印刷したりする機能など、判定結果を利用する表示、印刷機能が含まれていてもよい。また画像処理装置をカメラなどの撮影機器に内蔵させ、撮影とともに画像の方向を判定するようにしてもよい。
また実施の形態では、正しい方向を反映させた画像データを保存したが、実施の形態で述べた機能を画像の表示機能と一体的に設ける場合は、判定結果を保存せず、表示の都度、角度判定を行い、回転が必要な画像の識別情報とその回転角を表示機能に提供することにより、表示機能において適切な回転を与えたうえで表示させるようにしてもよい。
さらに実施の形態では、対象となる画像に顔検出処理を施し、顔が検出されたときの画像の角度に基づき正しい画像の向きを特定した。これと同様の処理を行うことにより、人物画像以外の画像でも正しい向きを特定できる。この場合、顔に代わる対象物の比較画像を角度を固定として準備しておき、処理対象の画像を回転させつつ前景抽出処理などで抽出した前景とパターンマッチングしていく。そしてマッチングが成功し、対象物が検出されたときの角度から、処理対象の画像の正しい向きを特定する。これにより、乗り物や建物などでもその形状に基づき画像の向きを判断できる。さらにこの手法と、実施の形態で述べた非人物画像に対する向きの特定手法とを組み合わせることにより特定精度を上げてもよい。
さらに、顔検出の場合もそれ以外の対象物検出の場合も、処理対象となる画像に代わり、比較画像側を回転させつつパターンマッチングを行うようにしてもよい。あるいは両方を回転させてもよい。いずれの場合も対象物が検出されたときの、処理対象の画像と、天地が既知の比較画像との相対角度が判明すれば、実施の形態で説明したのと同様に、処理対象の画像の天地が特定できる。例えば回転に要する計算コストを考慮して回転させる画像を決定することにより、処理対象の画像が高精細でデータサイズが顕著に大きいときなどでも計算コストの増大を防ぐことができる。
10 画像処理装置、 12 指示入力受付部、 14 画像データ記憶部、 16 顔検出処理部、 18 角度補正部、 20 人物画像方向特定部、 22 画像特性解析部、 24 非人物画像方向特定部、 26 画像データ更新部、 80 画像方向確認画面。
Claims (8)
- 処理対象の画像と対象物の比較画像とを、相対角度を変化させながらパターンマッチングすることにより、処理対象の画像における対象物を検出する対象物検出処理部と、
前記対象物検出処理部において対象物が検出されたときの相対角度から、対象物の上下に対応する前記画像の天地を判断し、当該画像の正しい方向を特定する対象物画像方向特定部と、
特定した方向に前記画像が表示されるように前記画像のデータを更新する画像データ更新部と、
を備えることを特徴とする画像処理装置。 - 前記対象物検出処理部は対象物として顔を検出する処理を行い、
前記対象物検出処理部において顔が検出されたときの前記画像の顔領域に対し、頭部と肩の輪郭形状を表し、頭部と肩の傾きを段階的に変化させた複数の比較画像をマッチングさせることにより、前記画像の顔の縦方向の軸と肩の水平軸との角度を求め、前記顔が検出されたときの相対角度を補正する角度補正部をさらに備えることを特徴とする請求項1に記載の画像処理装置。 - 前記対象物検出処理部は、前記画像内に写っている複数の対象物のそれぞれに対し、当該対象物が検出されたときの相対角度を記録し、
前記画像方向特定部は、複数の対象物に対して記録された、前記相対角度の平均値に基づき、前記画像の正しい方向を特定することを特徴とする請求項1または2に記載の画像処理装置。 - 前記対象物検出処理部において全ての相対角度で対象物が検出されなかった場合に、前記画像の周波数分布および輝度分布を取得し、当該画像の縦軸および横軸に対するそれぞれの分布特性を直線で近似したときの傾きを取得する画像特性解析部と、
前記画像特性解析部が取得した、周波数分布特性および輝度分布特性の傾きを重み付け加算した軸ごとの評価値と前記傾きの方向とによって前記画像の天地を判断し、当該画像の正しい方向を特定する非対象物画像方向特定部と、
をさらに備えることを特徴とする請求項1から3のいずれかに記載の画像処理装置。 - 前記非対象物画像方向特定部は、前記画像の輝度と、前記画像の撮影とともに記録された当該画像の撮影時刻とから、当該画像が夜景を写したものであることを判断した場合、前記評価値における前記輝度の傾きの符号を、その他の場合から反転させることを特徴とする請求項4に記載の画像処理装置。
- 指定された画像のデータを記憶装置より読み出し、当該画像と対象物の比較画像とを、相対角度を変化させながらパターンマッチングすることにより、前記画像における対象物を検出するステップと、
対象物が検出されたときの相対角度から、対象物の上下に対応する前記画像の天地を判断し、当該画像の正しい方向を特定するステップと、
特定した方向に前記画像が表示されるように前記画像のデータを更新するステップと、
を含むことを特徴とする画像処理方法。 - 指定された画像のデータを記憶装置より読み出し、当該画像と対象物の比較画像とを、相対角度を変化させながらパターンマッチングすることにより、前記画像における対象物を検出する機能と、
対象物が検出されたときの相対角度から、対象物の上下に対応する前記画像の天地を判断し、当該画像の正しい方向を特定する機能と、
特定した方向に前記画像が表示されるように前記画像のデータを更新する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。 - 指定された画像のデータを記憶装置より読み出し、当該画像と対象物の比較画像とを、相対角度を変化させながらパターンマッチングすることにより、前記画像における対象物を検出する機能と、
対象物が検出されたときの相対角度から、対象物の上下に対応する前記画像の天地を判断し、当該画像の正しい方向を特定する機能と、
特定した方向に画像が表示されるように前記画像のデータを更新する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラムを記録した、コンピュータにて読み取り可能な記録媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009275565A JP2011119997A (ja) | 2009-12-03 | 2009-12-03 | 画像処理装置および画像処理方法 |
US13/513,352 US9049397B2 (en) | 2009-12-03 | 2010-09-06 | Image processing device and image processing method |
PCT/JP2010/005469 WO2011067881A1 (ja) | 2009-12-03 | 2010-09-06 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009275565A JP2011119997A (ja) | 2009-12-03 | 2009-12-03 | 画像処理装置および画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011119997A true JP2011119997A (ja) | 2011-06-16 |
Family
ID=44114744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009275565A Pending JP2011119997A (ja) | 2009-12-03 | 2009-12-03 | 画像処理装置および画像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9049397B2 (ja) |
JP (1) | JP2011119997A (ja) |
WO (1) | WO2011067881A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014187451A (ja) * | 2013-03-22 | 2014-10-02 | Dainippon Printing Co Ltd | 画像回転装置、画像回転方法、およびプログラム |
CN110379031A (zh) * | 2019-07-24 | 2019-10-25 | 广东电网有限责任公司 | 一种会议签到方法、装置、设备及计算机可读存储介质 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120078980A (ko) * | 2011-01-03 | 2012-07-11 | 삼성전자주식회사 | 휴대단말기에서 영상의 방향정보 추출장치 및 방법 |
KR101788740B1 (ko) * | 2011-11-15 | 2017-10-20 | 삼성전자주식회사 | 피사체 검출 방법 및 장치와, 디지털 촬영 장치 |
KR101371547B1 (ko) * | 2012-03-08 | 2014-03-07 | 삼성전자주식회사 | 얼굴의 기울기를 측정하여 화면을 회전시키는 전자 장치 및 방법 |
JP5923759B2 (ja) * | 2012-03-23 | 2016-05-25 | パナソニックIpマネジメント株式会社 | 撮像装置 |
KR102053361B1 (ko) * | 2012-08-28 | 2020-01-08 | 삼성전자주식회사 | 화면 회전을 적응적으로 수행하기 위한 방법 및 그 전자 장치 |
CN102915431A (zh) * | 2012-09-12 | 2013-02-06 | 广东欧珀移动通信有限公司 | 一种根据终端设备照片内容自动摆正照片的方法 |
US9741150B2 (en) | 2013-07-25 | 2017-08-22 | Duelight Llc | Systems and methods for displaying representative images |
GB2528670A (en) * | 2014-07-25 | 2016-02-03 | Canon Kk | Method and apparatus for video surveillance |
CN104484858B (zh) * | 2014-12-31 | 2018-05-08 | 小米科技有限责任公司 | 人物图像处理方法及装置 |
US10347218B2 (en) * | 2016-07-12 | 2019-07-09 | Qualcomm Incorporated | Multiple orientation detection |
JP6604314B2 (ja) * | 2016-11-15 | 2019-11-13 | 京セラドキュメントソリューションズ株式会社 | 画像読取装置、画像形成装置、画像読取方法 |
CN111679731A (zh) * | 2019-03-11 | 2020-09-18 | 三星电子株式会社 | 显示装置及其控制方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5077811A (en) * | 1990-10-10 | 1991-12-31 | Fuji Xerox Co., Ltd. | Character and picture image data processing system |
JPH07220026A (ja) | 1994-01-31 | 1995-08-18 | Omron Corp | 画像処理装置および方法 |
JPH10206134A (ja) * | 1997-01-17 | 1998-08-07 | Matsushita Electric Works Ltd | 画像処理による位置検出方法 |
US6185343B1 (en) | 1997-01-17 | 2001-02-06 | Matsushita Electric Works, Ltd. | Position detection system and method |
WO2001015086A1 (fr) * | 1999-08-19 | 2001-03-01 | Sony Corporation | Processeur d'images, procede de traitement d'images et support enregistre |
US7565030B2 (en) * | 2003-06-26 | 2009-07-21 | Fotonation Vision Limited | Detecting orientation of digital images using face detection information |
JP2005100084A (ja) * | 2003-09-25 | 2005-04-14 | Toshiba Corp | 画像処理装置及び方法 |
US20050093891A1 (en) * | 2003-11-04 | 2005-05-05 | Pixel Instruments Corporation | Image orientation apparatus and method |
JP2005310110A (ja) * | 2004-03-22 | 2005-11-04 | Fuji Photo Film Co Ltd | 画像生成装置および方法並びにプログラム |
US7995239B2 (en) * | 2004-03-29 | 2011-08-09 | Fujifilm Corporation | Image output apparatus, method and program |
US20060061599A1 (en) * | 2004-09-17 | 2006-03-23 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for automatic image orientation normalization |
JP2006350642A (ja) | 2005-06-15 | 2006-12-28 | Casio Comput Co Ltd | 画像処理装置、及びプログラム |
US7706579B2 (en) * | 2006-12-21 | 2010-04-27 | Sony Ericsson Communications Ab | Image orientation for display |
US20080266326A1 (en) * | 2007-04-25 | 2008-10-30 | Ati Technologies Ulc | Automatic image reorientation |
JP2009010452A (ja) | 2007-06-26 | 2009-01-15 | Fuji Xerox Co Ltd | 画像処理システム及び画像処理プログラム |
JP5235823B2 (ja) * | 2009-08-28 | 2013-07-10 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理方法及び当該情報処理方法をコンピュータに実行させるプログラム |
-
2009
- 2009-12-03 JP JP2009275565A patent/JP2011119997A/ja active Pending
-
2010
- 2010-09-06 WO PCT/JP2010/005469 patent/WO2011067881A1/ja active Application Filing
- 2010-09-06 US US13/513,352 patent/US9049397B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014187451A (ja) * | 2013-03-22 | 2014-10-02 | Dainippon Printing Co Ltd | 画像回転装置、画像回転方法、およびプログラム |
CN110379031A (zh) * | 2019-07-24 | 2019-10-25 | 广东电网有限责任公司 | 一种会议签到方法、装置、设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2011067881A1 (ja) | 2011-06-09 |
US9049397B2 (en) | 2015-06-02 |
US20120294533A1 (en) | 2012-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2011067881A1 (ja) | 画像処理装置および画像処理方法 | |
US11516383B2 (en) | Adaptive camera control for reducing motion blur during real-time image capture | |
US11115565B2 (en) | User feedback for real-time checking and improving quality of scanned image | |
KR100796849B1 (ko) | 휴대 단말기용 파노라마 모자이크 사진 촬영 방법 | |
Lalonde et al. | What do the sun and the sky tell us about the camera? | |
US7349020B2 (en) | System and method for displaying an image composition template | |
US20030152291A1 (en) | Tilt correction of electronic images | |
US20160328827A1 (en) | Dynamic updating of a composite image | |
KR20200023651A (ko) | 미리보기 사진 블러링 방법 및 장치 및 저장 매체 | |
US11151731B2 (en) | Apparatus and method for efficient regularized image alignment for multi-frame fusion | |
CN109803172B (zh) | 一种直播视频的处理方法、装置及电子设备 | |
WO2014084249A1 (ja) | 顔認証装置、認証方法とそのプログラム、情報機器 | |
CN106604005A (zh) | 一种投影电视自动对焦方法及系统 | |
JP2011258180A (ja) | 被写体追跡装置、被写体追跡方法及びプログラム | |
JP2010072813A (ja) | 画像処理装置および画像処理プログラム | |
JP2007219899A (ja) | 個人識別装置、個人識別方法および個人識別プログラム | |
KR102135961B1 (ko) | 영상 처리 장치 및 영상 처리 방법 | |
JP2007048108A (ja) | 画像評価システム及び画像評価方法並びに画像評価プログラム | |
JP2013029996A (ja) | 画像処理装置 | |
JP2006350642A (ja) | 画像処理装置、及びプログラム | |
JP2007025901A (ja) | 画像処理装置、画像処理方法 | |
US20200250883A1 (en) | Information processing apparatus to set lighting effect applied to image, information processing method, and storage medium | |
JP6668646B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6525693B2 (ja) | 画像処理装置及び画像処理方法 | |
Kee | Photo forensics from partial constraints |