JP2005148245A - 撮影システム - Google Patents

Abstract

【課題】被写体の姿勢が不適切であることを検知し、その修正措置を簡単かつ確実に行なうことが可能である。
【解決手段】人物の被写体４０を撮影し被写体画像を取得する撮影手段３０を有する撮影システム１において、撮影手段３０による本撮影前のプレ撮影に基づくプレ撮影画像より、被写体４０の姿勢状態を判断する判断手段３２と、被写体４０の姿勢が不適切と判断した場合において、姿勢状態を正すよう指示する指示手段３３とを有する。
【選択図】図１

Description

この発明は、人物の被写体を撮影し被写体画像を取得する撮影手段を有する撮影システムに関する。

人物写真は、様々な写真の種類の中でも特によく撮影され、重要なものの一つである。その中でも顔の写真、或いは画像（以下、特記事項ない限り、同義とする）は、特に重要なものとして撮影され、扱われている。

一例として、個人を証明や認知する目的で撮影された顔写真が従来から広く用いられており、例えば、各種申請書類作成や、従業員証、学生証作成の目的で顔写真を簡単に撮影するシステムが開発され、用いられてきた。

その一例として、撮像手段の焦点距離は固定し、画角は少なくとも被写体の頭部及び胸部を撮影可能範囲とし、頭部を検出して切り出し、切り出された部分を任意の倍率で変倍し、頭部の位置指定は手操作にて指定ができるものがある（例えば特許文献１）。

また、人物の位置を算出して、画像内での人物の位置を所望の位置に補正し、撮像手段の姿勢を制御し、人物のサイズを算出して、画像内での人物画像のサイズを所望のサイズに補正し、撮影手段のズームを制御し、人物画像と背景を切り出す手段を備えるものがある（例えば特許文献２）。

また、撮影手段及び表示手段を上下動自在とし、利用者の身長にあわせて上下動させることができ、被写体の高さを検出し、照明手段も撮影手段、表示手段と一体的に上下動自在とするものがある（例えば特許文献３）。
特開２００１−３１１９９６号公報 特開２０００−９９６９１号公報 特開２００１−１６９１４５号公報

これらの特許文献１乃至特許文献４に記載されるものでは、被写体の姿勢が不適切である場合に、撮像手段の姿勢、ズーム、位置の調整を行なうが構造が複雑であったり、修正する画像処理が複雑である等の問題がある。また、あるいは被写体の姿勢が大きくずれていたり、顔が傾いている場合等には適切に修正することが困難であった。

この発明は、このような状況に鑑みてなされたものであり、被写体の姿勢が不適切であることを検知し、その修正措置を簡単かつ確実に行なうことが可能な撮影システムを提供することを目的としている。

前記課題を解決し、かつ目的を達成するために、この発明は、以下のように構成した。

請求項１に記載の発明は、人物の被写体を撮影し被写体画像を取得する撮影手段を有する撮影システムにおいて、
前記撮影手段による本撮影前のプレ撮影に基づくプレ撮影画像より、前記被写体の姿勢状態を判断する判断手段と、
前記被写体の姿勢が不適切と判断した場合において、姿勢状態を正すよう指示する指示手段とを有することを特徴とする撮影システムである。

請求項２に記載の発明は、人物の被写体を撮影し被写体画像を取得する撮影手段を有する撮影システムにおいて、
前記撮影手段による本撮影前のプレ撮影に基づくプレ撮影画像より、前記被写体の姿勢状態を判断する判断手段と、
前記被写体の姿勢が不適切と判断した場合において、前記撮影手段の方向、位置、アオリ状態の少なくとも１つを調整する調整手段とを有することを特徴とする撮影システムである。

請求項３に記載の発明は、人物の被写体を撮影し被写体画像を取得する撮影手段を有する撮影システムにおいて、
前記撮影手段による撮影画像より、前記被写体の姿勢状態を判断する判断手段と、
前記被写体の姿勢が不適切と判断した場合において、前記撮影画像の画像情報に基づいて算出した補正パラメータに応じ、前記撮影により撮影された画像のトリミング、回転操作、変形処理を施し、正しい姿勢状態の画像に近づける処理手段とを有することを特徴とする撮影システムである。

請求項４に記載の発明は、人物の被写体を撮影し被写体画像を取得する撮影手段を有する撮影システムにおいて、
前記撮影手段により撮影した撮影画像より、顔画像を検出し、顔の特徴点を自動的に検出するか、手動指示した情報に基づいて、その位置関係情報より姿勢が適切かどうか判断する判断手段と、
前記姿勢が不適切の場合、矯正を促すか、特徴点の位置関係情報が予め登録された適切な範囲になるよう画像処理にて修正する処理手段とを有することを特徴とする撮影システムである。

請求項５に記載の発明は、人物の被写体を撮影し被写体画像を取得する撮影手段を有する撮影システムにおいて、
前記撮影手段により撮影した撮影画像より、顔画像を検出し、顔部の対称性を最大化する中心軸を自動的に検出するか、手動指示した情報に基づいて、姿勢が適切かどうか判断する判断手段と、
前記姿勢が不適切の場合、矯正を促すか、中心軸の位置、方向を画像処理にて修正する処理手段とを有することを特徴とする撮影システムである。

請求項６に記載の発明は、人物の被写体を撮影し被写体画像を取得する撮影手段を有する撮影システムにおいて、
前記撮影手段により撮影した撮影画像より、顔画像を検出し、顔の中心軸、体の中心軸をそれぞれ検出し、両者が一直線上にない場合、姿勢が不適切と判断する判断手段と、
前記姿勢が不適切の場合、矯正を促すか、各中心軸が一直線上に並ぶように画像処理にて修正する処理手段とを有することを特徴とする撮影システムである。 請求項７に記載の発明は、人物の被写体を撮影し被写体画像を取得する撮影手段を有する撮影システムにおいて、
前記撮影手段により撮影した撮影画像より、顔画像を検出し、顔の中心軸を検出した上で、その対称性を評価し、その対称性が不十分の場合、顔の向きが不適切と判断する判断手段と、
前記姿勢が不適切の場合、矯正を促すか、画像処理にて対称性をある一定以上確保できるように修正する処理手段とを有することを特徴とする撮影システムである。

請求項８に記載の発明は、人物の被写体を撮影し被写体画像を取得する撮影手段を有する撮影システムにおいて、
前記撮影手段により撮影した撮影画像より、顔画像を検出し、目の中の虹彩パターン位置を検出し、それが目の中心からずれている場合、不適切と判断する判断手段と、
前記目の中心からずれている場合、矯正を促すか、画像処理にて修正する処理手段とを有することを特徴とする撮影システムである。

請求項９に記載の発明は、人物の被写体を撮影し被写体画像を取得する撮影手段を有する撮影システムにおいて、
３次元検出手段により検出した顔面に平面をフィッティングし、その面が撮影光軸の垂直面から傾いている場合、不適切と判断する判断手段と、
前記姿勢が不適切の場合、矯正を促すか、画像処理にて修正する処理手段とを有することを特徴とする撮影システムである。

請求項１０に記載の発明は、人物の被写体を撮影し被写体画像を取得する撮影手段を有する撮影システムにおいて、
焦点深度の浅い撮像系で得られるエッジ鮮鋭性の部位による乖離を検知した顔面に平面をフィッティングし、その面が撮影光軸の垂直面から傾いている場合、不適切と判断する判断手段と、
前記姿勢が不適切の場合、矯正を促すか、画像処理にて修正する処理手段とを有することを特徴とする撮影システムである。

前記構成により、この発明は、以下のような効果を有する。

請求項１に記載の発明では、プレ撮影画像より、被写体の姿勢状態を判断し、被写体の姿勢が不適切と判断した場合において、姿勢状態を正すよう指示することで、被写体自身が姿勢を適切な位置にして本撮影を行なうことができる。

請求項２に記載の発明では、プレ撮影画像より、被写体の姿勢状態を判断し、被写体の姿勢が不適切と判断した場合において、撮影手段の方向、位置、アオリ状態の少なくとも１つを調整することで、本撮影で被写体の姿勢がずれることを防止することができる。

請求項３に記載の発明では、撮影画像より、被写体の姿勢状態を判断し、被写体の姿勢が不適切と判断した場合において、撮影画像の画像情報に基づいて算出した補正パラメータに応じ、撮影により撮影された画像のトリミング、回転操作、変形処理を施し、正しい姿勢状態の画像に近づける処理を行なうことで、被写体の姿勢が不適切であることを検知し、その修正措置を簡単かつ確実に行なうことができる。

請求項４に記載の発明では、撮影画像より顔画像を検出し、顔の特徴点を自動的に検出するか、手動指示した情報に基づいて、その位置関係情報より姿勢が適切かどうか判断し、姿勢が不適切の場合、矯正を促すか、特徴点の位置関係情報が予め登録された適切な範囲になるよう画像処理にて修正することで、修正措置を簡単かつ確実に行なうことができる。

請求項５に記載の発明では、撮影画像より顔画像を検出し、顔部の対称性を最大化する中心軸を自動的に検出するか、手動指示した情報に基づいて、姿勢が適切かどうか判断し、姿勢が不適切の場合、矯正を促すか、中心軸の位置、方向を画像処理にて修正することで、被写体の姿勢が不適切であることを検知し、その修正措置を簡単かつ確実に行なうことができる。

請求項６に記載の発明では、撮影画像より顔画像を検出し、顔の中心軸、体の中心軸をそれぞれ検出し、両者が一直線上にない場合、姿勢が不適切と判断し、姿勢が不適切の場合、矯正を促すか、各中心軸が一直線上に並ぶように画像処理にて修正することで、被写体の姿勢が不適切であることを検知し、その修正措置を簡単かつ確実に行なうことができる。

請求項７に記載の発明では、撮影画像より顔画像を検出し、顔の中心軸を検出した上で、その対称性を評価し、その対称性が不十分の場合、顔の向きが不適切と判断し、姿勢が不適切の場合、矯正を促すか、画像処理にて対称性をある一定以上確保できるように修正することで、被写体の姿勢が不適切であることを検知し、その修正措置を簡単かつ確実に行なうことができる。

請求項８に記載の発明では、撮影画像より顔画像を検出し、目の中の虹彩パターン位置を検出し、それが目の中心からずれている場合、不適切と判断し、目の中心からずれている場合、矯正を促すか、画像処理にて修正することで、被写体の姿勢が不適切であることを検知し、その修正措置を簡単かつ確実に行なうことができる。

請求項９に記載の発明では、３次元検出手段により検出した顔面に平面をフィッティングし、その面が撮影光軸の垂直面から傾いている場合、不適切と判断し、姿勢が不適切の場合、矯正を促すか、画像処理にて修正することで、被写体の姿勢が不適切であることを検知し、その修正措置を簡単かつ確実に行なうことができる。

請求項１０に記載の発明では、焦点深度の浅い撮像系で得られるエッジ鮮鋭性の部位による乖離を検知した顔面に平面をフィッティングし、その面が撮影光軸の垂直面から傾いている場合、不適切と判断し、姿勢が不適切の場合、矯正を促すか、画像処理にて修正することで、被写体の姿勢が不適切であることを検知し、その修正措置を簡単かつ確実に行なうことができる。

以下、この発明の撮影システムの実施の形態について説明するが、この発明は、この実施の形態に限定されない。また、この発明の実施の形態は、発明の最も好ましい形態を示すものであり、この発明の用語はこれに限定されない。

図１は撮影システムの概略構成図である。この実施の形態の撮影システム１は、図２に示すような証明写真ボックス１０、または図３に示すようにポートレートスタジオ２０に用いられる。

図２の証明写真ボックス１０は、撮影室１１と、機械室１２の隔離された箱状の筐体１３に設置され、広く一般に用いられている証明写真ボックス１０を形成することができる。撮影室１１に被写体である被撮影者が入り、椅子１４に腰掛け、料金投入口１５から料金を支払い、撮影手段１６であるＣＣＤカメラによって撮影を行うものである。撮影された顔写真画像は、現像処理されて写真プリントとして筐体１３の側部に設けられた排出部１７に出力される。この筐体１３の側部には鏡１８が設けられ、被撮影者が例えば髪型を整える場合等に用いられる。

図３のポートレートスタジオ２０は、椅子２１、背景幕２２、照明器具２３及び撮影カメラ２４が備えられている。このように、スタジオ内に各々のパーツを設置することで、ポートレートスタジオ２０として機能し、コンパクトな機材を写真店店頭に設置すれば簡易スタジオとして機能する。

この実施の形態の撮影システム１は、撮影手段３０、撮影条件設定手段３１、判断手段３２、指示手段３３、調整手段３４、処理手段３５、照明調節器３６、照明条件調節手段３７、画像出力手段３８、被写体検出／起動スイッチＳＷ１を有する。撮影条件設定手段３１には、インターネット３９ａを介して個人認証機関データベース３９ｂが接続される。

この実施の形態の撮影システム１は、処理手段３５、画像出力手段３８が必要であるが、一般に知られている手段（光学焼付け→現像や、デジタル画像取得→デジタル画像処理→画像記録紙、ＣＤＲ等のメディアに画像出力）で簡単に実現可能であるので、ここでは詳しくは説明しない。

この実施の形態では、複数個の照明調節器３６を被写体４０の周囲に設置し、照明条件調節手段３７で適宜調整することにより、撮影条件の一種である照明条件が様々に得られる。

照明条件として重要な要素に、光の柔らかさがある。光の柔らかさは、被写体４０を照明する光線の被写体４０への入射方向の分布特性を調節することで調節できる。具体的には、例えば光源の位置を変えずに、光源の発光部位の大きさを変化させれば良く、大きさを小さくすれば硬い光が、大きくすれば柔らかい光が得られる。

このように撮影システム１は、被写体４０を撮影して被写体画像を取得する撮影手段３０と、被写体４０の撮影条件を設定する撮影条件設定手段３１とを備え、撮影条件設定手段３１で定められた撮影条件で被写体４０の撮影を行う。撮影手段３０は、フィルムに露光するカメラ、あるいはＣＣＤ等のイメージセンサを用いたデジタルカメラで構成される。

請求項１に記載の発明では、撮影手段３０により本撮影前のプレ撮影を行なう。そして、判断手段３２によりプレ撮影に基づくプレ撮影画像より、被写体４０の姿勢状態を判断する。この被写体４０の姿勢状態を判断する手段として、図４に示すように、例えば顔領域を検出して判断する。

この実施の形態でいう「顔領域の検出」とは、被写体である人物の顔に相当する領域全体を検出することだけでなく、特に、顔に含まれる所定の構造（例えば目や口）や、肌の一部領域の検出も含む。

この「顔領域の検出方法」としては、彩度や色相値、明度といった色値を、単独あるいは組み合わせて利用し、特定色がおおよそ連続する領域を顔領域とする手法や、画像からハフ変換等の手法を用いエッジを抽出するなどして特定の形状パターンを抽出する方法、テンプレートマッチングによる構造物抽出法、またはこれらを組み合わせた手法など、当業界で知られる公知公用の手法を採用することができる。

具体的には、特開昭５２−１５６６２４号公報に２次元または３次元の色座標上に、予め定めた色領域に含まれる測定点を肌色と定義し、肌色と判断した測定点の数が１３個以上ある場合に、画像中に肌色があると判定する手法、特開平４−３４６３３２号公報に元画像を画像を多数画素に分割し、各画素のＢＧＲ値から色相値と彩度値のヒストグラムを作成し、その形状からヒストグラムを分割、分割した各部位に相当する各画素で構成される領域に画像を分割し、左記複数の領域から顔に相当する領域を推定する手法、特開平６−３０９４３３号公報、特開平６−６７３２０号公報、特開平５−１５８１６４号公報及び特開平５−１６５１２０号公報に色相値、彩度値、輝度値などのヒストグラムに基づい
て肌色領域を決定し、この肌色領域を顔領域とする方法、特開平９−１３８４７１号公報に探索範囲内のエッジ強度を比較し輪郭抽出を行う手法、画像中の複数点の濃度または輝度を測定してその変化量を求め、変化量が所定値以上の点を基準点として設定した後に、基準点から所定範囲内で濃度等の変化量等を用いて検索範囲および検索方向パターンを設定し、検索範囲内で検索方向パターンが示す方向における濃度等の変化量が所定値以上の箇所を検索して、次いでこの箇所を基準として検索を行うことを繰り返し、検索・設定した基準点を結んで特定箇所を抽出する方法が例示される。

また、特開平９−１０１５７９号公報に肌色領域を抽出し、非エッジ部分の領域を抽出し顔領域とする手法、特開平１１−３１６８４５号公報に部分パーツを抽出し、合成して主要被写体候補とし判定する手法、特開平９−１３８４７０号公報に個々に重み係数を設定した複数の抽出方法の結果を、前記重み係数により重み付けした結果に基づいて顔に相当する領域である確度の高い領域を顔領域として抽出する手法、特開平８−６３５９７号公報に複数の顔テンプレートを用意し、この顔テンプレートと画像とのテンプレートマッチングを行って顔領域候補を抽出した後に、顔領域候補内における肌色の分布に基づいて顔領域を抽出する方法、特開平８−１８４９２５号公報に画像に２値化等の処理を施して複数の領域に分割、該複数の領域から顔に相当する領域である確度が最も高い領域を抽出する手法、特開平５−２１０７３９号公報、特開平５−２７４４３８号公報、特開平５−２７４４３９号公報、特開平５−３０７５３７号公報、特開平５−３０７６０５号公報、特開平５−２８２４５７号公報、特開平６−２１４９７０号公報、特開平６−３０９４５７号公報、特開平７−２３４８５６号公報、特開平８−８７５８９号公報にニューラルネットワークにより顔領域を抽出する方法、特開平８−２２１５６７号公報、特開２０００−２０６９４号公報、特開２０００−３２２７２号公報、特開２０００−２０１３５８号公報、特開２０００−２０７５６９号公報にラインプロセス法を用いた手法等々の手法があるが、これは一例であり、これに限定するものではない。

また、上記手法の他にも、モニタ上で、マウスやライトペンなどを用いて、オペレータが手動で顔領域を指定することで顔領域を抽出してもよく、これを補助手段として、上記に挙げた抽出方法と併用してもよい。

この判断手段３２は、プレ撮影に基づくプレ撮影画像より、図４（ａ）が正常な姿勢による撮影画像であり、図４（ｂ）及び図４（ｃ）が顔位置が適切でない場合、図４（ｄ）が顔の中心軸の方向が適切でない場合、図４（ｅ）が顔の対称性が不十分な場合、図４（ｆ）が顔を構成する各パーツの位置関係、目の虹彩位置が適切でない場合の撮影画像であると判断する。

指示手段３３は、判断手段３２が被写体４０の姿勢が、図４（ｂ）乃至図４（ｆ）のように不適切と判断した場合において、姿勢状態を正すよう指示する。この指示は、音声による警告がある。

例えば、
「姿勢が不適切です。正してください。」
「体の位置が全体に左（右）に寄っています。位置を正してください。」
「顔の位置が高（低）すぎです。椅子を低（高）くしてください。」
「顎が出ています。顎を引いて姿勢を正してください。」
「頭が左（右）へ傾いています。」
「顔の向きが左（右）へ回いています。」などの警告を行なう。

また、画像モニタに文字によるメッセージやアニメーションなどで警告を表示し、さらに、専用の警告デバイス（文字表示パネルや警告灯の点灯など）を利用などが例として考えられる。

このように、プレ撮影画像より、被写体４０の姿勢状態を判断し、被写体４０の姿勢が不適切と判断した場合において、姿勢状態を正すよう指示することで、被写体自身が姿勢を適切な位置にして本撮影を行なうことができる。

請求項２に記載の発明では、判断手段３２が本撮影前のプレ撮影に基づくプレ撮影画像より、被写体４０の姿勢状態を判断する。調整手段３４は、判断手段３２が被写体４０の姿勢が、例えば図４（ｂ）乃至図４（ｆ）のように不適切と判断した場合において、撮影手段３０の方向、位置、アオリ状態の少なくとも１つを調整する。例えば、図４（ｂ）及び図４（ｃ）のように、顔位置が適切でない場合は、撮影手段３０の位置を調整し、また、図４（ｅ）のように、顔の対称性が不十分な場合は、撮影手段３０の方向を調整し、また、図４（ｆ）のように、顔を構成する各パーツの位置関係、目の虹彩位置が適切でない場合は、撮影手段３０のアオリ状態を調整する。

このように、プレ撮影画像より、被写体４０の姿勢状態を判断し、被写体４０の姿勢が不適切と判断した場合において、撮影手段の方向、位置、アオリ状態の少なくとも１つを調整することで、本撮影で被写体４０の姿勢ずれることを防止することができる。

請求項３に記載の発明では、判断手段３２が撮影画像より、被写体４０の姿勢状態を判断する。処理手段３５は、判断手段３２が被写体４０の姿勢が、例えば図４（ｂ）乃至図４（ｆ）のように不適切と判断した場合において、撮影画像の画像情報に基づいて算出した補正パラメータに応じ、撮影により撮影された画像のトリミング、回転操作、変形処理などを施し、正しい姿勢状態の画像に近づける処理を行なう。

例えば、図４（ｂ）及び図４（ｃ）のように、顔位置が不適切な場合（上下左右への偏り）は、画像のトリミング位置を調整し、顔の中心が所定の位置になるようにする。また、顔サイズが不適切な場合は、トリミング領域を調整し、顔サイズが所定のサイズになるようにする。また、図４（ｄ）のように、顔が傾いている場合は、顔領域のみを顎部を中心として回転し、中心軸が垂直となるようにする。また、図４（ｅ）のように、顔の向きが傾いている場合は、顔の特徴点を抽出し、鼻筋が顔領域中央にあって目、眉、口などが中心軸に対称となるように、特徴点のあるべき位置を定め、特徴点間の小領域毎にアフィン変換をし、顔領域全体を変形する。概ね、中心軸で分割した両側の部分のうち、狭い領域を水平方向に伸長し、広い領域を同方向に圧縮することで、両側の領域が対称となるようにする。また、図４（ｆ）のように、目の中心がその中の虹彩の中心と合致していない場合は、目の領域部分については、虹彩位置を移動し、目の中央部になるように配置する。さらに、顔の面が撮影光軸の垂直面に対して平行でない場合は、検出した角度に応じて、顔の上下の遠近効果によるサイズのアンバランスを調整する。

このように、撮影画像より、被写体４０の姿勢状態を判断し、被写体４０の姿勢が不適切と判断した場合において、撮影画像の画像情報に基づいて算出した補正パラメータに応じ、撮影された画像のトリミング、回転操作、変形処理などを施し、正しい姿勢状態の画像に近づける処理を行なうことで、被写体４０の姿勢が不適切であることを検知し、その修正措置を簡単かつ確実に行なうことができる。

請求項４に記載の発明では、判断手段３２が撮影画像より、顔画像を検出し、顔の特徴点を自動的に検出するか、手動指示した情報に基づいて、その位置関係情報より姿勢が適切かどうか判断する。処理手段３５は、姿勢が不適切の場合、矯正を促すか、特徴点の位置関係情報が予め登録された適切な範囲になるよう画像処理にて修正する。この矯正を促す手段としては、例えば請求項１の実施の形態で示した姿勢状態を正すよう指示を音声によって警告してもよい。また、目、鼻、口等の特徴点の位置関係情報が予め登録された適切な範囲になるよう画像処理にて修正する。例えば、顔の特徴点を抽出し、図４（ｅ）のように、顔の向きが傾いている場合は、鼻筋が顔領域中央にあって目、眉、口などが中心軸に対称となるように、特徴点のあるべき位置を定め、特徴点間の小領域毎にアフィン変換をし、顔領域全体を変形する。概ね、中心軸で分割した両側の部分のうち、狭い領域を水平方向に伸長し、広い領域を同方向に圧縮することで、両側の領域が対称となるようにする。

このように、撮影画像より顔画像を検出し、顔の特徴点を自動的に検出するか、手動指示した情報に基づいて、その位置関係情報より姿勢が適切かどうか判断し、姿勢が不適切の場合、矯正を促すか、特徴点の位置関係情報が予め登録された適切な範囲になるよう画像処理にて修正することで、修正措置を簡単かつ確実に行なうことができる。

請求項５に記載の発明では、判断手段３２が撮影画像より、顔画像を検出し、顔部の対称性を最大化する中心軸を自動的に検出するか、手動指示した情報に基づいて、姿勢が適切かどうか判断する。処理手段３５は、姿勢が不適切の場合、矯正を促すか、中心軸の位置、方向を画像処理にて修正する。

この矯正を促す手段としては、例えば請求項１の実施の形態で示した姿勢状態を正すよう指示を音声によって警告してもよい。また、例えば図４（ｄ）のように、顔が傾いている場合は、顔領域のみを顎部を中心として回転し、中心軸が垂直となるようにする。

このように、顔画像を検出し、顔部の対称性を最大化する中心軸を自動的に検出するか、手動指示した情報に基づいて、姿勢が適切かどうか判断し、姿勢が不適切の場合、矯正を促すか、中心軸の位置、方向を画像処理にて修正することで、被写体の姿勢が不適切であることを検知し、その修正措置を簡単かつ確実に行なうことができる。

請求項６に記載の発明では、判断手段３２が撮影画像より、顔画像を検出し、顔の中心軸、体の中心軸をそれぞれ検出し、両者が一直線上にない場合、姿勢が不適切と判断する。処理手段３５は、姿勢が不適切の場合、矯正を促すか、各中心軸が一直線上に並ぶように画像処理にて修正する。この矯正を促す手段としては、例えば請求項１の実施の形態で示した姿勢状態を正すよう指示を音声によって警告してもよい。

請求項７に記載の発明では、判断手段３２が撮影画像より、顔画像を検出し、顔の中心軸を検出した上で、その対称性を評価し、その対称性が不十分の場合、顔の向きが不適切と判断する。処理手段３５は、姿勢が不適切の場合、矯正を促すか、画像処理にて対称性をある一定以上確保できるように修正する。この矯正を促す手段としては、例えば請求項１の実施の形態で示した姿勢状態を正すよう指示を音声によって警告してもよい。

請求項８に記載の発明では、判断手段３２が撮影画像より、顔画像を検出し、目の中の虹彩パターン位置を検出し、それが目の中心からずれている場合、不適切と判断する。処理手段３５は、目の中心からずれている場合、矯正を促すか、画像処理にて修正する。この矯正を促す手段としては、例えば請求項１の実施の形態で示した姿勢状態を正すよう指示を音声によって警告してもよい。処理手段３５は、目の中の虹彩パターン位置が目の中心からずれている場合、例えば図４（ｆ）のように、目の中心がその中の虹彩の中心と合致していないと、目の領域部分については、虹彩位置を移動し、目の中央部になるように配置する。

このように、撮影画像より顔画像を検出し、顔の中心軸を検出した上で、その対称性を評価し、その対称性が不十分の場合、顔の向きが不適切と判断し、姿勢が不適切の場合、矯正を促すか、画像処理にて対称性をある一定以上確保できるように修正することで、被写体の姿勢が不適切であることを検知し、その修正措置を簡単かつ確実に行なうことができる。

請求項９に記載の発明では、判断手段３２が３Ｄセンサを等の３次元検出手段により検出した顔面に平面をフィッティングし、その面が撮影光軸の垂直面から傾いている場合、不適切と判断する。処理手段３５は、姿勢が不適切の場合、矯正を促すか、画像処理にて修正する。即ち、顔面が撮影光軸の垂直面から傾かないように画像処理する。また、矯正を促す手段としては、例えば請求項１の実施の形態で示した姿勢状態を正すよう指示を音声によって警告してもよい。

請求項１０に記載の発明では、判断手段３２が焦点深度の浅い撮像系で得られるエッジ鮮鋭性の部位による乖離を検知した顔面に平面をフィッティングし、その面が撮影光軸の垂直面から傾いている場合、不適切と判断する。処理手段３５は、姿勢が不適切の場合、矯正を促すか、画像処理にて修正する。即ち、顔面が撮影光軸の垂直面から傾かないように画像処理する。また、矯正を促す手段としては、例えば請求項１の実施の形態で示した姿勢状態を正すよう指示を音声によって警告してもよい。

次に、この実施の形態の撮影システム１の画像処理のフローを図５及び図６に示す。

この実施の形態では、図５に示すように、まず顔領域の検出を行ない（ステップａ１）、ステップａ２において、顔領域の位置・サイズが適切か否かの判断を行なう。顔領域の位置・サイズが適切でない場合は、警告を発生し、または画像処理を行なう（ステップａ３）。即ち、姿勢が不適切の場合、警告を発生して矯正を促すか、画像処理にて修正する。警告を発生して矯正を促す場合は、再撮影を行ない（ステップａ１６）、ステップａ１へ移行する。画像処理にて修正する場合は、顔領域の位置・サイズが適切にする画像処理をしてステップａ４へ移行する（ステップａ１７）。

このステップａ４において、顔領域の位置・サイズが適切な場合は、顔領域内の各パーツ位置の検出を行なう。そして、ステップａ５において、顔の中心軸を決定し、ステップａ６において、中心軸の方向が適切か否かの判断を行なう。中心軸の方向が適切でない場合は、警告を発生し、または画像処理を行なう（ステップａ７）。即ち、中心軸の方向が不適切の場合、警告を発生して矯正を促すか、画像処理にて修正する。警告を発生して矯正を促す場合は、再撮影を行ない（ステップａ１６）、ステップａ１へ移行する。画像処理にて修正する場合は、中心軸の方向を適切にする画像処理をしてステップａ８へ移行する（ステップａ１８）。

ステップａ８において、中心軸の方向が適切な場合は、中心軸が顔領域の中心を通るか否かの判断を行なう。中心軸が顔領域の中心を通らない場合は、警告を発生し、または画像処理を行なう（ステップａ９）。即ち、中心軸が顔領域の中心を通らない場合、警告を発生して矯正を促すか、画像処理にて修正する。警告を発生して矯正を促す場合は、再撮影を行ない（ステップａ１６）、ステップａ１へ移行する。画像処理にて修正する場合は、中心軸が顔領域の中心を通す画像処理をしてステップａ１０へ移行する（ステップａ１９）。

ステップａ１０において、中心軸が顔領域の中心を通る場合は、顔の中心軸と体の中心軸が一直線であるか否かの判断を行なう。顔の中心軸と体の中心軸が一直線でない場合は、警告を発生し、または画像処理を行なう（ステップａ１１）。即ち、顔の中心軸と体の中心軸が一直線でない場合、警告を発生して矯正を促すか、画像処理にて修正する。警告を発生して矯正を促す場合は、再撮影を行ない（ステップａ１６）、ステップａ１へ移行する。画像処理にて修正する場合は、顔の中心軸と体の中心軸が一直線する画像処理をしてステップａ１２へ移行する（ステップａ２０）。

ステップａ１２において、顔の中心軸と体の中心軸が一直線である場合は、目の中心がその中の虹彩の中心と合致するか否かの判断を行なう。目の中心がその中の虹彩の中心と合致しない場合は、警告を発生し、または画像処理を行なう（ステップａ１３）。即ち、目の中心がその中の虹彩の中心と合致しない場合、警告を発生して矯正を促すか、画像処理にて修正する。警告を発生して矯正を促す場合は、再撮影を行ない（ステップａ１６）、ステップａ１へ移行する。画像処理にて修正する場合は、目の中心がその中の虹彩の中心と合致させる画像処理をしてステップａ１４へ移行する（ステップａ２１）。

ステップａ１４において、目の中心がその中の虹彩の中心と合致する場合は、顔の面が撮影光軸の垂直面に対して平行であるか否かの判断を行なう。顔の面が撮影光軸の垂直面に対して平行でない場合は、警告を発生し、または画像処理を行なう（ステップａ１５）。即ち、警告を発生して矯正を促す場合は、再撮影を行ない（ステップａ１６）、ステップａ１へ移行する。画像処理にて修正する場合、顔の面を撮影光軸の垂直面に対して平行にする画像処理して画像出力を行なう（ステップａ２２）。

ステップａ５における顔の中心軸の決定は、図６に示すように行なう。この実施の形態では、ステップｂ１において、顔領域の重心を通る垂直方向に仮中心軸を設定する、次に、ステップｂ２において、仮中心軸の位置、方向を所定量変化させて、顔領域内のパーツの対称性指標を評価し、さらに対称性指標が向上する条件が存在するか否かの判断を行なう（ステップｂ３）。

対称性指標が向上する条件が存在しない場合は、仮中心軸を中心軸として確定する（ステップｂ４）。対称性指標が向上する条件が存在する場合は、対称性指標が最も向上する条件を仮中心軸として再設定し、ステップｂ２へ移行する（ステップｂ５）。

この発明は、人物の被写体を撮影し被写体画像を取得する撮影手段を有する撮影システムに適用できる。

撮影システムの概略構成図である。 証明写真ボックスを示す図である。 ポートレートスタジオを示す図である。 顔領域の検出を示す図である。 画像処理のフローを示す図である。 顔の中心軸の決定フローを示す図である。

符号の説明

１ 被写体撮影システム
３０ 撮影手段
３１ 撮影条件設定手段
３２ 判断手段
３３ 指示手段
３４ 調整手段
３５ 処理手段
３６ 照明調節器
３７ 照明条件調節手段
３８ 画像出力手段

Claims (10)

1. 人物の被写体を撮影し被写体画像を取得する撮影手段を有する撮影システムにおいて、
   前記撮影手段による本撮影前のプレ撮影に基づくプレ撮影画像より、前記被写体の姿勢状態を判断する判断手段と、
   前記被写体の姿勢が不適切と判断した場合において、姿勢状態を正すよう指示する指示手段とを有することを特徴とする撮影システム。
2. 人物の被写体を撮影し被写体画像を取得する撮影手段を有する撮影システムにおいて、
   前記撮影手段による本撮影前のプレ撮影に基づくプレ撮影画像より、前記被写体の姿勢状態を判断する判断手段と、
   前記被写体の姿勢が不適切と判断した場合において、前記撮影手段の方向、位置、アオリ状態の少なくとも１つを調整する調整手段とを有することを特徴とする撮影システム。
3. 人物の被写体を撮影し被写体画像を取得する撮影手段を有する撮影システムにおいて、
   前記撮影手段による撮影画像より、前記被写体の姿勢状態を判断する判断手段と、
   前記被写体の姿勢が不適切と判断した場合において、前記撮影画像の画像情報に基づいて算出した補正パラメータに応じ、前記撮影により撮影された画像のトリミング、回転操作、変形処理を施し、正しい姿勢状態の画像に近づける処理手段とを有することを特徴とする撮影システム。
4. 人物の被写体を撮影し被写体画像を取得する撮影手段を有する撮影システムにおいて、
   前記撮影手段により撮影した撮影画像より、顔画像を検出し、顔の特徴点を自動的に検出するか、手動指示した情報に基づいて、その位置関係情報より姿勢が適切かどうか判断する判断手段と、
   前記姿勢が不適切の場合、矯正を促すか、特徴点の位置関係情報が予め登録された適切な範囲になるよう画像処理にて修正する処理手段とを有することを特徴とする撮影システム。
5. 人物の被写体を撮影し被写体画像を取得する撮影手段を有する撮影システムにおいて、
   前記撮影手段により撮影した撮影画像より、顔画像を検出し、顔部の対称性を最大化する中心軸を自動的に検出するか、手動指示した情報に基づいて、姿勢が適切かどうか判断する判断手段と、
   前記姿勢が不適切の場合、矯正を促すか、中心軸の位置、方向を画像処理にて修正する処理手段とを有することを特徴とする撮影システム。
6. 人物の被写体を撮影し被写体画像を取得する撮影手段を有する撮影システムにおいて、
   前記撮影手段により撮影した撮影画像より、顔画像を検出し、顔の中心軸、体の中心軸をそれぞれ検出し、両者が一直線上にない場合、姿勢が不適切と判断する判断手段と、
   前記姿勢が不適切の場合、矯正を促すか、各中心軸が一直線上に並ぶように画像処理にて修正する処理手段とを有することを特徴とする撮影システム。
7. 人物の被写体を撮影し被写体画像を取得する撮影手段を有する撮影システムにおいて、
   前記撮影手段により撮影した撮影画像より、顔画像を検出し、顔の中心軸を検出した上で、その対称性を評価し、その対称性が不十分の場合、顔の向きが不適切と判断する判断手段と、
   前記姿勢が不適切の場合、矯正を促すか、画像処理にて対称性をある一定以上確保できるように修正する処理手段とを有することを特徴とする撮影システム。
8. 人物の被写体を撮影し被写体画像を取得する撮影手段を有する撮影システムにおいて、
   前記撮影手段により撮影した撮影画像より、顔画像を検出し、目の中の虹彩パターン位置を検出し、それが目の中心からずれている場合、不適切と判断する判断手段と、
   前記目の中心からずれている場合、矯正を促すか、画像処理にて修正する処理手段とを有することを特徴とする撮影システム。
9. 人物の被写体を撮影し被写体画像を取得する撮影手段を有する撮影システムにおいて、
   ３次元検出手段により検出した顔面に平面をフィッティングし、その面が撮影光軸の垂直面から傾いている場合、不適切と判断する判断手段と、
   前記姿勢が不適切の場合、矯正を促すか、画像処理にて修正する処理手段とを有することを特徴とする撮影システム。
10. 人物の被写体を撮影し被写体画像を取得する撮影手段を有する撮影システムにおいて、
    焦点深度の浅い撮像系で得られるエッジ鮮鋭性の部位による乖離を検知した顔面に平面をフィッティングし、その面が撮影光軸の垂直面から傾いている場合、不適切と判断する判断手段と、
    前記姿勢が不適切の場合、矯正を促すか、画像処理にて修正する処理手段とを有することを特徴とする撮影システム。

Images