JP2010045518A

JP2010045518A - 画像処理装置

Info

Publication number: JP2010045518A
Application number: JP2008207068A
Authority: JP
Inventors: Tetsuya Kawasaki; 哲哉川▲崎▼
Original assignee: Olympus Corp; Olympus Imaging Corp
Current assignee: Olympus Corp; Olympus Imaging Corp
Priority date: 2008-08-11
Filing date: 2008-08-11
Publication date: 2010-02-25

Abstract

【課題】鑑賞される画像が与える印象と関連する情報を画像とともに呈示することで、画像鑑賞をより印象深く楽しいものとすることが可能な画像処理装置を提供すること。
【解決手段】画像取得部３１によって取得された画像と付加情報の何れか一方から画像の構図を特定する構図特定部３２と、構図特定部３２によって特定された画像の構図から、この構図が画像の鑑賞者に与えうる印象を判定する印象判定部３３と、印象判定部３３で判定された印象に関連した情報を画像取得部３１によって取得された画像とともに呈示する印象呈示部３４と備える。
【選択図】図１

Description

本発明は、画像が与える印象を画像の撮影者や画像の鑑賞者に呈示する画像処理装置に関する。

プロの撮影者等は、所定の心理効果を写真に鑑賞者に与えられるように、撮影時の撮影条件を決定して撮影を行っていることが多い。これに対し、撮影時における撮影者の意図を読み取るための各種の提案がなされている。例えば、特許文献１においては、画像分析や画像に付加されているメタデータの解析を行って、画像が撮影されたときの撮影者の意図を読み取れるようにしている。また、特許文献２においては、画像の構図が鑑賞者に与える心理的効果を数値的に評価する技術についての提案がなされている。
特開２００１−２７３５０５号公報特開２００６−１３４１５３号公報

ここで、特許文献２は、画像の構図が鑑賞者に与える心理的効果の程度を数値として表すことができる。しかしながら、画像の構図が鑑賞者に与える心理的効果を判定した後、その結果をどのように利用するのかについては特に言及がなされていない。

本発明は、上記の事情に鑑みてなされたもので、鑑賞される画像が与える印象と関連する情報を画像とともに呈示することで、画像鑑賞をより印象深く楽しいものとすることが可能な画像処理装置を提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様の画像処理装置は、画像と該画像に付加された付加情報との何れか一方から前記画像の構図を特定する構図特定手段と、前記特定された画像の構図から、前記画像の鑑賞者に与えうる印象を判定する印象判定手段と、前記印象判定手段で判定された印象に関連した情報を前記画像とともに呈示する印象呈示手段とを具備することを特徴とする。

本発明によれば、鑑賞される画像が与える印象と関連する情報を画像とともに呈示することで、画像鑑賞をより印象深く楽しいものとすることが可能な画像処理装置を提供することができる。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る画像処理装置を含む画像処理システムの構成を示す図である。

図１に示す画像処理システムは、撮影装置１０と、画像蓄積装置２０と、画像処理装置３０と、出力装置４０と、操作部材５０とを有している。なお、これらの各部は１つの装置内に設けられていても良いし、別々の装置として設けられていても良い。以後は図１に示す画像処理システムを構成する各装置が別々の装置として設けられているものとして説明する。

撮影装置１０は、図示しない被写体の撮影を行って被写体の像に基づく画像を取得する。この撮影装置１０は、例えばデジタルカメラ（デジタルスチルカメラ、デジタルムービーカメラ）等である。

画像蓄積装置２０は、各種の画像を記録するための各種の記録媒体である。ここで、画像蓄積装置２０に記録される画像は、例えば撮影装置１０で得られた画像である。この他、画像蓄積装置２０がインターネット回線等の通信回線に接続されていれば、通信回線を介して通信される画像を画像蓄積装置２０に記録させることも可能である。

ここで、撮影装置１０によって取得された画像又は画像蓄積装置２０に記録される画像には付加情報が付加されている。この付加情報は画像の取得条件等を示す情報である。例えば撮影装置１０がデジタルカメラである場合には、撮影の際の撮影条件を示す情報（撮影時に用いられたレンズの種類を示す情報、撮影時のフォーカシング位置を示す情報、撮影時の露出条件（絞り値、シャッター速度）を示す情報等）、画像サイズ、ファイル名等が含まれる。

画像処理装置３０は、撮影装置１０において得られた画像又は画像蓄積装置２０に記憶された画像の構図を特定し、特定した構図が鑑賞者に与えうる印象を判定し、判定した印象に対応した情報を画像とともに呈示する。この画像処理装置３０は、画像取得部３１と、構図特定部３２と、印象判定部３３と、印象呈示部３４とを有している。これらの各部の詳細については後述する。

出力装置４０は、画像処理装置３０の印象呈示部３４で呈示された印象に対応した情報を画像とともに再生出力する。詳細は後述するが、印象呈示部３４で呈示される印象に対応した情報には、印象に対応した映像、印象に対応した音声、印象に対応した文字等がある。したがって、出力装置４０も、映像や文字を表示する機能、音声を再生する機能を有しているものである。

操作部材５０は、画像処理装置３０の操作を行うための操作部材である。この操作部材５０により、撮影者や鑑賞者は、画像処理装置３０の印象呈示部３４に対して指示を行うことが可能である。

以下、画像処理装置３０についてさらに説明する。図２は、画像処理装置３０の構図特定部３２と、印象判定部３３と、印象呈示部３４の詳細な構成を示した図である。

図２に示すように、構図特定部３２は、空間周波数解析部３２１と、主要被写体検出部３２２と、パターン特定部３２３とを有している。また、パターン特定部３２３は、形状パターン特定部３２３１と、形状パターン特定用データベース（ＤＢ）３２３２と、動きパターン特定部３２３３と、動きパターン特定用ＤＢ３２３４とを有している。

空間周波数解析部３２１は、画像取得部３１で取得された画像の空間周波数を解析する。この空間周波数解析部３２１は、例えばフーリエ変換を用いて画像内の水平方向の線と画像内の垂直方向の線と画像内の斜め方向の線とがそれぞれどのように分布しているかを解析し、その解析結果を主要被写体検出部３２２及びパターン特定部３２３に出力する。

主要被写体検出部３２２は、画像取得部３１で取得された画像における主要被写体を検出し、検出した主要被写体の形状を示す情報（主要被写体部分の画像データ）及び主要被写体の位置を示す情報をパターン特定部３２３に出力する。

この主要被写体の検出手法には種々のものがある。例えば、写真撮影において採用される主要被写体には人物が多いため画像内に人物が存在していれば、その人物を主要被写体とする。画像中の人物は例えば顔検出機能を用いて検出できる。ここで、人物の顔は、例えば画像中の円形且つ肌色部分を検出する等の手法によって検出することが可能である。さらに、人物の顔が検出された場合には人物の目線を検出するようにしても良い。目線は、例えば、顔中の目の部分（白色部分）を検出し、検出した目の部分における白目部と瞳部との位置関係から検出できる。また、目線については人物の目線に限らず、動物の目線も検出するようにしても良い。

また、空間周波数解析部３２１によって得られた空間周波数特性から、高周波成分の多い領域（情報量の多い領域）を主要被写体として検出するようにしても良い。さらには、画像取得部３１で取得された付加情報から画像中の主要被写体を検出しても良い。例えば、写真撮影の際には主要被写体に合焦するようにフォーカス調整がなされることが多いため、合焦位置の被写体を主要被写体として検出しても良い。同様に、写真撮影の際には主要被写体の露出が適正となるように露出制御がなされることが多いため、画像中の適正露出の領域に含まれる被写体を主要被写体として検出しても良い。

パターン特定部３２３は、空間周波数解析部３２１で解析された画像の空間周波数特性、主要被写体検出部３２２で検出された主要被写体の形状と主要被写体の位置、及び主要被写体の目線から、画像取得部３１で取得された画像の構図を特定する。ここで、本実施形態においては、画像内の主要被写体の形状パターンと画像内の主要被写体の位置等から予測される主要被写体の動きパターンとを画像の構図として検出する。

形状パターン特定部３２３１は、空間周波数解析部３２１で得られた空間周波数特性（画像内の線の分布）と主要被写体検出部３２２で検出された主要被写体の形状とが、それぞれ、形状パターン特定用ＤＢ３２３２に記憶されている形状パターンの何れに類似しているかを特定する。例えば、形状パターン特定部３２３１は、主要被写体検出部３２２で検出された主要被写体の形状と形状パターン特定用ＤＢ３２３２とに記憶されている形状パターンとのマッチングを取り、マッチングの結果、最も一致度の高い形状パターンを画像取得部３１で取得された画像における主要被写体の形状パターンとする。

形状パターン特定用ＤＢ３２３２は、画像の鑑賞者に心理的な影響を与える代表的な形状パターンを複数記憶している。

動きパターン特定部３２３３は、空間周波数解析部３２１で得られた空間周波数特性と主要被写体検出部３２２で検出された主要被写体の位置、目線から画像中の主要被写体の動きが、動きパターン特定用ＤＢ３２３４に記憶されている動きパターンの何れに類似しているかを特定する。

例えば、動きのある被写体を撮影する際に、撮影者は、被写体を意図的に撮影画面の端に配置するように構図を決定して撮影を行うことがある。例えば、被写体の移動方向が撮影画面の右上方向である場合には、被写体を撮影画面の左下に配置して撮影を行うことで右上方向への動きがあるかのような印象を鑑賞者に与えることが可能である。このような考え方に基づいて、主要被写体の位置から主要被写体の動き方向を特定することが可能である。即ち、主要被写体が画面端に配置されている場合には、その位置から撮影画面の中心方向に向かう方向に主要被写体の動きがあるとする。また、目線が検出できている場合には、目線の方向を動きの方向とする。

動きパターン特定用ＤＢ３２３４は、画像の鑑賞者に心理的な影響を与える代表的な動きパターンを複数記憶している。

また、図２に示すように、印象判定部３３は、印象判定部３３１と印象判定用ＤＢ３３２とを有している。印象判定部３３１は、動きパターン特定部３２３３で特定された形状パターンと動きパターンとが、それぞれ、画像の鑑賞者に与える印象を判定する。印象判定用ＤＢ３３２は、代表的な形状パターン及び動きパターンとこれら形状パターン及び動きパターンが画像の鑑賞者に与える心理的効果とを対応付けて記憶している。

図３（ａ）は、構図から特定される被写体の動きパターンと、その動きパターンによって画像の鑑賞者に与えられる心理的効果との関係を示した図である。また、図３（ｂ）は、被写体の形状パターンと、その形状パターンによって画像の鑑賞者に与えられる心理的効果との関係を示した図である。なお、図３（ａ）、図３（ｂ）はそれぞれ“玄光社ＭＯＯＫフレーミングの大研究−すぐに役立つ画面構成のテクニック”、玄光社、１９９９年、ｐ.２５の記載を参考にしている。図３（ａ）に示す各種の動きパターンを動きパターン特定用ＤＢ３２３４に記憶させておくとともに、図３（ｂ）に示す各種の形状パターンを形状パターン特定用ＤＢ３２３２に記憶させておく。さらに、図３（ａ）に示す形状パターンと印象情報との対応情報、及び図３（ｂ）に示す動きパターンと印象情報との対応情報を印象判定用ＤＢ３３２に記憶させておく。

印象判定部３３１は、動きパターン特定部３２３３で特定された動きパターンと類似する動きパターンに対応した印象情報を図３（ａ）に示す対応情報を参照して抽出することにより、被写体の動きが画像の鑑賞者に与える印象を判定する。さらに、印象判定部３３１は、形状パターン特定部３２３１で特定された形状パターンと類似する形状パターンに対応した印象情報を図３（ｂ）に示す対応情報を参照して抽出することにより、被写体の形状が画像の鑑賞者に与える印象を判定する。

また、印象情報の別の判定手法として、空間周波数特性を利用する手法がある。例えば、撮影画面内の水平方向の空間周波数が少ない場合には、撮影画面内に水平方向の線が多いことを意味している。このような撮影画面内に水平方向の線が多い画像は、主に風景を撮影した場合に得られる画像であり、そのような画像が鑑賞者に与える心理的効果は、例えば自然な感じや、安定感、安心感である。また、撮影画面内の垂直方向の空間周波数が少ない場合には、垂直水平方向の線が多いことを意味している。このような撮影画面内に垂直方向の線が多い画像は、主に人物や人工物を撮影した場合に得られる画像であり、そのような画像が鑑賞者に与える心理的効果は、例えば人工的な感じや、緊張感である。さらに、斜め方向の空間周波数成分が多い場合には、斜め方向の線が多いことを意味している。このような画像が鑑賞者に与える心理的効果は、例えば、躍動感やリズム感である。

以上のようにして、画像内の被写体の形状や位置等から画像の構図を特定し、特定した構図が与える心理的効果を判定することが可能である。

また、図２に示すように、印象呈示部３４は、メディア選択部３４１と、ＤＢ３４２と、メディア再生部３４３とを有している。

メディア選択部３４１は、画像の鑑賞者による操作部材５０の操作を受けて、画像取得部３１で取得された画像とともに鑑賞者に呈示される印象情報に関連した情報を再生するためのメディアをＤＢ３４２から選択する。この印象情報に関連したメディアとしては、映像、音声（音楽を含む）、文字（文章）等が含まれる。例えば、画像の鑑賞者によって印象情報に関連した映像を再生するように指示がなされた場合に、メディア選択部３４１は、印象判定部３３１で判定された印象情報に関連した映像データをＤＢ３４２から選択する。ＤＢ３４２は、図３（ａ）及び図３（ｂ）に示す印象情報に関連付けられたメディアを記憶している。メディア再生部３４３は、画像の鑑賞者による操作部材５０の操作を受けて、画像取得部３１で取得された画像を再生表示するとともに、メディア選択部３４１で選択されたメディアを再生する。

以上説明したように、本実施形態によれば、画像の構図が鑑賞者に与える心理的効果を比較的簡便な手法で判定することが可能である。また、画像の鑑賞時に、心理的効果にマッチしたメディアをも画像の鑑賞者に呈示することができ、鑑賞者にとって画像の鑑賞をより楽しいものとすることが可能である。

また、どのようなメディアが再生されるかは実際に再生されるまで分からないので、鑑賞者はどのようなメディアが再生されるかが楽しみになる。

ここで、上述の例では、画像の撮影後に構図の特定、印象の判定、メディアの再生を行う例について説明している。例えば、画像処理装置３０をデジタルカメラに持たせた場合には、フレーミング用の画像表示（スルー画表示や電子ビューファインダ表示等と呼ばれる）の際に構図の特定、印象の判定、メディアの再生を行うようにしても良い。このようにすれば、画像の撮影者は自身が撮影しようとする画像が鑑賞者に与える印象を、実際に撮影を行う前に知ることができる。これにより、撮影者のフレーミングの腕の向上が期待される。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の一実施形態に係る画像処理装置を含む画像処理システムの構成を示す図である。構図特定部と、印象判定部と、印象呈示部の詳細な構成を示した図である。図３（ａ）は構図から特定される被写体の動きパターンと動きパターンによって画像の鑑賞者に与えられる心理的効果との関係を示した図であり、図３（ｂ）は被写体の形状パターンと形状パターンによって画像の鑑賞者に与えられる心理的効果との関係を示した図である。

符号の説明

１０…撮影装置、２０…画像蓄積装置、３０…画像処理装置、３１…画像取得部、３２…構図特定部、３３…印象判定部、３４…印象呈示部、４０…出力装置、５０…操作部材、３２１…空間周波数解析部、３２２…主要被写体検出部、３２３…パターン特定部、３３１…印象判定部、３３２…印象判定用データベース（ＤＢ）、３４１…メディア選択部、３４２…データベース（ＤＢ）、３４３…メディア再生部、３２３１…形状パターン特定部、３２３２…形状パターン特定用データベース（ＤＢ）、３２３３…動きパターン特定部、３２３４…動きパターン特定用データベース（ＤＢ）

Claims

画像と該画像に付加された付加情報との何れか一方から前記画像の構図を特定する構図特定手段と、
前記特定された画像の構図から、前記画像の鑑賞者に与えうる印象を判定する印象判定手段と、
前記印象判定手段で判定された印象に関連した情報を前記画像とともに呈示する印象呈示手段と、
を具備することを特徴とする画像処理装置。
前記構図特定手段は、
前記画像と前記画像に付加された付加情報との少なくとも何れか一方から、前記画像における被写体を検出する被写体検出手段と、
前記検出された被写体の形状と類似する形状パターンと前記検出された被写体の位置から予測される前記被写体の動きパターンとの少なくとも何れか一方を前記画像の構図として特定するパターン特定手段と、
を有し、
前記印象判定手段は、前記形状パターンと前記動きパターンのそれぞれに対応付けられた印象情報から前記印象を判定することを特徴とする請求項１に記載の画像処理装置。
前記印象呈示手段は、前記印象に関連した情報として、前記印象に関連した映像、音声、文字の少なくとも何れかを前記画像とともに呈示することを特徴とする請求項１又は２に記載の画像処理装置。