JP2010282377A

JP2010282377A - 画像形成装置、プログラム、及び方法

Info

Publication number: JP2010282377A
Application number: JP2009134467A
Authority: JP
Inventors: Hirotami Kin; 浩民金
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2009-06-03
Filing date: 2009-06-03
Publication date: 2010-12-16

Abstract

【課題】適切に被写体に奥行きを付けた画像を形成する画像形成装置、プログラム、及び方法を提供する。
【解決手段】画像と、該画像のそれぞれの領域の被写体距離情報を取得する画像取得部と、前記画像内にある複数の注目被写体をそれぞれ特定する注目被写体特定部と、前記注目被写体の画像及び前記被写体距離情報の少なくとも一方に基づいて、前記画像を立体的に表現する場合の前記注目被写体の高さを前記注目被写体毎に決定する高さ決定部と、前記被写体距離情報に基づいて決まる前記注目被写体の形状を、前記高さ決定部が決定した前記注目被写体毎の高さに収まるように縮小する高さ縮小部と、前記高さ縮小部が縮小した形状で前記注目被写体が表現された画像を形成する画像形成部とを備える。
【選択図】図１

Description

本発明は、画像形成装置、プログラム、及び方法に関する。

従来、被写体距離情報に応じて、立体的な印刷画像を形成する技術が知られている。例えば、下記特許文献１には、被写体距離が長くなるほど奥行き情報の縮小度合いを大きくして立体印刷する技術が記載されている。また、下記特許文献２には、印刷画像に写っているそれぞれの被写体を、被写体距離に応じた段階の高さでそれぞれ突出させる技術が記載されている。
特開平１１−３４４７７７号公報特開平７−２８７３２６号公報

印刷物上に形成できる高さに制限があることから、従来のように単に距離情報に基づいて高さを決定して立体的に印刷すると、例えば人のような注目被写体を適切に強調した高さに調整することができない。例えば、上記特許文献１の技術によれば、被写体距離が長くなるほど奥行きを縮小させる度合いを大きくするので、強調したい注目被写体の高さを適切な高さに調整できない。また、上記特許文献２の技術によれば、被写体距離情報に基づいて３段階で被写体を突出させるので、強調したい注目被写体の高さを適切に調整できない。

上記課題を解決するために、本発明の第１の態様においては、画像と、該画像のそれぞれの領域の被写体距離情報を取得する画像取得部と、前記画像内にある複数の注目被写体をそれぞれ特定する注目被写体特定部と、前記注目被写体の画像及び前記被写体距離情報の少なくとも一方に基づいて、前記画像を立体的に表現する場合の前記注目被写体の高さを前記注目被写体毎に決定する高さ決定部と、前記被写体距離情報に基づいて決まる前記注目被写体の形状を、前記高さ決定部が決定した前記注目被写体毎の高さに収まるように縮小する高さ縮小部と、前記高さ縮小部が縮小した形状で前記注目被写体が表現された画像を形成する画像形成部とを備える。

前記注目被写体毎に、周波数評価値、彩度評価値、顔評価値、笑顔評価値、被写体の種類、被写体位置評価値、被写体深度、サイズのうち、少なくとも１つ以上を高さパラメータとして算出する高さパラメータ算出部をさらに備えてよく、前記高さ決定部は、前記高さパラメータに基づいて、前記注目被写体毎の高さを決定してよい。

前記高さ決定部は、前記注目被写体毎の高さパラメータと、予め定められている参照高さ及び該参照高さに対応する参照高さパラメータとに基づいて、前記注目被写体毎に高さを決定してよい。

ユーザによって入力された前記注目被写体の高さを参照高さとして取得する高さ取得部と、予め定められている前記参照高さ及び該参照高さに対応する前記参照高さパラメータを高さテーブルに記録する記録部とを備えてよく、前記高さパラメータ算出部は、前記注目被写体の領域の画像に基づいて前記参照高さパラメータを算出し、前記記録部は、前記取得部が取得した前記参照高さと、算出した前記参照高さパラメータとを対応付けて前記高さテーブルに記録してよい。

前記高さテーブルは、注目被写体の種類毎に、予め定められた前記参照高さ及び該参照高さに対応する参照高さパラメータをそれぞれ記録しており、前記高さ決定部は、前記高さパラメータ算出部が算出した前記注目被写体の高さパラメータと、該注目被写体の種類に対応する前記高さテーブルに格納されている前記参照高さ及び該参照高さに対応する前記参照パラメータとに基づいて、前記注目被写体の高さを決定してよい。

前記注目被写体特定部は、
前記画像取得部が取得した画像から、予め定められた注目被写体を検出して特定してよい。

上記課題を解決するために、本発明の第２の態様においては、プログラムであって、コンピュータを、画像と、該画像のそれぞれの領域の被写体距離情報を取得する画像取得部と、前記画像内にある複数の注目被写体をそれぞれ特定する注目被写体特定部と、前記注目被写体の画像及び前記被写体距離情報の少なくとも一方に基づいて、前記画像を立体的に表現する場合の前記注目被写体の高さを前記注目被写体毎に決定する高さ決定部と、前記被写体距離情報に基づいて決まる前記注目被写体の形状を、前記高さ決定部が決定した前記注目被写体毎の高さに収まるように縮小する高さ縮小部と、前記高さ縮小部が縮小した形状で前記注目被写体が表現された画像を形成する画像形成部として機能させる。

上記課題を解決するために、本発明の第３の態様においては、コンピュータが画像を形成する方法であって、画像と、該画像のそれぞれの領域の被写体距離情報を取得する画像取得工程と、前記画像内にある複数の注目被写体をそれぞれ特定する注目被写体特定工程と、前記注目被写体の画像及び前記被写体距離情報の少なくとも一方に基づいて、前記画像を立体的に表現する場合の前記注目被写体の高さを前記注目被写体毎に決定する高さ決定工程と、前記被写体距離情報に基づいて決まる前記注目被写体の形状を、前記高さ決定工程が決定した前記注目被写体毎の高さに収まるように縮小する高さ縮小工程と、前記高さ縮小工程が縮小した形状で前記注目被写体が表現された画像を形成する画像形成工程とを備える。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施の形態の画像形成装置１００を示す。画像形成装置１００は、画像取得部１０１、注目被写体特定部１０２、高さパラメータ算出部１０３、高さ決定部１０４、高さテーブル１０５、高さ縮小部１０６、画像形成部１０７、表示部１０８、操作部１０９、高さ取得部１１０、記録部１１１を備える。

画像取得部１０１は、画像データと、該画像データのそれぞれの領域の被写体距離情報を取得する。また、画像取得部１０１は、画像データと、該画像データに対応づけて記録されたそれぞれの領域の被写体距離情報を取得する。画像取得部１０１は、例えば、デジタルカメラなどの撮像装置が、撮像する被写体のそれぞれの領域を測距して、撮像した画像データとそれぞれの領域の被写体距離情報とを取得するようにしてもよい。この場合は、画像取得部１０１は、ＵＳＢケーブルなどの有線通信により、撮像装置等の電子機器から画像データを取得してもよく、また、無線通信、赤外線通信などの無線通信により画像データを取得してもよい。画像データのそれぞれの領域とは、画素であってもよく、ブロックであってもよい。ブロックはｍ画素×ｎ画素であってもよい。画像取得部１０１は、画像データの画素毎の被写体距離情報を取得してもよく、画像データのそれぞれのブロック毎の被写体距離情報を取得してよい。

また、画像取得部１０１は、画像データと、該画像データのそれぞれの領域の被写体距離情報を、インターネットを介して取得してもよい。また、画像取得部１０１は、例えば、撮像部と測距部とを備え、画像データと、該画像データのそれぞれの領域の被写体距離情報とを取得してもよい。画像取得部１０１は、取得した画像データを注目被写体特定部１０２、高さパラメータ算出部１０３、画像形成部１０７、及び表示部１０８に出力する。また、画像取得部１０１は、取得したそれぞれの領域の被写体距離情報を高さパラメータ算出部１０３と高さ縮小部１０６とに出力する。

注目被写体特定部１０２は、画像取得部１０１が取得した画像データにある複数の注目被写体をそれぞれ特定する。つまり、注目被写体特定部１０２は、画像取得部１０１が取得した画像データにある注目被写体領域を特定する。この特定方法としては、表示部１０８は、画像取得部１０１が取得した画像を表示して、ユーザはこの表示された画像を見ることにより、被写体を指定する。そして、注目被写体特定部１０２はユーザによって指定された被写体を注目被写体として特定してもよい。また、注目被写体特定部１０２は、画像取得部１０１が取得した画像データから、予め定められた注目被写体を検出して注目被写体を特定してもよい。この被写体検出は、画像取得部１０１が取得した画像データと、予め定められた注目被写体の特徴データとを比較して、該特徴データと一致する領域を検出することにより、注目被写体を特定してもよく、また、他の方法により注目被写体を特定してもよい。注目被写体特定部１０２は、特定した注目被写体を高さパラメータ算出部１０３と、高さ縮小部１０６に出力する。

高さパラメータ算出部１０３は、注目被写体特定部１０２が特定した注目被写体の画像データ及び画像取得部１０１が取得したそれぞれの領域の被写体距離情報の少なくとも一方に基づいて、画像取得部１０１が取得した画像データを立体的に表現する場合の注目被写体の高さを決定する高さパラメータを算出する。この注目被写体毎の高さパラメータに基づいて、注目被写体を立体的に表現する場合の注目被写体の高さを決定する。また、高さパラメータ算出部１０３は、注目被写体毎に高さパラメータを算出する。注目被写体特定部１０２が複数の注目被写体を特定した場合は、高さパラメータ算出部１０３は、特定されたそれぞれの注目被写体の高さパラメータをそれぞれ算出する。

また、高さパラメータ算出部１０３は、周波数評価値、彩度評価値、顔評価値、笑顔評価値、被写体位置評価値、被写体の種類、被写体深度、サイズのうち少なくとも１つ以上の高さパラメータを算出する。周波数評価値とは、高周波成分の度合いを示しており、注目被写体領域の画像に高周波成分が多くなるほど周波数評価値は高くなる。つまり、高さパラメータ算出部１０３は、注目被写体領域の画像データを周波数解析して、それぞれの注目被写体の周波数評価値を算出する。また、彩度評価値は、高彩度の度合いを示しており、注目被写体領域の画像が高彩であればあるほど彩度評価値は高くなる。つまり、高さパラメータ算出部１０３は、注目被写体領域の画像データの彩度を解析して、それぞれの注目被写体の彩度評価値を算出する。

また、顔評価値は人の顔である確率の度合いを示しており、顔評価値が高いほど、注目被写体領域内に人の顔がある確率が高い。この顔評価値は、顔の特徴データと注目被写体領域の画像データとマッチングして、求められた一致度合いが高いほど顔評価値は高くなる。つまり、高さパラメータ算出部１０３は、注目被写体領域の画像データ内に人の顔があるかを検出して、それぞれの注目被写体の顔評価値を算出する。また、笑顔評価値は、注目被写体である人が、どのくらいの笑顔で顔が笑っているかを示す。例えば、顔が少し微笑んでいる注目被写体の笑顔評価値は小さくなり、大笑いしている注目被写体の笑顔評価値は高くなる。つまり、高さパラメータ算出部１０３は、注目被写体領域の画像データ内に人の笑顔があるかを検出して、それぞれの注目被写体の笑顔評価値を算出する。高さパラメータ算出部１０３は、例えば、特開２００９−０３３４９１号公報、特開２００６−２３７８０３号公報、特開２００５−０５６１７５号公報、特開２００４−０４６５９１号公報の何れかに記載されている方法によって笑顔評価値を算出してよく、他の方法によって算出してもよい。

また、被写体位置評価値は、注目被写体が写っている画像内の位置評価値であり、画像の中央にいる注目被写体ほど被写体位置評価値は高くなる。つまり、高さパラメータ算出部１０３は、それぞれの注目被写体の被写体位置評価値を算出する。また、被写体の種類は、注目被写体の種類を示す。つまり、注目被写体が、人であるのか、犬であるのか、猫であるのか、木であるのか、ビルであるのか等の注目被写体の種類を示す。つまり、高さパラメータ算出部１０３は、注目被写体領域の画像データに対して被写体検出処理して、それぞれの注目被写体の種類を判断する。また、注目被写体の種類に応じて評価値を決めるようにしてもよい。例えば、人の場合は最も評価値を算出してもよい。ここで、この被写体の種類に応じた評価値を被写体の種類評価値と呼ぶ。なお、高さパラメータ算出部１０３は、注目被写体の種類が人であると判断した場合は、「○○さん」、「××さん」、「△△さん」というように、具体的に誰であるのかということを判断してもよい。この場合、人物によって被写体の種類評価値を変えるようにしてもよい。

また、被写体深度とは、注目被写体の深度を示す。この注目被写体の深度とは、注目被写体領域の中のそれぞれの領域の被写体距離情報のうち最も遠い距離から、画像領域の主要背景の距離までを注目被写体の深度のことをいう。なお、注目被写体領域の中のそれぞれの領域の被写体距離のうち、最も近い距離、又は、それぞれの領域の被写体距離の平均距離から、画像領域の主要背景の距離までを注目被写体の深度としてもよい。高さパラメータ算出部１０３は、画像取得部１０１が取得したそれぞれの領域の被写体距離情報に基づいて、それぞれの注目被写体の深度を算出する。また、サイズとは、注目被写体の画像上での大きさを示すものであり、画像上での大きさが大きい注目被写体ほどサイズが大きくなる。つまり、高さパラメータ算出部１０３は、それぞれの注目被写体のサイズを算出する。なお、高さパラメータ算出部１０３は、周波数評価値、被写体深度、サイズ等のそれぞれの高さパラメータを３段階以上の値であらわすようにしてもよく、また、２段階であらすようにしてもよい。２段階で表す場合には、例えば、周波数評価値の場合は、高周波成分が所定の割合以上あるかないかの２段階で表すことになり、また、顔評価値も顔があるかないかの２段階で表すことになる。ここでは、高さパラメータのうち、周波数評価値、色彩評価値、顔評価値、笑顔評価値、被写体の種類を、被写体の注目度を示す高さパラメータとしてもよい。

高さパラメータ算出部１０３は、注目被写体毎の高さパラメータを算出すると、該注目被写体毎の高さパラメータを高さ決定部１０４又は記録部１１１に出力する。高さ決定部１０４は、注目被写体の画像及び注目被写体の被写体距離情報の少なくとも一方に基づいて、該画像を立体的に表現する場合の注目被写体の高さを注目被写体毎に決定する。具体的には、高さパラメータ算出部１０３が算出した注目被写体毎の高さパラメータに基づいて、注目被写体毎の高さを決定する。高さ決定部１０４は、高さパラメータ算出部１０３が算出した注目被写体毎の高さパラメータと、予め定められている参照高さ及び該参照高さに対応する参照高さパラメータとに基づいて、注目被写体毎の高さを決定する。また、高さ決定部１０４は、注目被写体毎の高さパラメータと、予め定められている複数の参照高さ及びそれぞれの参照高さに対応する参照高さパラメータとに基づいて、注目被写体毎の高さを決定する。高さ決定部１０４は、線形回帰の手法を用いて、注目被写体毎の高さパラメータと、予め定められている複数の参照高さ及びそれぞれの参照高さに対応する参照高さパラメータとに基づいて、注目被写体毎の高さを決定する。

高さテーブル１０５は、複数の参照高さ及びそれぞれの該参照高さに対応する高さパラメータをそれぞれ記録する。そして、高さ決定部１０４は、線形回帰の手法を用いて、高さパラメータ算出部１０３が算出した注目被写体毎の高さパラメータと、高さテーブル１０５が記録している複数の参照高さパラメータ及びそれぞれの該参照高さに対応する高さパラメータとから、注目被写体毎の高さを決定する。例えば、参照高さパラメータである、周波数評価値及び彩度評価値等がこの値の場合には参照高さはこの値、また、周波数評価値及び彩度評価値等がこの値の場合には参照高さはこの値というように、高さテーブル１０５に記録されている情報に基づいて、高さパラメータ算出部１０３が算出した高さパラメータの場合は、どのような高さになるのかを線形回帰の手法を用いて算出する。

例えば、「高さ＝ω_１×注目度＋ω_２×被写体位置評価値＋ω_３×被写体深度＋ω_４×サイズ」の式によって注目被写体の高さを決定してもよい。この注目度は、高さパラメータ算出部１０３が算出した周波数評価値、色彩評価値、顔評価値、笑顔評価値、被写体の種類評価値を合算したものをいう。また、被写体位置評価値、被写体深度、サイズは、高さパラメータ算出部１０３が算出した値である。ここで、ω_１、ω_２、ω_３、及びω_４は、線形回帰の手法を用いて、参照高さ及び該参照高さに対応する参照高さパラメータから自動的に決定する。また、「高さ＝ａ×周波数評価値＋ｂ×彩度評価値＋ｃ×顔評価値＋ｄ×笑顔評価値＋ｅ×被写体の種類評価値＋ｆ×被写体位置評価値＋ｇ×被写体深度＋×ｈ×サイズ」の式によって注目被写体の高さを決定してもよい。ここで、ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、及びｈは、線形回帰の手法を用いて、参照高さ及び該参照高さに対応する参照高さパラメータから自動的に決定する。高さ決定部１０４は、決定した注目被写体毎の高さを高さ縮小部１０６に出力する。

高さ縮小部１０６は、画像取得部１０１が取得したそれぞれの領域の被写体距離情報に基づいて決まる注目被写体特定部１０２が特定したそれぞれの注目被写体の形状を、高さ決定部１０４が決定したそれぞれの注目被写体毎の高さに収まるように縮小する。つまり、高さ決定部１０４が決定した注目被写体の高さとなるように、注目被写体の形状を縮小する。高さ縮小部１０６は、縮小した注目被写体毎の形状及び注目被写体の領域を画像形成部１０７に出力する。

画像形成部１０７は、画像取得部１０１が取得した画像データから、高さ縮小部１０６が縮小した形状で注目被写体が表現された画像を形成する。この画像の形成の方法としては、例えば、画像取得部１０１が取得した画像データから、高さ縮小部１０６が縮小した形状で、注目被写体が盛り上がるように印刷画像を形成する。つまり、画像形成部１０７は、高さ縮小部１０６が縮小した形状で、注目被写体が盛り上がるように、画像取得部１０１が取得した画像データを印刷紙に印刷する。

ここで、画像形成部１０７は、印刷画像の形成として、例えば、縮小された注目被写体の形状で該注目被写体の領域が盛り上がるように、印刷紙の表面を削ることにより凹凸を形成した後、該印刷紙の上に画像取得部１０１が取得した画像データを印刷するようにしてもよい。また、画像形成部１０７は、印刷画像の形成として、印刷紙の表面に画像を印刷するときに、注目被写体領域を、縮小された注目被写体の形状となるようにインク量を調整してインクを盛り上げるように印刷してもよい。また、画像を印刷した印刷画像のそれぞれの注目被写体領域が、縮小された注目被写体の形状で盛り上がるように、印刷画像の後ろから圧力を変えて突出させて凹凸を形成させるようにしてもよい。また、印刷画像の下に発泡インクを接着させて、印刷画像のそれぞれの注目被写体領域が、縮小された注目被写体の形状で盛り上がるように、発泡インクを発泡させて凹凸を形成してもよい。

また、この画像形成部１０７は、インクジェット方式、ドットインパクト、乾式電子写真方式などにより印刷してもよい。また、画像形成部１０７は、レーザープリンタ、インクジェットプリンタなどの印刷機器を有してよい。また、ＣＰＵ等の情報処理装置がプログラムによって、印刷機器を画像形成部１０７として機能させてもよい。

画像形成部１０７は、画像の形成方法として、画像取得部１０１が取得した画像データから、高さ縮小部１０６が縮小した形状で、注目被写体が盛り上がって見えるように、右目用の画像データ及び左目用の画像データ、つまり、視差画像データを生成するようにしてもよい。この視差画像を表示部１０８に表示させることにより、高さ縮小部１０６が縮小した形状で注目被写体が表現される。このとき、表示部１０８に視差画像データを表示させる場合は、右目用の画像データと左目用の画像データとが、それぞれ右目と左目に写るように表示する。

表示部１０８は、液晶などのディスプレイと、表示制御部とを有する。表示部１０８は、画像取得部１０１が取得した画像データを表示させる。また、画像形成部１０７が形成した視差画像を表示させる。なお、表示制御部は、ＣＰＵ等の情報処理装置によって実現してもよい。

操作部１０９は、注目被写体特定部１０２が特定した注目被写体の領域の高さをユーザが入力するための操作キーを有する。操作部１０９は、ユーザによって入力された高さを高さ取得部１１０に出力する。また、操作部１０９は、注目被写体特定部１０２が特定する注目被写体をユーザが指定するための操作キーを有する。これにより、ユーザは操作キーを操作することにより、被写体を指定することができ、注目被写体特定部１０２は指定された注目被写体を特定する。

高さ取得部１１０は、操作部１０９が入力した注目被写体の高さを取得する。高さ取得部１１０は、取得した高さを記録部１１１に出力する。記録部１１１は、操作部１０９が操作した高さと、高さパラメータ算出部１０３が算出した注目被写体特定部１０２が特定した注目被写体の高さパラメータとを取得する。記録部１１１は、該取得した高さと高さパラメータとを対応付けて高さテーブルに記録する。

次に、画像形成装置１００の動作について説明する。まず、取得した画像データから、自動的に注目被写体の高さを特定して画像を形成する動作について説明する。画像取得部１０１は、画像データと、該画像データのそれぞれの領域の被写体距離情報を取得する。図２は、取得した画像データの画像の一例を示す。そして、注目被写体特定部１０２は、画像取得部１０１が取得した画像データにある複数の注目被写体を特定する。ここで、注目被写体特定部１０２は、予め定められた注目被写体を検出して特定するようにしてもよく、また、ユーザの操作部１０９の操作キーの操作によって指定された被写体を注目被写体として特定してよい。ここでは、図２の画像に示す人と木を特定したものとする。また、ここでは、人を注目被写体１とよび、木を注目被写体２とする。

そして、高さパラメータ算出部１０３は、注目被写体特定部１０２が特定した注目被写体の画像データ及び画像取得部１０１が取得したそれぞれの領域の被写体距離情報の少なくとも一方に基づいて、注目被写体の周波数評価値、彩度評価値、顔評価値、笑顔評価値、被写体位置評価値、被写体の種類、被写体深度、サイズのうち少なくとも１つ以上の高さパラメータを算出する。ここでは、高さパラメータ算出部１０３は、図２の人領域の画像データ及びそれぞれの領域の被写体距離情報の少なくとも一方に基づいて、注目被写体である人の高さパラメータを算出する。また、高さパラメータ算出部１０３は、図２の木領域の画像データ及びそれぞれの領域の被写体距離情報の少なくとも一方に基づいて、注目被写体である木の高さパラメータを算出する。

そして高さ決定部１０４は、それぞれの注目被写体の高さパラメータと、予め定められている参照高さ及び該参照高さに対応する参照高さパラメータとに基づいて、それぞれの注目被写体の高さを決定する。つまり、それぞれの注目被写体の高さパラメータと、高さテーブルに記録されている複数の参照高さ及びそれぞれの該参照高さに対応するそれぞれの高さパラメータとに基づいて、線形回帰の手法を用いて、それぞれの注目被写体の高さを決定する。そして、高さ縮小部１０６は、それぞれの領域の被写体距離情報に基づいて決まる注目被写体特定部１０２が特定したそれぞれの注目被写体の形状を高さ決定部１０４が決定した注目被写体毎の高さに収まるように縮小する。例えば、人の形状を、高さ決定部１０４が決定した高さに収まるように人の形状を縮小する。また、木の形状を、高さ決定部１０４が決定した高さとなるように木の形状を縮小する。そして、画像形成部１０７は、画像取得部１０１が取得した画像データから、縮小した形状で注目被写体が表現された画像を形成する。

図３は、形状が縮小されて形成される注目被写体の一例を示す。図３の右側にある形状は、被写体距離情報に基づいて決まる注目被写体１の形状、つまり、人の形状を表している。そして、図３の左側は、形成された画像を示しており、点線で示されている枠は、高さ決定部１０４が決定した注目被写体毎の高さを示す。決定された注目被写体１の高さに収まるように、人の形状が縮小されて、人が立体的に表現されている。また、注目被写体２、つまり木についても同様であり、被写体距離情報に基づいて木の形状が決まり、決定された木の高さに収まるように、該決まった木の形状が縮小されて、木が立体的に表現されている。このように、注目被写体の高さを、注目被写体の高さパラメータと、予め定められた参照高さ及び参照高さパラメータとに基づいて決定するので、注目被写体毎に適切な高さを付した立体的な画像を形成することができる。印刷できる高さの制限の範囲内で、注目被写体毎に適切に強調した高さに調整することができる。なお、画像形成部１０７は、視差画像を形成する場合は、図３に示すように立体的に見えるように、右目用の画像データと左目用の画像データとを形成する。

次に、ユーザが指定した高さを高さテーブル１０５に記録する動作について説明する。画像取得部１０１は、画像データと、該画像データのそれぞれの領域の被写体距離情報を取得する。画像取得部１０１は、撮像装置等の電子機器から画像データと、該画像データのそれぞれの領域の被写体距離情報を取得してもよく、画像形成装置１００が有する図示しない記録媒体に記録されている画像及び該画像のそれぞれの領域の被写体距離情報を取得してもよい。この記録媒体は、複数の画像を記録してよく、それぞれの画像に対応するそれぞれの領域の被写体距離情報を記録してもよい。ここでは、この高さテーブル１０５に高さ及び高さパラメータを記録するために使用される画像をサンプル画像と呼ぶ。

図４は、サンプル画像群１２０及び該サンプル画像群１２０に基づいて記録される高さテーブル１０５の内容の一例を示す。ここで、画像取得部１０１は、サンプル画像１２１を取得したものとする。そして、注目被写体特定部１０２は、画像取得部１０１が取得した画像データにある複数の注目被写体を特定する。ここで、注目被写体特定部１０２は、予め定められた注目被写体を検出して特定するようにしてもよく、また、ユーザの操作部１０９の操作キーの操作によって指定された被写体を注目被写体として特定してよい。ここでは、サンプル画像１２１の人と木を特定したものとする。また、ここでは、人を注目被写体１とよび、木を注目被写体２とする。

そして、高さパラメータ算出部１０３は、注目被写体特定部１０２が特定した注目被写体の画像データ及び画像取得部１０１が取得したそれぞれの領域の被写体距離情報の少なくとも一方に基づいて、周波数評価値、彩度評価値、顔評価値、笑顔評価値、被写体位置評価値、被写体の種類、被写体深度、サイズのうち少なくとも１つ以上の高さパラメータを算出する。ここでは、高さパラメータ算出部１０３は、サンプル画像１２１の人領域の画像データ及びそれぞれの領域の被写体距離情報の少なくとも一方に基づいて、注目被写体である人の高さパラメータを算出する。また、高さパラメータ算出部１０３は、サンプル画像１２１の木領域の画像データ及びそれぞれの領域の被写体距離情報の少なくとも一方に基づいて、注目被写体である木の高さパラメータを算出する。高さパラメータ算出部１０３は、算出した注目被写体毎の高さパラメータを記録部１１１に出力する。

また、ユーザは操作部１０９の操作キーを操作することにより、注目被写体特定部１０２が特定したそれぞれの注目被写体の高さを入力する。つまり、ユーザは、注目被写体特定部１０２が特定した注目被写体を、ユーザが表現したい高さを入力する。そして、高さ取得部１１０は、操作部１０９が入力した注目被写体毎の高さを取得して、該取得した高さを記録部１１１に出力する。記録部１１１は、高さパラメータ算出部１０３が算出した注目被写体毎の高さパラメータと、高さ取得部が取得した注目被写体毎の高さと対応付けて高さテーブル１０５に記録する。このとき、記録部１１１は、注目被写体毎に、高さと高さパラメータとを対応づけて記録する。つまり、入力した注目被写体の高さと、該高さが入力された該注目被写体の高さパラメータとを対応づけて記録する。この高さテーブル１０５に記録された高さが参照高さとなり、高さテーブル１０５に記録された高さパラメータが参照高さパラメータとなる。このような動作を、サンプル画像群１２０のサンプル画像に対して行うことにより、様々な状況下で、複数の注目被写体の高さ及びそれぞれの注目被写体の該高さに対応する高さパラメータを高さテーブル１０５にそれぞれ記録することができる。

図４の高さテーブル１０５を見るとわかるように、領域の高さに対応して、注目度、被写体位置評価値、被写体深度、サイズ等が記録されている。ここで、注目度とは、周波数評価値、色彩評価値、顔評価値、笑顔評価値、及び被写体の種類を合算した値である。なお、注目度は、これらの値を合算した値でなくてもよい。また、注目度、被写体位置評価値、被写体深度、サイズ以外の高さパラメータを記録してもよい。このように、ユーザが指定した注目被写体領域の高さと、該注目被写体領域の高さパラメータとを対応づけて高さテーブル１０５に記録するようにしたので、ユーザが好ましいと思う高さの傾向がわかり、この高さテーブル１０５を用いることにより、特定した注目被写体の高さを、ユーザが好ましいと思う高さとなるように自動的に決定することができる。なお、画像取得部１０１、注目被写体特定部１０２、高さパラメータ算出部１０３、高さ決定部１０４、高さ縮小部１０６、高さ取得部１１０、及び記録部１１１は、電気回路又は電子回路によって実現するようにしてもよく、プログラムを読み込んだＣＰＵ等の情報処理装置によって実現してもよい。また、画像形成装置１００を、特定のプログラムを読み込んだＣＰＵ等の情報処理装置によって実現してもよい。この場合、画像形成装置１００は、特定のプログラムを記録する記録媒体を備える。このように、本願によれば、強調したい注目被写体毎に、適切な高さに調整することができる。

上記実施の形態は、以下のように変形してもよい。高さテーブル１０５は、注目被写体の種類毎に、予め定められた参照高さ及び該参照高さに対応する参照高さパラメータをそれぞれ記録してよい。この場合は、注目被写体特定部１０２が特定した被写体の種類を検出する。この被写体の種類の検出は、注目被写体特定部１０２が検出してもよく、高さパラメータ算出部１０３が検出してもよい。そして、高さパラメータ算出部１０３は、注目被写体毎に高さパラメータを算出する。そして、高さ決定部１０４は、注目被写体の高さパラメータと、該注目被写体の種類に対応する参照高さ及び該参照高さに対応する高さパラメータとに基づいて、該注目被写体の高さを決定する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

本実施の形態の画像形成装置１００を示す。取得した画像データの画像の一例を示す。形状が縮小されて形成される注目被写体の一例を示す。サンプル画像群１２０及び該サンプル画像群１２０に基づいて記録される高さテーブル１０５の内容の一例を示す。

１００画像形成装置、１０１画像取得部、１０２注目被写体特定部、１０３高さパラメータ算出部、１０４高さ決定部、１０５高さテーブル、１０６高さ縮小部、１０７画像形成部、１０８表示部、１０９操作部、１１０高さ取得部、１１１記録部、１２０サンプル画像群、１２１サンプル画像

Claims

画像と、該画像のそれぞれの領域の被写体距離情報を取得する画像取得部と、
前記画像内にある複数の注目被写体をそれぞれ特定する注目被写体特定部と、
前記注目被写体の画像及び前記被写体距離情報の少なくとも一方に基づいて、前記画像を立体的に表現する場合の前記注目被写体の高さを前記注目被写体毎に決定する高さ決定部と、
前記被写体距離情報に基づいて決まる前記注目被写体の形状を、前記高さ決定部が決定した前記注目被写体毎の高さに収まるように縮小する高さ縮小部と、
前記高さ縮小部が縮小した形状で前記注目被写体が表現された画像を形成する画像形成部と
を備える画像形成装置。
前記注目被写体毎に、周波数評価値、彩度評価値、顔評価値、笑顔評価値、被写体の種類、被写体位置評価値、被写体深度、サイズのうち、少なくとも１つ以上を高さパラメータとして算出する高さパラメータ算出部
をさらに備え、
前記高さ決定部は、前記高さパラメータに基づいて、前記注目被写体毎の高さを決定する
請求項１記載の画像形成装置。
前記高さ決定部は、
前記注目被写体毎の高さパラメータと、予め定められている参照高さ及び該参照高さに対応する参照高さパラメータとに基づいて、前記注目被写体毎に高さを決定する
請求項２に記載の画像形成装置。
ユーザによって入力された前記注目被写体の高さを参照高さとして取得する高さ取得部と、
予め定められている前記参照高さ及び該参照高さに対応する前記参照高さパラメータを高さテーブルに記録する記録部と
を備え、
前記高さパラメータ算出部は、
前記注目被写体の領域の画像に基づいて前記参照高さパラメータを算出し、
前記記録部は、
前記取得部が取得した前記参照高さと、算出した前記参照高さパラメータとを対応付けて前記高さテーブルに記録する
請求項３に記載の画像形成装置。
前記高さテーブルは、
注目被写体の種類毎に、予め定められた前記参照高さ及び該参照高さに対応する参照高さパラメータをそれぞれ記録しており、
前記高さ決定部は、
前記高さパラメータ算出部が算出した前記注目被写体の高さパラメータと、該注目被写体の種類に対応する前記高さテーブルに格納されている前記参照高さ及び該参照高さに対応する前記参照高さパラメータとに基づいて、前記注目被写体の高さを決定する
請求項４に記載の画像形成装置。
前記注目被写体特定部は、
前記画像取得部が取得した画像から、予め定められた注目被写体を検出して特定する
請求項１から４の何れかに記載の画像形成装置。
コンピュータを、
画像と、該画像のそれぞれの領域の被写体距離情報を取得する画像取得部と、
前記画像内にある複数の注目被写体をそれぞれ特定する注目被写体特定部と、
前記注目被写体の画像及び前記被写体距離情報の少なくとも一方に基づいて、前記画像を立体的に表現する場合の前記注目被写体の高さを前記注目被写体毎に決定する高さ決定部と、
前記被写体距離情報に基づいて決まる前記注目被写体の形状を、前記高さ決定部が決定した前記注目被写体毎の高さに収まるように縮小する高さ縮小部と、
前記高さ縮小部が縮小した形状で前記注目被写体が表現された画像を形成する画像形成部
として機能させるプログラム。
コンピュータが画像を形成する方法であって、
画像と、該画像のそれぞれの領域の被写体距離情報を取得する画像取得工程と、
前記画像内にある複数の注目被写体をそれぞれ特定する注目被写体特定工程と、
前記注目被写体の画像及び前記被写体距離情報の少なくとも一方に基づいて、前記画像を立体的に表現する場合の前記注目被写体の高さを前記注目被写体毎に決定する高さ決定工程と、
前記被写体距離情報に基づいて決まる前記注目被写体の形状を、前記高さ決定工程が決定した前記注目被写体毎の高さに収まるように縮小する高さ縮小工程と、
前記高さ縮小工程が縮小した形状で前記注目被写体が表現された画像を形成する画像形成工程と
を備える方法。