JP2006287917A - 画像出力装置、画像出力方法、および画像出力プログラム - Google Patents

画像出力装置、画像出力方法、および画像出力プログラム Download PDF

Info

Publication number
JP2006287917A
JP2006287917A JP2006037271A JP2006037271A JP2006287917A JP 2006287917 A JP2006287917 A JP 2006287917A JP 2006037271 A JP2006037271 A JP 2006037271A JP 2006037271 A JP2006037271 A JP 2006037271A JP 2006287917 A JP2006287917 A JP 2006287917A
Authority
JP
Japan
Prior art keywords
image
unit
orientation
arrangement position
specified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006037271A
Other languages
English (en)
Inventor
Hiroyuki Funakura
浩之 船倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2006037271A priority Critical patent/JP2006287917A/ja
Priority to EP06004633A priority patent/EP1701308B1/en
Priority to US11/369,864 priority patent/US7773782B2/en
Publication of JP2006287917A publication Critical patent/JP2006287917A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/242Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Character Input (AREA)

Abstract

【課題】撮像した多数の画像を、違和感のない構図に自動的にレイアウトして、出力すること。
【解決手段】上記課題を解決するために、画像に含まれるオブジェクトの画像における向きを特定するオブジェクト向き特定部と、オブジェクト向き特定部が特定したオブジェクトの向きに基づいて、画像を出力領域内にレイアウトする画像レイアウト部と、画像レイアウト部によって出力領域内にレイアウトされた画像を出力する画像出力部とを備える画像出力装置を提供する。
【選択図】図2

Description

本発明は、画像出力装置、画像出力方法、および画像出力プログラムに関する。特に、本発明は、複数の画像を出力領域内に自動的にレイアウトする画像出力装置、画像出力方法、および画像出力プログラムに関する。
従来、旅行においてデジタルスチルカメラで撮像された多数の画像は、予め定められたテンプレート内にレイアウトされ、テレビモニターに表示されたり、紙面に印刷されて鑑賞されている。また、撮像した多数の画像を印刷する場合には、デザイナーなどによって雑誌、アルバムなどにレイアウトされ、鑑賞者に提供されている。
特開2004−221647号公報
しかしながら、撮像した多数の画像を予め定められたテンプレート内にレイアウトすると、画像の内容にかかわらず、画像がレイアウトされる。このように画像をレイアウトして画像を表示すると、画像配置の見栄えを考慮していないので、鑑賞者は画像配置の構図に違和感を抱くことがある。また、鑑賞者が画像配置の見栄えを考慮して出力領域に画像をレイアウトする場合において、多数の画像がある場合は、画像の選択、画像配置の構図の決定、画像のレイアウトに多大な労力と時間を必要とする問題がある。
そこで本発明は、上記課題を解決することができる画像出力装置、画像出力方法、および画像出力プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
上記課題を解決するために、本発明の第1の形態においては、画像に含まれるオブジェクトの画像における向きを特定するオブジェクト向き特定部と、オブジェクト向き特定部が特定したオブジェクトの向きに基づいて、画像を出力領域内にレイアウトする画像レイアウト部と、画像レイアウト部によって出力領域内にレイアウトされた前記画像を出力する画像出力部とを備える画像出力装置を提供する。画像レイアウト部は、オブジェクト向き特定部が特定したオブジェクトの向きが、出力領域の中心方向を向くように、画像を出力領域内にレイアウトしてもよい。
また、オブジェクトは、人物であり、オブジェクト向き特定部は、画像に含まれる人物の画像における向きを特定し、画像レイアウト部は、オブジェクト向き特定部が特定した人物の向きに基づいて、画像をレイアウトしてもよい。また、オブジェクト向き特定部は、画像に含まれる人物の顔の画像における向きを特定し、画像レイアウト部は、オブジェクト向き特定部が特定した人物の顔の向きに基づいて、画像をレイアウトしてもよい。更に、オブジェクト向き特定部は、画像に含まれる人物の顔の領域を抽出する顔領域抽出部と、顔領域抽出部が抽出した顔の領域に含まれる、人物の顔を構成する複数の部位を抽出する部位領域抽出部と、顔領域抽出部が抽出した顔の領域における、部位領域抽出部が抽出した複数の部位の位置に基づいて、画像に含まれる人物の顔の画像における向きを特定する顔向き特定部とを有してもよい。
また、オブジェクトは、人物であり、オブジェクト向き特定部は、画像に含まれる人物の画像における視線方向を特定し、画像レイアウト部は、オブジェクト向き特定部が特定した人物の視線方向に基づいて、画像をレイアウトしてもよい。そして、画像出力部は、画像レイアウト部にレイアウトされた画像を表示する表示部を有し、画像レイアウト部は、オブジェクト向き特定部が特定したオブジェクトの向きに基づいて、表示部の表示画面の出力領域内に前記画像をレイアウトしてもよい。更に、画像出力部は、画像レイアウト部にレイアウトされた画像を印刷する印刷部を有し、画像レイアウト部は、オブジェクト向き特定部が特定したオブジェクトの向きに基づいて、印刷部の印刷媒体の出力領域内に画像をレイアウトしてもよい。
更に、画像配置位置と当該画像配置位置に配置されるべき画像に含まれるオブジェクトの向きとが予め定められた出力領域のテンプレートを格納しているテンプレート格納部と、テンプレート格納部が格納しているテンプレートが含む画像配置位置に対応づけられているオブジェクトの向きと、オブジェクト向き特定部が特定したオブジェクトの向きとが一致する画像を選択する画像選択部とを更に備え、画像レイアウト部は、画像選択部が選択した画像をテンプレートの画像配置位置にレイアウトしてもよい。また、画像選択部は、オブジェクト向き特定部が特定したオブジェクトの向きの方向に存在する画像内の領域の面積が、オブジェクト向き特定部が特定した方向とは反対の方向に存在する画像内の領域の面積より大きい画像を選択してもよい。
また、オブジェクト向き特定部が特定したオブジェクトの向きの方向に存在する画像内の領域の面積が、オブジェクト向き特定部が特定したオブジェクトの向きの方向とは反対の方向に存在する画像内の領域の面積よりも大きくなるように、画像選択部が選択した画像に含まれるオブジェクトをトリミングしてトリミング画像を生成するトリミング画像生成部を更に備え、画像レイアウト部は、トリミング画像生成部が生成したトリミング画像をテンプレートの画像配置位置にレイアウトしてもよい。更に、オブジェクト向き特定部が特定したオブジェクトの向きの方向と、テンプレート格納部が格納しているテンプレートが含む画像配置位置に対応づけられているオブジェクトの向きの方向とが一致する画像が存在しない場合に、オブジェクト向き特定部が特定したオブジェクトの向きの方向とテンプレート格納部が格納しているテンプレートの画像配置位置に対応づけられているオブジェクトの向きの方向とが一致するように、画像に対して幾何学的な変換を施した画像を生成する変換画像生成部を更に備え、画像レイアウト部は、変換画像生成部が生成した画像を画像配置位置にレイアウトしてもよい。
更に、変換画像生成部が生成した画像を、画像配置位置の画像配置枠の形状にトリミングするトリミング部を更に備え、画像レイアウト部は、トリミング部がトリミングした画像を画像配置位置にレイアウトしてもよい。そして、オブジェクト向き特定部は、画像の面の法線方向に対してオブジェクトが向く方向がなす角度を示す情報を特定し、テンプレート格納部は、画像の面の法線方向に対してオブジェクトが向く方向がなす角度を示す情報が画像配置位置に対応づけられたテンプレートを格納し、画像選択部は、オブジェクト向き特定部が特定した角度を示す情報と、テンプレート格納部が格納しているテンプレートが含む画像配置位置に対応づけられている角度を示す情報とが一致する画像を選択してもよい。
そして、オブジェクト向き特定部が特定した角度を示す情報と、テンプレート格納部が格納しているテンプレートが含む画像配置位置に対応づけられている角度を示す情報とが一致する画像が存在しない場合に、オブジェクト向き特定部が特定した角度を示す情報とテンプレート格納部が格納しているテンプレートの画像配置位置に対応づけられている角度を示す情報とが一致するように、画像を画像の面の水平方向に沿って回転させる画像回転処理部を更に備え、画像レイアウト部は、画像回転処理部が回転させた画像をテンプレートの画像配置位置にレイアウトしてもよく、画像回転処理部が回転させた画像を、画像配置位置の画像配置枠の形状にトリミングするトリミング部を更に備え、画像レイアウト部は、トリミング部がトリミングした画像を画像配置位置にレイアウトしてもよい。
また、画像選択部は、オブジェクト向き特定部が特定した情報が示す角度がより大きい場合に、オブジェクト向き特定部が特定したオブジェクトの向きの方向に存在する画像内の領域の面積がより大きい画像を選択してもよく、オブジェクト向き特定部が特定した情報が示す角度がより大きい場合に、オブジェクト向き特定部が特定したオブジェクトの向きの方向に存在する画像内の領域の面積が、より大きくなるように、画像選択部が選択した画像に含まれるオブジェクトをトリミングしてトリミング画像を生成するトリミング画像生成部を更に備え、画像レイアウト部は、トリミング画像生成部が生成したトリミング画像をテンプレートの画像配置位置にレイアウトしてもよい。また、オブジェクト向き特定部が特定した角度を示す情報と、テンプレート格納部が格納しているテンプレートが含む画像配置位置に対応づけられている角度を示す情報とが一致する画像が存在しない場合に、オブジェクト向き特定部が特定した角度を示す情報とテンプレート格納部が格納しているテンプレートの画像配置位置に対応づけられている角度を示す情報とが一致するように、画像に対して幾何学的な変換を施した画像を生成する変換画像生成部を更に備え、画像レイアウト部は、変換画像生成部が生成した画像を画像配置位置にレイアウトしてもよい。更に、変換画像生成部が生成した画像を、画像配置位置の画像配置枠の形状にトリミングするトリミング部を備え、画像レイアウト部は、トリミング部がトリミングした画像を画像配置位置にレイアウトしてもよい。
また、第一の画像が配置されるべき第一の画像配置位置、および第二の画像が配置されるべき第二の画像配置位置が予め定められた出力領域のテンプレートを格納するテンプレート格納部と、第一の画像配置位置に配置されるべき第一の画像を選択する第一画像選択部と、第一画像選択部が選択した第一の画像に含まれるオブジェクトの向きに応じて、第二の画像配置位置に配置されるべき第二の画像に含まれるオブジェクトの向きを決定するオブジェクト向き決定部と、オブジェクト向き決定部が決定した向きのオブジェクトを含む第二の画像を選択する第二画像選択部とをさらに備え、画像レイアウト部は、第一画像選択部が選択した第一の画像を第一の画像配置位置にレイアウトし、第二画像選択部が選択した第二の画像を第二の画像配置位置にレイアウトしてもよい。そして、テンプレート格納部は、第二の画像配置位置と、第一の画像に含まれるオブジェクトの向きに対する相対的なオブジェクトの向きとが予め定められた出力領域のテンプレートを格納し、オブジェクト向き決定部は、第一画像選択部が選択した第一の画像に含まれるオブジェクトの向き、およびテンプレート格納部が格納しているオブジェクトの相対的な向きに基づいて、第二の画像配置位置に配置されるべき第二の画像に含まれるオブジェクトの向きを決定してもよい。
また、本発明の第2の形態においては、画像出力方法であって、画像に含まれるオブジェクトの画像における向きを特定するオブジェクト向き特定段階と、オブジェクト向き特定段階において特定されたオブジェクトの向きに基づいて、画像を出力領域内にレイアウトする画像レイアウト段階と、画像レイアウト段階において出力領域内にレイアウトされた画像を出力する画像出力段階とを備える。
また、本発明の第3の形態においては、画像を出力する画像出力装置用の画像出力プログラムであって、画像出力装置を、画像に含まれるオブジェクトの画像における向きを特定するオブジェクト向き特定部、オブジェクト向き特定部が特定したオブジェクトの向きに基づいて、画像を出力領域内にレイアウトする画像レイアウト部、画像レイアウト部によって出力領域内にレイアウトされた画像を出力する画像出力部として機能させる。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本発明によれば、撮像した多数の画像を、違和感のない構図に自動的にレイアウトして、出力することができる。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本発明の一実施形態に係る画像出力装置10の概念図を示す。画像出力装置10は、撮像装置110が撮像した画像を、撮像した画像に含まれる人物および乗用車などのオブジェクトの向きに基づいて出力領域内にレイアウトする。ここで、出力領域とは、画像を表示する表示領域、又は、画像を印刷する印刷領域のことをいう。そして、画像出力装置10は、出力領域内にレイアウトされた画像を出力する。例えば、画像出力装置10は、パーソナルコンピュータのモニターに、レイアウトされた画像を出力してよい。また、画像出力装置10は、携帯電話およびPDA等の携帯情報端末等であってもよい。また、画像出力装置10は、レイアウトされた画像をプリンター等により印刷物として印刷できる印刷装置であってもよい。
更に、画像出力装置10は、ネットワーク120を介して画像データを受信して、受信した画像データをテレビ受像機およびフォトスタンド等に表示する表示装置であってもよい。ネットワーク120は、例えば、インターネットであってよく、LAN等であってもよい。なお、画像出力装置10は、撮像した画像データを、ネットワーク120を介して送受信するだけではなく、例えば、撮像装置110に設けた磁気記録媒体および半導体記録媒体等を用いた記憶装置を介して、画像データを画像出力装置10に入力してもよい。更には、無線通信および光通信等により、画像データを画像出力装置10に入力してもよい。
本実施形態に係る画像出力装置10は、撮像された画像に含まれるオブジェクトの向きに基づいて、撮像された画像を、鑑賞者に違和感のない構図となるように自動的にレイアウトすることを目的とする。
図2は、本実施形態に係る画像出力装置10の機能構成の一例を示す。画像出力装置10は、オブジェクト向き特定部20、画像レイアウト部30、画像出力部40、画像格納部50、および部位画像格納部60を備える。オブジェクト向き特定部20は、顔領域抽出部210、部位領域抽出部220、および顔向き特定部230を有する。画像格納部50は、撮像された画像データを格納する。画像格納部50は、撮像した画像データについて一意となるべく識別できる画像識別子に対応付けて格納することができる。そして、画像格納部50は、画像データをオブジェクト向き特定部20へ出力する。
オブジェクト向き特定部20は、画像に含まれるオブジェクトの画像における向きを特定する。オブジェクト向き特定部20は、オブジェクトの向きを特定した画像データを画像レイアウト部30に出力する。画像レイアウト部30は、オブジェクト向き特定部20からオブジェクトの向きが特定された画像データを受け取る。そして、画像レイアウト部30は、オブジェクト向き特定部20が特定したオブジェクトの向きに基づいて、画像を出力領域内にレイアウトする。画像レイアウト部30は、出力領域内にレイアウトした画像データを、画像出力部40に出力する。
ここで、オブジェクトの向きとは、実空間内において撮像装置に対してオブジェクトの正面が向く方向をいう。多くのオブジェクトは、左右対称の正面を有する。したがって、当該左右対称な部位が向けられている方向が、オブジェクトにとっての正面であると考えることができる。オブジェクト向き特定部20は、画像に含まれるオブジェクトを輪郭抽出処理、色分布分析処理等の画像処理により認識して、オブジェクト内で左右が対称な領域をオブジェクトの正面として抽出してよい。
左右対称な領域の抽出は、例えば、オブジェクト向き特定部20が認識したオブジェクトの一部分の画像を反転して、反転したオブジェクトの一部分の画像と反転前のオブジェクトの一部分の画像とをマッチングして行うことができる。マッチングは、オブジェクト向き特定部20が認識したオブジェクトの画像に対して、ぼかし処理を施してからマッチングしてよい。そして、反転したオブジェクトの画像と反転前のオブジェクトの画像が一致した場合に、一致したオブジェクトの部分を、対称な領域として抽出して、オブジェクトの正面とすることができる。
ぼかし処理のレベルは、オブジェクトから対称な領域を抽出できる範囲で調整してよく、係る範囲は画像出力装置10の鑑賞者が自由に設定してよい。そして、オブジェクト向き特定部20は、オブジェクトの正面の部位以外における位置の偏りに基づいて、オブジェクトの向きを特定できる。オブジェクト向き特定部20は、例えば、オブジェクトの正面と判定されたオブジェクト内の部分と、オブジェクトの正面以外の部分を比較して、オブジェクト内でオブジェクトの正面が偏っている方向を、オブジェクトの正面が向く方向としてよい。例えば、オブジェクトの画像において正面以外の部分が、オブジェクトの右側に存在している場合は、オブジェクトの画像における向きは左側に特定してよい。
顔領域抽出部210は、画像に含まれるオブジェクトが人物の場合に、画像に含まれる人物の顔の領域を抽出する。顔領域抽出部210は、抽出した人物の顔の領域のデータを部位領域抽出部220へ出力する。部位画像格納部60は、人物の顔を構成する複数の部位の標準的な画像データを格納する。部位画像格納部60は、部位領域抽出部220へ部位画像データを出力する。部位領域抽出部220は、顔領域抽出部210から抽出した人物の顔領域のデータを受け取り、また、部位画像格納部60から部位画像データを受け取る。
そして、部位領域抽出部220は、抽出した顔の領域に含まれる、人物の顔を構成する複数の部位を抽出する。部位領域抽出部220は、抽出した人物の顔を構成する複数の部位の顔領域における位置のデータを、顔向き特定部230へ出力する。顔向き特定部230は、部位領域抽出部220から、抽出した人物の顔を構成する複数の部位の位置のデータを受け取る。そして、顔向き特定部230は、抽出した人物の顔を構成する複数の部位の位置に基づいて、画像に含まれる人物の顔の画像における向きを特定する。
画像出力部40は、画像レイアウト部30から出力領域内にレイアウトされた画像データを受け取る。画像出力部40は、画像レイアウト部30によって出力領域内にレイアウトされた画像データを出力する。画像出力部40は、画像レイアウト部30にレイアウトされた画像データを表示する表示部を有してよい。また、画像出力部40は、画像レイアウト部30にレイアウトされた画像を印刷する印刷部を有してもよい。
本実施形態の画像出力装置10によれば、画像に含まれるオブジェクトの画像における向きを特定して、特定したオブジェクトの画像における向きに基づいて、撮像した画像を出力領域内に自動的にレイアウトすることができる。これにより、鑑賞者は自ら画像のレイアウトを決定するという手間および時間のかかる操作をせずに、画像の構図に違和感を覚えないレイアウトの画像を出力することができる。
図3は、本実施形態に係る部位画像格納部60の一例を示す。部位画像格納部60は、人物の顔を構成する部位、例えば、目、耳、口、髪等の部位の標準的な部位画像データを格納する。部位画像格納部60は、部位画像データについて一意となるべく識別できる部位識別子に対応付けて格納する。なお、部位識別子は部位画像データを一意となるべく識別できればよく、例えば、部位識別子は部位画像データを識別できる文字列等であってもよい。そして、部位画像格納部60は、部位画像データを部位領域抽出部220へ出力する。
図4は、本実施形態に係るオブジェクトの向きを特定する方法の一例を示す。本図において、オブジェクト向き特定部20は、列車510の画像の左右両端から、所定量xだけ離れた位置を中心として、列車510の端部の画像を折り返してマッチング処理を施してもよい。ここで、オブジェクト向き特定部20は、列車510の画像に対してぼかし処理を施してからマッチング処理をしてよく、所定量xを徐々に増加させながらマッチング処理を繰り返す。そして、例えば、列車510の一部分の画像を、一点鎖線502−504に対して折り返す。
そして、反転した列車510の画像の一部が原画像の列車510の一部分と一致した場合は、一点鎖線502−504から所定量xを中心とする領域の列車510の画像の一部分を、列車510の正面であると判断してよい。そして、列車510の正面以外における位置の偏りに基づいて、列車510の向きを特定してよい。例えば、列車510の正面以外の部分が列車の右側に存在している場合は、列車510の正面の向きは左向きと特定してよい。なお、所定量xは画像に含まれるオブジェクトの正面部が特定される範囲で自由に設定してよい。
図5は、本実施形態に係るオブジェクトの向きを特定する方法の一例を示す。本実施形態において、オブジェクトは人物であってよく、オブジェクト向き特定部20は、画像に含まれる人物の画像における向きを特定してよい。また、オブジェクト向き特定部20は、画像に含まれる人物の顔の画像における向きを特定してもよい。オブジェクト向き特定部20は、画像に含まれる人物を抽出する。オブジェクト向き特定部20は、例えば、抽出した人物の画像に対してぼかし処理、およびマッチング処理により人物の画像の左右対称な領域を抽出してよい。そして、オブジェクト向き特定部20は、抽出した人物の正面の部位以外の画像が、人物の画像内で占める位置の偏りに基づいて、撮像された人物の画像における向きを特定してよい。
また、顔領域抽出部210は、抽出したそれぞれのオブジェクトから、例えば、予め用意した顔のテンプレート画像を、撮像した画像上で様々な位置、大きさ、回転角度で重ねてマッチングしたり、肌色抽出等の画像処理を利用したりすることにより、人物の顔の領域を抽出する。オブジェクト向き特定部20は、例えば、抽出した人物の顔の境界に対してぼかし処理を施した後に、マッチング処理により人物の顔の画像の左右対称な領域を抽出してもよい。そして、オブジェクト向き特定部20は、抽出した人物の顔において、顔の正面の部分以外の位置が、人物の顔の中で偏って占めている領域に基づいて、人物の顔の画像における向きを特定してよい。例えば、人物の顔の画像において左右対称な領域が、人物の顔の右側の領域を占めていた場合は、人物の顔の画像における向きは右側に特定してもよい。
顔領域抽出部210は、抽出した人物の顔の領域のデータを、部位領域抽出部220に出力する。部位領域抽出部220は、部位画像格納部60から部位画像データを受け取り、顔領域抽出部210が出力した、抽出した人物の顔の領域のデータを受け取る。部位領域抽出部220は、顔領域抽出部210が抽出した人物の顔の領域に含まれる、人物の顔を構成する複数の部位を、部位画像格納部60から入力された人物の顔の部位画像データとパターンマッチングして、人物の顔を構成する部位を抽出する。部位領域抽出部220は、抽出した複数の部位の位置データを顔向き特定部230へ出力する。
顔向き特定部230は、顔領域抽出部210が抽出した顔の領域における、部位領域抽出部220が抽出した複数の部位の位置に基づいて、画像に含まれる人物の顔の画像における向きを特定する。顔向き特定部230は、例えば、本図において、人物260の顔から抽出した目270が、人物260の顔の中で右側に偏って配置している場合、画像に含まれる人物260の画像530における向きは、目270が偏っている方向、すなわち、右側であると特定してよい。
また、顔向き特定部230は、例えば、部位領域抽出部220が人物260の顔から鼻280を抽出した場合に、鼻280の形状から鼻280の先が向いている方向を検出して、鼻280の先が向いている方向を、人物の顔の画像における向きとしてもよい。例えば、本図において、人物260の鼻280の先は、画像530の右側を向いているので、人物260の画像530における向きは、右側と特定してよい。
また、人物の肩の向きに垂直な方向を、人物の体の向きとして特定する。そして、特定された人物の体の向きを、人物の画像における向きとしてもよい。人物の向きは、例えば、以下のように特定できる。まず、顔領域抽出部210は、人物の顔を抽出する。そして、オブジェクト向き特定部20は、抽出された人物の顔の下に存在する肩を認識する。続いて、オブジェクト向き特定部20は、人物の肩の向きを、例えば、撮像された画像に含まれる、両腕の上腕部の前後関係から特定する。
例えば、右腕が占める面積の、当該画像に対する面積比が、左腕が占める面積の、当該画像に対する面積比よりも大きい場合には、右腕が当該画像に対して前面に位置している。つまり、当該画像において肩の向きは、左側に向いていることとなる。そして、係る場合には、当該人物の体の画像における向きは、肩の向きに垂直な方向である、右向きと特定できる。
ここで、顔向き特定部230において特定された人物の顔の向きと、オブジェクト向き特定部20において特定された人物の体の向きが同一の場合には、特定された顔の向き、又は特定された体の向きが、人物の画像における向きとして特定される。一方、顔向き特定部230において特定された人物の顔の向きと、オブジェクト向き特定部20により人物の肩の向きに基づいて特定された人物の体の向きが異なる場合には、以下のように、人物の画像における向きを特定してよい。
例えば、特定された顔の向きが画像に対して正面である場合であって、特定された体の向きが画像に対して、正面とは異なる方向を向いている場合には、人物の体が向いている方向を、人物の画像における向きとして特定する。一方、特定された顔の向きが画像に対して、正面とは異なる方向である場合であって、特定された体の向きが画像に対して、正面を向いている場合には、人物の顔の向きを、人物の画像における向きとして特定する。
本実施形態に係る画像出力装置10によれば、複数の部位の顔における位置に基づいて、人物の顔の向きを特定できる。また、画像出力装置10は、人物の肩の向きに基づいて、人物の体の向きを特定できる。そして、画像出力装置10は、特定された人物の向きに基づいて画像をレイアウトできる。これにより、鑑賞者に画像のレイアウト等の特別な操作を要求せずに、多数の画像を自動的に違和感のない構図にレイアウトできる。更には、人物の体の向きに基づいて画像をレイアウトできるので、撮像された人物が後ろ向きである場合でも、画像を適切にレイアウトできる。
図6は、本実施形態に係る人物の視線方向を特定する一例を示す。オブジェクト向き特定部20は、撮像された画像に含まれる人物の画像における視線方向を特定して、特定した人物の視線方向に基づいて、画像をレイアウトすることもできる。画像540aでは、人物の目290aの黒目部分が右側に寄っている。よって視線方向は、例えば、黒目の寄っている方向、すなわち、画像540aにおいては矢印の方向である右側としてよい。一方、本図において、画像540bでは、人物の目290bの黒目は左側に寄っているので、視線方向は、画像540bの左方向であるとしてよい。なお、顔向き特定部230は、オブジェクト向き特定部20が特定した人物の顔の向きを人物の視線方向としてもよい。画像レイアウト部30は、オブジェクト向き特定部20が特定した人物の視線方向に基づいて、画像をレイアウトできる。
本実施形態に係る画像出力装置10によれば、画像に含まれる人物の画像における視線方向を特定して、人物の視線方向に基づいて画像をレイアウトできる。これにより、画像に含まれる人物の目が撮像されていれば、例えば、人物の顔の一部が欠けている画像であっても、人物の視線方向に基づいて画像をレイアウトできる。
図7は、本実施形態に係る出力領域における画像のレイアウトの一例を示す。画像レイアウト部30は、オブジェクト向き特定部20が特定したオブジェクトの向きが、出力領域の中心方向を向くように、画像を出力領域内にレイアウトする。例えば、本図において、画像レイアウト部30は、画像310、画像312に含まれる人物、画像314に含まれる乗用車、画像316に含まれる列車等のオブジェクトの向きが雑誌等の書籍300の見開きページの中心に向くように、画像をレイアウトすることができる。なお、画像レイアウト部30は、書籍300の見開き2ページを、1つの出力領域としてもよい。
図8は、本実施形態に係る出力領域における画像のレイアウトの一例を示す。本図において、画像レイアウト部30は、例えば、ポスター等の紙面320の中心に、画像322、画像324に含まれる人物等のオブジェクトの向きが向くように、画像をレイアウトすることができる。
図9は、本実施形態に係る出力領域における画像のレイアウトの一例を示す。本図において、画像レイアウト部30は、例えば、雑誌等の書籍330の各ページの中心に、画像332、画像334、および画像336、画像338に含まれる人物等のオブジェクトの向きが向くように画像をレイアウトすることができる。
図10は、本実施形態に係る出力領域における画像のレイアウトの一例を示す。本図において、画像レイアウト部30は、画像342、画像344に含まれる人物等のオブジェクトの向きが、例えば、雑誌等の書籍340の次ページに向くように、画像をレイアウトすることができる。
本実施形態に係る画像出力装置10によれば、オブジェクト向き特定部20が特定したオブジェクトの向きが、出力領域の中心方向を向くように、画像を出力領域内にレイアウトすることができる。これにより、鑑賞者が画像のレイアウトに違和感を覚えることがなく、構図の整った画像を鑑賞することができる。
図11は、本発明の他の実施形態に係る画像出力装置10の機能構成の一例を示す。画像出力装置10は、テンプレート格納部70、画像選択部80、オブジェクト向き決定部86、トリミング画像生成部90、画像回転処理部92、変換画像生成部94、およびトリミング部96を備える。また、画像選択部80は、第一画像選択部82および第二画像選択部84を有する。なお、本実施形態に係る画像出力装置10は、図1から図10の上記説明で説明した画像出力装置10の構成、および機能の一部または全部を更に備えてよい。
テンプレート格納部70は、画像を配置する位置である画像配置位置と当該画像配置位置に配置されるべき画像に含まれるオブジェクトの向きとが予め定められた出力領域のテンプレートを格納している。テンプレート格納部70が格納しているテンプレートには、少なくとも一つの画像配置位置が定められていてよく、画像配置位置には画像を配置する枠である画像配置枠が対応づけられていてよい。また、テンプレート格納部70は、画像の面の法線方向に対して画像に含まれるオブジェクトが向く方向がなす角度を示す情報が画像配置位置に対応付けられたテンプレートを格納してよい。更に、テンプレート格納部70は、第一の画像が配置されるべき第一の画像配置位置、および第二の画像が配置されるべき第二の画像配置位置が予め定められた出力領域のテンプレートを格納してもよい。そして、テンプレート格納部70は、第二の画像配置位置と、第一の画像に含まれるオブジェクトの向きに対する相対的なオブジェクトの向きとが予め定められた出力領域のテンプレートを格納していてもよい。
ここで、テンプレート格納部70が格納しているテンプレートに含まれる画像配置位置には、合成情報が対応づけられていてよい。合成情報は、画像配置位置に配置されるべき画像の特徴を示す情報であってよい。例えば、合成情報は、画像に含まれるオブジェクトの名前、画像が含む主要なオブジェクトの画像内における位置、画像が有する方向成分、および画像に含まれるオブジェクトが画像の面の法線方向に対して向く方向がなす角度を示す情報等であってよく、画像に含まれるオブジェクトの向きは合成情報の一例である。テンプレート格納部70は、テンプレートが含む画像配置位置に対応づけられている合成情報を、画像選択部80の制御に基づいて、画像選択部80に供給する。また、テンプレート格納部70は、テンプレートを画像レイアウト部30の制御に基づいて、画像レイアウト部30に供給する。
画像格納部50は、合成情報を更に画像に対応づけて画像を格納してよい。画像格納部50は、画像選択部80の制御に基づいて、画像を画像選択部80に供給する。オブジェクト向き特定部20は、画像に含まれるオブジェクトの画像における向きを特定して、特定したオブジェクトの向きを画像に対応づけて画像格納部50に格納する。また、オブジェクト向き特定部20は、画像格納部50が格納している画像の面の法線方向に対してオブジェクトが向く方向がなす角度を示す情報を特定する。オブジェクト向き特定部20は、オブジェクトの正面が画像の面の法線方向に対して向く方向がなす角度を示す情報を特定してもよい。例えば、オブジェクト向き特定部20は、オブジェクトが人物である場合には、人物の顔が画像の面の法線方向に対して向く方向がなす角度を示す情報を特定してよい。そして、オブジェクト向き特定部20は、特定した角度を示す情報を画像に対応づけて画像格納部50に格納してよい。オブジェクト向き特定部20は、特定した角度を示す情報を画像選択部80に供給する。
画像選択部80は、テンプレート格納部70が格納しているテンプレートが含む画像配置位置に対応づけられている合成情報と一致する合成情報が対応づけられている画像を、画像格納部50が格納している画像から選択する。具体的には、画像選択部80は、テンプレート格納部70から、テンプレートが含む画像配置位置に対応づけられている合成情報を受け取る。より具体的には、画像選択部80は、テンプレート格納部70から、合成情報に含まれるオブジェクトの向きを受け取る。そして、画像選択部80は、テンプレート格納部70から受け取ったオブジェクトの向きとオブジェクト向き特定部20が特定したオブジェクトの向きとが一致する画像を画像格納部50から選択する。また、画像選択部80は、オブジェクト向き特定部20が特定したオブジェクトの向きの方向に存在する画像内の領域の面積が、オブジェクト向き特定部20が特定した方向とは反対の方向に存在する画像内の領域の面積より大きい画像を選択してもよい。
更に、画像選択部80は、テンプレート格納部70が格納しているテンプレートが含む画像配置位置に対応づけられている情報と一致する角度を示す情報に対応づけて画像格納部50が格納している画像を選択してもよい。そして、画像選択部は、オブジェクト向き特定部20が特定した情報が示す角度がより大きい場合に、オブジェクト向き特定部20が特定したオブジェクトの向きの方向に存在する画像内の領域の面積がより大きい画像を選択してもよい。
また、画像選択部80は、第一画像選択部82および第二画像選択部84を有していてよい。第一画像選択部82は、第一の画像配置位置に配置されるべき第一の画像を選択する。第一の画像の一例としては主画像が挙げられる。主画像とは、閲覧者に対してアルバム等のページにおいて最も強く印象づけることが意図されている画像をいう。例えば主画像とは、アルバム等における主人公が含まれている画像であってよい。また、主画像は、ページに配置された複数の画像のうち、最も強調された画像であってよい。具体的には、主画像とは、他の画像に比べてサイズが大きい画像、他の画像に比べて前面に配置される画像、最も中央寄りに配置される画像であってよい。他にも主画像とは、周囲を枠で強調された画像、被写体にエフェクト等の視覚効果が施された画像等であってもよい。また、本実施形態でいう第二の画像とは従画像であってよい。ここで、従画像とは、アルバム等における主人公を除く被写体が含まれる画像であってよい。また、従画像とは、主画像よりも小さく、中央より外に配置される画像であってよい。そして、第二画像選択部84は、後述するオブジェクト向き決定部86が決定した向きのオブジェクトを含む第二の画像を選択する。具体的には、第二画像選択部84は、オブジェクト向き決定部86が決定した向きのオブジェクトを含む画像を、画像格納部50から選択する。画像選択部80、第一画像選択部82、および第二画像選択部84は選択した画像をトリミング画像生成部90、画像回転処理部92、または変換画像生成部94に供給する。
オブジェクト向き決定部86は、第一画像選択部82が選択した第一の画像に含まれるオブジェクトの向きに応じて、第二の画像配置位置に配置されるべき第二の画像に含まれるオブジェクトの向きを決定する。具体的には、オブジェクト向き特定部20は、第一画像選択部82が選択した第一の画像に含まれるオブジェクトの向き、およびテンプレート格納部70が格納しているテンプレートの画像配置位置の合成情報に含まれるオブジェクトの相対的な向きに基づいて、第二の画像配置位置に配置されるべき第二の画像に含まれるオブジェクトの向きを決定する。例えば、第一の画像に含まれるオブジェクトの向きと同一方向のオブジェクトが含まれる画像を第二の画像配置位置に配置することを目的として、オブジェクト向き決定部86は、第二の画像配置位置に配置されるべき第二の画像に含まれるオブジェクトの向きを、第一の画像に含まれるオブジェクトの向きと同一方向の向きに決定してよい。また、オブジェクト向き決定部86は、第二の画像配置位置に配置されるべき第二の画像に含まれるオブジェクトの向きを、第一の画像に含まれるオブジェクトの向きとは異なる向きに決定してもよい。更に、オブジェクト向き決定部86は、テンプレートが複数の画像配置位置を含む場合には、各画像配置位置のそれぞれについて独立に向きを決定してもよい。オブジェクト向き決定部86は、決定した向きを第二画像選択部84に供給する。
トリミング画像生成部90は、オブジェクト向き特定部20が特定したオブジェクトの向きの方向に存在する画像内の領域の面積が、オブジェクト向き特定部20が特定したオブジェクトの向きの方向とは反対の方向に存在する画像内の領域の面積よりも大きくなるように、画像選択部80から受け取った画像に含まれるオブジェクトをトリミングしてトリミング画像を生成する。また、トリミング画像生成部90は、オブジェクト向き特定部20が特定した情報が示す角度がより大きい場合に、オブジェクト向き特定部20が特定したオブジェクトの向きの方向に存在する画像内の領域の面積が、オブジェクト向き特定部20が特定したオブジェクトの向きとは反対の方向に存在する画像内の領域の面積よりも大きくなるように、画像選択部80から受け取った画像に含まれるオブジェクトをトリミングしてトリミング画像を生成してもよい。トリミング画像生成部90は、生成したトリミング画像を画像レイアウト部30に供給する。
画像回転処理部92は、オブジェクト向き特定部20が特定した角度を示す情報と、テンプレート格納部70が格納しているテンプレートが含む画像配置位置に対応づけられている角度を示す情報とが一致する画像が存在しないと画像選択部80が判断した場合に、画像選択部80から当該角度を示す情報、および画像格納部50が格納している画像を画像選択部80から受け取る。そして、画像回転処理部92は、画像選択部80から受け取った角度を示す情報とテンプレート格納部70が格納しているテンプレートの画像配置位置に対応づけられている角度を示す情報とが一致するように、受け取った画像を当該画像の面の水平方向に沿って回転させる。画像回転処理部92は、回転した画像をトリミング部96に供給する。
変換画像生成部94は、オブジェクト向き特定部20が特定したオブジェクトの向きの方向と、テンプレート格納部70が格納しているテンプレートが含む画像配置位置に対応づけられているオブジェクトの向きの方向とが一致する画像が存在しないと画像選択部80が判断した場合に、当該オブジェクトの向きの方向および画像格納部50が格納している画像を、画像選択部80から受け取る。そして、変換画像生成部94は、画像選択部80から受け取ったオブジェクトの向きの方向とテンプレート格納部70が格納しているテンプレートの画像配置位置に対応づけられているオブジェクトの向きの方向とが一致するように、画像に対して幾何学的な変換を施した画像を生成する。例えば、変換画像生成部94は受け取った画像を平行四辺形等に変換して、テンプレートの画像配置位置に対応づけられているオブジェクトの向きとオブジェクト向き特定部20が特定したオブジェクトの向きとを一致させてよい。
また、変換画像生成部94は、オブジェクト向き特定部20が特定した角度を示す情報と、テンプレート格納部70が格納しているテンプレートが含む画像配置位置に対応づけられている角度を示す情報とが一致する画像が存在しないと画像選択部80が判断した場合に、画像選択部80から当該角度を示す情報、および画像格納部50が格納している画像を画像選択部80から受け取る。そして、変換画像生成部94は、画像選択部80から受け取った角度を示す情報とテンプレート格納部70が格納しているテンプレートの画像配置位置に対応付けられている角度を示す情報とが一致するように、画像に対して幾何学的な変換を施して画像を生成してもよい。変換画像生成部94は、変換した画像をトリミング部96に供給する。
トリミング部96は、変換画像生成部94および画像回転処理部92から受け取った画像を、画像配置位置の画像配置枠の形状にトリミングする。トリミング部96は、トリミングした画像を画像レイアウト部30に供給する。画像レイアウト部30は、テンプレート格納部70からテンプレートを受け取る。そして、画像レイアウト部30は、トリミング画像生成部90から受け取ったトリミング画像、およびトリミング部96から受け取ったトリミングされた画像を、テンプレートの画像配置位置にレイアウトする。また、画像レイアウト部30は、変換画像生成部94が生成した画像をトリミング部96を介して受け取り、テンプレートの画像配置位置にレイアウトしてもよい。
また、画像レイアウト部30は、第一画像選択部82が選択した第一の画像を第一の画像配置位置にレイアウトする。続いて、画像レイアウト部30は、第一の画像配置位置に第一の画像をレイアウトした場合に、第一の画像に含まれるオブジェクトの向きをオブジェクト向き決定部86に供給する。方向成分決定部86は、画像レイアウト部30から受け取った第一の画像に含まれるオブジェクトの向きに応じて、第二の画像配置位置に配置されるべき第二の画像に含まれるオブジェクトの向きを決定してよい。そして、画像レイアウト部30は、第二画像選択部84が選択した第二の画像を第二の画像配置位置にレイアウトする。画像レイアウト部30は、レイアウトされた画像を画像出力部40に供給する。画像出力部40は、レイアウトされた画像を印刷部において紙媒体に印刷して、アルバムとして出力してよい。また、画像出力部40は、DVD等の記録媒体にレイアウトされた画像を記録してもよい。
本実施形態に係る画像出力装置10によれば、テンプレートに含まれる画像配置位置には予め合成情報が対応づけられているので、合成情報と一致する画像を自動的に選択して、選択された画像を画像配置位置にレイアウトできる。これにより、ユーザが多数の画像から画像配置位置に適した画像を選択してレイアウトする手間を省くことができる。
図12は、本実施形態に係るテンプレート格納部70が格納しているテンプレート1200の一例を示す。テンプレート格納部70は、画像配置位置と当該画像配置位置に配置されるべき画像の合成情報とが予め定められた出力領域のテンプレートを格納している。なお、画像配置位置には画像を配置すべき画像配置枠が対応づけられていてよく、一つの出力領域に複数の画像配置位置が含まれていてよい。また、画像配置位置に対応づけられている画像配置枠は略円形、略多角形、および画像に含まれるオブジェクトの形状等の形状であってよい。更に、テンプレート格納部70は、第一の画像が配置されるべき第一の画像配置位置、および第二の画像が配置されるべき第二の画像配置位置が予め定められた出力領域のテンプレートを格納していてよく、また、第二の画像配置位置と、第一の画像に含まれるオブジェクトの向きに対する相対的なオブジェクトの向きとが予め定められた出力領域のテンプレートを格納していてもよい。
ここで、合成情報は、画像に含まれるオブジェクト名、人物名、当該人物の配役(アルバムの種類に応じた、当該アルバムにおける主人公である旨の情報等)、主人公の画像内での位置を示す情報、画像に含まれる人物の誕生日、画像を撮像したときの合焦距離、撮像日時、および撮像場所等の撮像情報、画像が有する方向成分、並びに画像に含まれるオブジェクトが画像の面の法線方向に対して向く方向がなす角度を示す情報等、画像配置位置に配置されるべき画像の特徴を示す情報であってよい。また、テンプレートは、アルバムのページのテンプレートであってよい。そして、アルバムのページは、表紙、見開きページ、および見開きページの一ページ等であってよい。
例えば、テンプレート1200には画像配置枠1210および画像配置枠1220が含まれている。そして、画像配置枠1210には合成情報1212が対応づけられており、画像配置枠1220には合成情報1222が対応づけられている。係る場合において、画像選択部80は、例えば、画像配置枠1220に対応づけられている合成情報1222を抽出して、合成情報1222と一致する情報に対応づけて画像格納部50が格納している画像を選択する。例えば、合成情報1222にオブジェクトの向きに関する情報が対応づけられていた場合には、画像選択部80は、当該向きに関する情報と一致する情報に対応づけて画像格納部50が格納している画像を選択する。そして、画像選択部80が選択した画像を、画像レイアウト部30が画像配置枠1220にレイアウトする。
図13は、本実施形態に係る画像選択部80およびトリミング画像生成部90の処理の一例を示す。画像選択部80は、オブジェクト向き特定部20が特定したオブジェクトの向きの方向に存在する画像内の領域の面積が、オブジェクト向き特定部20が特定した方向とは反対の方向に存在する画像内の領域の面積よりも大きい画像を選択する。例えば、人物1304が含まれる画像1300および人物1314が含まれる画像1310を考える。係る場合において、人物1304の向いている方向は矢印1306で示す方向であり、人物1314が向いている方向は矢印1316である旨が、オブジェクト向き特定部20において特定される。
係る場合において、画像選択部80は、人物が向いている方向の領域の面積が、人物が向いている方向とは反対の方向の領域の面積よりも大きい画像を選択する。すなわち、画像1300において人物1304が向いている方向の領域1302の面積は、人物1304が向いている方向とは反対の方向の領域の面積よりも小さい。一方、画像1310において人物1314が向いている方向の領域1312の面積は、人物1314が向いている方向とは反対の方向の領域の面積よりも大きい。したがって、係る場合においては、画像選択部80は画像1310を選択して、画像レイアウト部30に供給する。
また、トリミング画像生成部90は、オブジェクト向き特定部20が特定したオブジェクトの向きの方向に存在する画像内の領域の面積が、オブジェクト向き特定部20が特定したオブジェクトの向きの方向とは反対の方向に存在する領域の面積よりも大きくなるように、画像選択部80が選択した画像に含まれるオブジェクトをトリミングしてよい。例えば、画像選択部80が選択した画像が画像1300であった場合を考える。係る場合において、画像1300に含まれる人物1304が向く方向は矢印1306の方向であり、当該方向に存在する画像1300内の領域の面積は、当該方向とは反対の方向に存在する画像1300内の領域の面積よりも小さい。したがって、係る場合においては、トリミング画像生成部90は、人物1304が向いている方向の画像1300内の領域の面積が当該方向の反対の画像1300内の領域の面積よりも大きくなるように人物1304をトリミングする。例えば、画像1310に示す配置となるように人物1304をトリミングしてよい。
本実施形態に係る画像出力装置10によれば、画像選択部80において、オブジェクトの向きの方向に存在する画像内の領域の面積がオブジェクトの向きの方向とは反対に存在する画像内の領域の面積よりも大きい画像を自動的に選択できる。また、画像選択部80が係る画像を選択できなかった場合においては、トリミング画像生成部90がオブジェクトの向きの方向に存在する画像内の領域の面積がオブジェクトの向きの方向とは反対に存在する画像内の領域の面積よりも大きい画像を自動的に生成できる。これにより、オブジェクトが向いている方向には広い空間を配置できるので、鑑賞者は、違和感を抱くことなく当該画像がレイアウトされたアルバム等を観賞できる。
図14は、本実施形態に係るオブジェクト向き特定部20の処理の一例を示す。オブジェクト向き特定部20は、画像の面の法線方向に対してオブジェクトが向く方向がなす角度を示す情報を特定する。例えば、オブジェクトが人物である場合を考える。オブジェクトが人物の場合には、オブジェクト向き特定部20は、人物が正面を向いている場合における人物の両目の間の距離および顔の中における鼻の位置を基準として、人物が向いている方向を特定してよい。また、本実施形態の他の例では、オブジェクト向き特定部20は、両目の位置および鼻の先端の位置を線分で結んでできる三角形の形状に基づいて、画像に含まれる人物の顔が向いている方向を特定してもよい。更に、本実施形態の別の例では、オブジェクト向き特定部20は、顔の左右の頬部分が顔の中で占める面積に基づいて、画像に含まれる人物の顔が向いている方向を特定してもよい。
例えば、人物が画像の正面を向いている画像1600を考える。画像1600においては、画像の法線方向1650と人物が向く方向とは一致している。そして、係る場合においては、オブジェクト向き特定部20は、目1602および目1604を通る線分と、人物の頭頂1610および鼻を介してあご1612までに至る線分との交点1606を求める。続いて、オブジェクト向き特定部20は、目1602と交点1606との間の距離、および目1604と交点1606との間の距離をそれぞれ算出する。人物が正面を向いている場合には、目1602と交点1606との間の距離と、目1604と交点1606との間の距離とはそれぞれ略等しい距離となる。したがって、オブジェクト向き特定部20は、人物が正面を向いている場合における目1602と交点1606との間の距離と、目1604と交点1606との間の距離との比率を基準として、人物が画像の面の法線方向に対して向く方向がなす角度を示す情報を特定してよい。
また、オブジェクト向き特定部20は、人物の一方の目と交点との間の距離に対する、人物の他方の目と交点との間の距離の比率に対応づけて、画像の面の法線方向に対して人物が向く方向がなす角度を示す情報を対応づけたデータベースを有していてよい。オブジェクト向き特定部20は、画像に含まれる人物の一方の目と、両目を通る線分および人物の頭頂からあごまでに至る線分との交点との間の距離、並びに他方の目と、両目を通る線分および人物の頭頂からあごまでに至る線分との交点との間の距離を算出して、一方の目と当該交点との間の距離に対する他方の目と当該交点との間の距離の比率を算出する。そして、オブジェクト向き特定部20は、算出した比率に対応づけて当該データベースが格納している角度を示す情報を特定してよい。
例えば、人物が画像1400の面の法線方向1452に対して、方向1450に顔を向けた状態が含まれる画像1400を考える。まず、オブジェクト向き特定部20は、目1402と交点1406との間の距離と、目1404と交点1406との間の距離を算出する。続いて、オブジェクト向き特定部20は、人物の目1402と交点1406との距離と、人物の目1404と交点1406との距離から算出した比率を算出する。そして、オブジェクト向き特定部20は、算出した人物の目1402と交点1406の距離に対する人物の目1404と交点1406との距離の比率を、データベースが角度を示す情報に対応づけて格納している比率と比較して、一致する比率を特定する。そして、オブジェクト向き特定部20は、特定した比率に対応づけてデータベースが格納している、人物が画像1400の面の法線方向に対して向く方向1450がなす角度1454に関する情報を特定する。同様にして、オブジェクト向き特定部20は、人物が画像1800の面の法線方向1852に対して向く方向1850がなす角度1854に関する情報を特定する。
図15は、本実施形態に係る画像回転処理部92およびトリミング部96の処理の一例を示す。テンプレート1920に含まれる画像配置位置に対応する画像配置枠1925に配置されるべき画像の合成情報として、画像に含まれる人物が向く方向が対応づけられている場合を考える。すなわち、テンプレート1920内の位置1927に向かう方向に、人物の顔が向いている画像が配置されるように、画像配置枠1925に当該方向に関する合成情報が対応づけられている場合を考える。
ここで画像格納部50が、方向1902に向いている人物が含まれる画像1900しか格納していない場合には、画像回転処理部92は、テンプレート1920の画像配置枠1925に対応づけられている方向を示す情報、すなわち方向1904と画像1900に含まれる人物が向く方向1902とが一致するように、画像1900を画像1900の面の水平方向に沿って回転させる。続いて、トリミング部96は、画像回転処理部92が回転した画像1910から、画像配置枠1925の形状の画像1915をトリミングする。そしてトリミング部96は、トリミングした画像1915を画像レイアウト部30に供給して、画像レイアウト部30は、画像1915を画像配置枠1925にレイアウトする。
本実施形態に係る画像出力装置10によれば、テンプレートが含む画像配置位置に対応づけられている合成情報と一致する画像がない場合においても、自動的に画像を回転させて合成情報と一致させることができる。これにより、ユーザが合成情報と一致する画像を撮像し直したり、ユーザが手作業で合成情報と一致する画像となるように画像に対して画像処理をすることがなくなるので、作業の手間を大幅に軽減できる。
図16は、本実施形態に係る画像選択部80およびトリミング画像生成部90の処理の一例を示す。画像選択部80は、オブジェクト向き特定部20が特定した情報が示す角度がより大きい場合に、オブジェクト向き特定部20が特定したオブジェクトの向きの方向に存在する画像内の領域の面積がより大きい画像を選択する。
例えば、画像2000に含まれる顔2015が向く方向2012が法線方向2010となす角度2014と、画像2100に含まれる顔2115が向く方向2112が法線方向2110となす角度2114とを比較すると、画像2000における角度2014の方が画像2100における角度2114よりも大きい。係る場合においてオブジェクト向き特定部20が特定した角度が角度2014であった場合には、画像選択部80は、顔の向きの方向に存在する画像内の領域2022の面積がより大きい画像2020を選択する。一方、オブジェクト向き特定部20が特定した角度が角度2114であった場合には、角度2014の場合と比較して、顔の向きの方向に存在する画像内の領域2122の面積が画像2020における場合よりも小さい画像2120を、画像選択部80は選択してよい。
また、トリミング画像生成部90は、オブジェクト向き特定部20が特定した情報が示す角度がより大きい場合に、オブジェクトの向きの方向に存在する画像内の領域の面積が、オブジェクト向き特定部20が特定した方向とは反対の方向に存在する領域の面積よりも大きくなるように、画像選択部80が選択した画像に含まれるオブジェクトをトリミングしたトリミング画像を生成する。例えば、画像選択部80が選択した画像が画像2000であった場合を考える。係る場合において、画像2000に含まれる人物の顔2015が向く方向は方向2012である。そして、トリミング画像生成部90は、方向2012の方向に存在する画像2000内の領域の面積を、方向2012とは反対の方向に存在する画像2000内の領域の面積よりも大きくなる配置に、人物の顔2015をトリミングしてトリミング画像を生成してよい。
本実施形態に係る画像出力装置10によれば、画像選択部80において、オブジェクトが画像の面の法線方向に対して向く方向がより大きい場合に、オブジェクトの向きの方向に存在する画像内の領域の面積が当該方向とは反対に存在する画像内の領域の面積よりも大きい画像を自動的に選択できる。また、画像選択部80が係る画像を選択できなかった場合においては、トリミング画像生成部90がオブジェクトの向きの方向に存在する画像内の領域の面積がオブジェクトの向きの方向とは反対に存在する画像内の領域の面積よりも大きい画像を自動的に生成できる。これにより、オブジェクトが向いている方向には広い空間を配置できるので、鑑賞者は、違和感を抱くことなく当該画像がレイアウトされたアルバム等を観賞できる。
図17は、本実施形態に係る変換画像生成部94およびトリミング部96の処理の一例を示す。テンプレート1700に含まれる画像配置位置に対応する画像配置枠1702に配置されるべき画像の合成情報として、画像の方向が対応づけられている場合を考える。すなわち、テンプレート1700内の位置1704に向かう方向に、画像の方向を一致させて画像を配置させるために、画像配置枠1702に当該画像の方向に関する合成情報が対応づけられている場合を考える。
ここで画像格納部50が、画像の方向が消失点1712に向いている画像1710しか格納していない場合を考える。係る場合において、変換画像生成部94は、テンプレート1700の画像配置枠1702に対応づけられている方向を示す情報と画像1710の消失点1712が向かう方向とが一致するように、画像1710に対して幾何学的な変換を施した画像1720を生成する。幾何学的な変換は、例えば、アフィン変換であってよい。そして、トリミング部96は、変換画像生成部94が変形した画像1720を、画像配置枠1702の形状にトリミングする。続いて、トリミング部96がトリミングした画像1730を、画像レイアウト部30が画像配置枠1702にレイアウトする。
本実施形態に係る画像出力装置10によれば、テンプレートの画像配置位置に対応づけられている合成情報と一致する画像が存在しない場合に、画像に対して幾何学的な変換を施した画像を生成して画像配置位置にレイアウトできるので、画像配置位置に配置すべき画像の合成情報に対応する画像が画像格納部50に格納されていない場合であっても、ユーザが改めて画像の撮像および画像の作成をすることなく、自動的にテンプレートの画像配置位置に予め対応づけられている合成情報と一致する情報を有する画像をレイアウトできる。
図18は、本実施形態に係るオブジェクト向き決定部86の処理の一例を示す。まず、テンプレート格納部70は、画像が配置されるべき少なくとも一つの画像配置位置が予め定められた出力領域のテンプレートを格納している。具体的には、テンプレート格納部70は、第一の画像が配置されるべき第一の画像配置位置、および第二の画像が配置されるべき第二の画像配置位置が予め定められた出力領域のテンプレートを格納していてよい。そして、第一画像選択部82は、第一の画像配置位置に配置されるべき第一の画像を選択する。続いて、オブジェクト向き決定部86は、第一画像選択部82が選択した第一の画像に含まれるオブジェクトの向きに応じて、第二の画像配置位置に配置されるべき第二の画像に含まれるオブジェクトの向きを決定する。また、オブジェクト向き決定部86は、第一画像選択部82が選択した第一の画像に含まれるオブジェクトの向き、およびテンプレート格納部70が格納しているオブジェクトの相対的な向きに基づいて、第二の画像配置位置に配置されるべき第二の画像に含まれるオブジェクトの向きを決定してもよい。
例えば、テンプレート2200において、画像配置位置2202に第一画像選択部82が選択した画像がレイアウトされ、当該画像に含まれるオブジェクトの向きが方向2210である場合を考える。係る場合において、オブジェクト向き決定部86は、方向2210とは反対方向を向く画像が画像配置位置2204等に配置されるように、画像配置位置2204等に方向2212等を対応づけてよい。また、テンプレート2250において、画像配置位置2252に第一画像選択部82が選択した画像がレイアウトされ、当該画像に含まれるオブジェクトの向きが方向2260である場合を考える。係る場合において、オブジェクト向き決定部86は、方向2260と同一方向を向く画像が画像配置位置2254等に配置されるように、画像配置位置2254等に方向2262等を対応づけてよい。なお、オブジェクト向き決定部86は、テンプレートに複数の画像配置位置が含まれる場合には、画像配置位置ごとに異なる方向をそれぞれ対応づけてもよい。そして、第二画像選択部84は、オブジェクト向き決定部86が決定した向きのオブジェクトを含む第二の画像を画像格納部50から選択する。そして、画像レイアウト部30は、第二画像選択部84が選択した画像を、画像配置位置にそれぞれレイアウトする。
本実施形態に係る画像出力装置10によれば、第一の画像配置枠に配置された画像に含まれるオブジェクトの向きに応じて、第二の画像配置枠に配置すべき画像に含まれるオブジェクトの向きを決定できるので、ユーザ自身が第二の画像を選択することなく、自動的に適切な画像がレイアウトされた画像を出力できる。
図19は、本実施形態に係る画像出力装置10のハードウェア構成の一例を示すブロック図である。本実施形態に係る画像出力装置10は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、および表示装置1580を有するCPU周辺部と、入出力コントローラ1584によりホスト・コントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、およびCD−ROMドライブ1560を有する入出力部と、入出力コントローラ1584に接続されるROM1510、フレキシブルディスク・ドライブ1550、および入出力チップ1570を有するレガシー入出力部とを備える。
ホスト・コントローラ1582は、RAM1520と、高い転送レートでRAM1520をアクセスするCPU1505およびグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510およびRAM1520に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
入出力コントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置である通信インターフェイス1530、ハードディスクドライブ1540、CD−ROMドライブ1560を接続する。通信インターフェイス1530は、ネットワーク120を介して他の装置と通信する。ハードディスクドライブ1540は、画像出力装置10内のCPU1505が使用するプログラムおよびデータを格納する。CD−ROMドライブ1560は、CD−ROM1595からプログラム又はデータを読み取り、RAM1520を介してハードディスクドライブ1540に提供する。
また、入出力コントローラ1584には、ROM1510と、フレキシブルディスク・ドライブ1550、および入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、画像出力装置10が起動時に実行するブート・プログラム、画像出力装置10のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ1550は、フレキシブルディスク1590からプログラム又はデータを読み取り、RAM1520を介してハードディスクドライブ1540に提供する。入出力チップ1570は、フレキシブルディスク・ドライブ1550、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
RAM1520を介してハードディスクドライブ1540に提供される画像出力プログラムは、フレキシブルディスク1590、CD−ROM1595、又はICカード等の記録媒体に格納されて利用者によって提供される。画像出力プログラムは、記録媒体から読み出され、RAM1520を介して画像出力装置10内のハードディスクドライブ1540にインストールされ、CPU1505において実行される。画像出力装置10にインストールされて実行される画像出力プログラムは、CPU1505等に働きかけて、画像出力装置10を、図1から図18にかけて説明したオブジェクト向き特定部20、画像レイアウト部30、画像出力部40、画像格納部50、部位画像格納部60、顔領域抽出部210、部位領域抽出部220、顔向き特定部230、テンプレート格納部70、画像選択部80、オブジェクト向き決定部86、トリミング画像生成部90、画像回転処理部92、変換画像生成部94、トリミング部96、第一画像選択部82、および第二画像選択部84として機能させる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
画像出力装置10の概念図である。 画像出力装置10の機能構成を示すブロック図である。 部位画像格納部60を示す図である。 オブジェクト向き特定部20がオブジェクトの向きを特定する方法を示す図である。 オブジェクト向き特定部20がオブジェクトの向きを特定する方法を示す図である。 顔向き特定部230が人物の視線方向を特定する方法を示す図である。 画像レイアウト部30が画像のレイアウトをした場合を示す図である。 画像レイアウト部30が画像のレイアウトをした場合を示す図である。 画像レイアウト部30が画像のレイアウトをした場合を示す図である。 画像レイアウト部30が画像のレイアウトをした場合を示す図である。 画像出力装置10の機能構成を示すブロック図である。 テンプレート1200を示す図である。 画像選択部80およびトリミング画像生成部90の処理を示す図である。 オブジェクト向き特定部20の処理を示す図である。 画像回転処理部92およびトリミング部96の処理を示す図である。 画像選択部80およびトリミング画像生成部90の処理を示す図である。 変換画像生成部94およびトリミング部96の処理を示す図である。 オブジェクト向き決定部86の処理を示す図である。 画像出力装置10のハードウェア構成を示すブロック図である。
符号の説明
10 画像出力装置
20 オブジェクト向き特定部
30 画像レイアウト部
40 画像出力部
50 画像格納部
60 部位画像格納部
70 テンプレート格納部
80 画像選択部
82 第一画像選択部
84 第二画像選択部
86 オブジェクト向き決定部
90 トリミング画像生成部
92 画像回転処理部
94 変換画像生成部
96 トリミング部
110 撮像装置
120 ネットワーク
210 顔領域抽出部
220 部位領域抽出部
230 顔向き特定部
260 人物
270、290 目
280 鼻
300、330、340 書籍
310、312、314、316、322 画像
320 紙面
324、332、334、336、338 画像
342、344、500、530、540 画像
502 一点鎖線
510 列車
1200 テンプレート
1210、1220 画像配置枠
1212、1222 合成情報
1300、1310 画像
1302、1312 領域
1304、1314 人物
1306、1316 矢印
1400、1600、1800 画像
1402、1404 目
1406、1606、1806 交点
1452、1650、1852 法線方向
1450、1850 方向
1454、1854 角度
1505 CPU
1510 ROM
1520 RAM
1530 通信インターフェイス
1540 ハードディスクドライブ
1550 フレキシブルディスク・ドライブ
1560 CD−ROMドライブ
1570 入出力チップ
1575 グラフィック・コントローラ
1580 表示装置
1582 ホスト・コントローラ
1584 入出力コントローラ
1590 フレキシブルディスク
1595 CD−ROM
1602、1604 目
1610 頭頂
1612 あご
1700、1920 テンプレート
1702、1925 画像配置枠
1704、1927 位置
1710、1720、1730 画像
1712 消失点
1900、1910、1915 画像
1902、1904、2012、2112 方向
2000、2020、2100、2120 画像
2010、2110 法線方向
2014、2114 角度
2015、2115 顔
2022、2122 領域
2025、2125 人物
2200、2250 テンプレート
2202、2204、2206、2208 画像配置位置
2210、2212、2214、2216 方向
2252、2254、2256、2258 画像配置位置
2260、2262、2264、2266 方向

Claims (25)

  1. 画像に含まれるオブジェクトの前記画像における向きを特定するオブジェクト向き特定部と、
    前記オブジェクト向き特定部が特定したオブジェクトの向きに基づいて、前記画像を出力領域内にレイアウトする画像レイアウト部と、
    前記画像レイアウト部によって出力領域内にレイアウトされた前記画像を出力する画像出力部と
    を備える画像出力装置。
  2. 前記画像レイアウト部は、前記オブジェクト向き特定部が特定したオブジェクトの向きが、出力領域の中心方向を向くように、前記画像を出力領域内にレイアウトする
    請求項1に記載の画像出力装置。
  3. 前記オブジェクトは、人物であり、
    前記オブジェクト向き特定部は、前記画像に含まれる人物の前記画像における向きを特定し、
    前記画像レイアウト部は、前記オブジェクト向き特定部が特定した人物の向きに基づいて、前記画像をレイアウトする
    請求項1に記載の画像出力装置。
  4. 前記オブジェクト向き特定部は、前記画像に含まれる人物の体の前記画像における向きを特定し、
    前記画像レイアウト部は、前記オブジェクト向き特定部が特定した人物の体の向きに基づいて、前記画像をレイアウトする
    請求項3に記載の画像出力装置。
  5. 前記オブジェクト向き特定部は、前記画像に含まれる人物の顔の前記画像における向きを特定し、
    前記画像レイアウト部は、前記オブジェクト向き特定部が特定した人物の顔の向きに基づいて、前記画像をレイアウトする
    請求項3に記載の画像出力装置。
  6. 前記オブジェクト向き特定部は、
    前記画像に含まれる人物の顔の領域を抽出する顔領域抽出部と、
    前記顔領域抽出部が抽出した顔の領域に含まれる、人物の顔を構成する複数の部位を抽出する部位領域抽出部と、
    前記顔領域抽出部が抽出した顔の領域における、前記部位領域抽出部が抽出した複数の部位の位置に基づいて、前記画像に含まれる人物の顔の前記画像における向きを特定する顔向き特定部と
    を有する請求項5に記載の画像出力装置。
  7. 前記オブジェクトは、人物であり、
    前記オブジェクト向き特定部は、前記画像に含まれる人物の前記画像における視線方向を特定し、
    前記画像レイアウト部は、前記オブジェクト向き特定部が特定した人物の視線方向に基づいて、前記画像をレイアウトする
    請求項1に記載の画像出力装置。
  8. 前記画像出力部は、前記画像レイアウト部にレイアウトされた前記画像を表示する表示部を有し、
    前記画像レイアウト部は、前記オブジェクト向き特定部が特定したオブジェクトの向きに基づいて、前記表示部の表示画面の出力領域内に前記画像をレイアウトする
    請求項1に記載の画像出力装置。
  9. 前記画像出力部は、前記画像レイアウト部にレイアウトされた前記画像を印刷する印刷部を有し、
    前記画像レイアウト部は、前記オブジェクト向き特定部が特定したオブジェクトの向きに基づいて、前記印刷部の印刷媒体の出力領域内に前記画像をレイアウトする
    請求項1に記載の画像出力装置。
  10. 画像配置位置と当該画像配置位置に配置されるべき画像に含まれるオブジェクトの向きとが予め定められた出力領域のテンプレートを格納しているテンプレート格納部と、
    前記テンプレート格納部が格納しているテンプレートが含む画像配置位置に対応づけられているオブジェクトの向きと、前記オブジェクト向き特定部が特定したオブジェクトの向きとが一致する画像を選択する画像選択部と
    を更に備え、
    前記画像レイアウト部は、前記画像選択部が選択した画像をテンプレートの画像配置位置にレイアウトする
    請求項1に記載の画像出力装置。
  11. 前記画像選択部は、前記オブジェクト向き特定部が特定したオブジェクトの向きの方向に存在する画像内の領域の面積が、前記オブジェクト向き特定部が特定した方向とは反対の方向に存在する画像内の領域の面積より大きい画像を選択する
    請求項10に記載の画像出力装置。
  12. 前記オブジェクト向き特定部が特定したオブジェクトの向きの方向に存在する画像内の領域の面積が、前記オブジェクト向き特定部が特定したオブジェクトの向きの方向とは反対の方向に存在する画像内の領域の面積よりも大きくなるように、前記画像選択部が選択した画像に含まれるオブジェクトをトリミングしてトリミング画像を生成するトリミング画像生成部を更に備え、
    前記画像レイアウト部は、前記トリミング画像生成部が生成したトリミング画像をテンプレートの画像配置位置にレイアウトする
    請求項10に記載の画像出力装置。
  13. 前記オブジェクト向き特定部が特定したオブジェクトの向きの方向と、前記テンプレート格納部が格納しているテンプレートが含む画像配置位置に対応づけられているオブジェクトの向きの方向とが一致する画像が存在しない場合に、前記オブジェクト向き特定部が特定したオブジェクトの向きの方向と前記テンプレート格納部が格納しているテンプレートの画像配置位置に対応づけられているオブジェクトの向きの方向とが一致するように、画像に対して幾何学的な変換を施した画像を生成する変換画像生成部を更に備え、
    前記画像レイアウト部は、前記変換画像生成部が生成した画像を画像配置位置にレイアウトする
    請求項10に記載の画像出力装置。
  14. 前記変換画像生成部が生成した画像を、画像配置位置の画像配置枠の形状にトリミングするトリミング部を更に備え、
    前記画像レイアウト部は、前記トリミング部がトリミングした画像を画像配置位置にレイアウトする
    請求項13に記載の画像出力装置。
  15. 前記オブジェクト向き特定部は、画像の面の法線方向に対してオブジェクトが向く方向がなす角度を示す情報を特定し、
    前記テンプレート格納部は、画像の面の法線方向に対してオブジェクトが向く方向がなす角度を示す情報が画像配置位置に対応づけられたテンプレートを格納し、
    前記画像選択部は、前記オブジェクト向き特定部が特定した角度を示す情報と、前記テンプレート格納部が格納しているテンプレートが含む画像配置位置に対応づけられている角度を示す情報とが一致する画像を選択する
    請求項10に記載の画像出力装置。
  16. 前記オブジェクト向き特定部が特定した角度を示す情報と、前記テンプレート格納部が格納しているテンプレートが含む画像配置位置に対応づけられている角度を示す情報とが一致する画像が存在しない場合に、前記オブジェクト向き特定部が特定した角度を示す情報と前記テンプレート格納部が格納しているテンプレートの画像配置位置に対応づけられている角度を示す情報とが一致するように、画像を画像の面の水平方向に沿って回転させる画像回転処理部を更に備え、
    前記画像レイアウト部は、前記画像回転処理部が回転させた画像をテンプレートの画像配置位置にレイアウトする
    請求項15に記載の画像出力装置。
  17. 前記画像回転処理部が回転させた画像を、画像配置位置の画像配置枠の形状にトリミングするトリミング部を更に備え、
    前記画像レイアウト部は、前記トリミング部がトリミングした画像を画像配置位置にレイアウトする
    請求項16に記載の画像出力装置。
  18. 前記画像選択部は、前記オブジェクト向き特定部が特定した情報が示す角度がより大きい場合に、前記オブジェクト向き特定部が特定したオブジェクトの向きの方向に存在する画像内の領域の面積がより大きい画像を選択する
    請求項13に記載の画像出力装置。
  19. 前記オブジェクト向き特定部が特定した情報が示す角度がより大きい場合に、前記オブジェクト向き特定部が特定したオブジェクトの向きの方向に存在する画像内の領域の面積が、より大きくなるように、前記画像選択部が選択した画像に含まれるオブジェクトをトリミングしてトリミング画像を生成するトリミング画像生成部を更に備え、
    前記画像レイアウト部は、前記トリミング画像生成部が生成したトリミング画像をテンプレートの画像配置位置にレイアウトする
    請求項15に記載の画像出力装置。
  20. 前記オブジェクト向き特定部が特定した角度を示す情報と、前記テンプレート格納部が格納しているテンプレートが含む画像配置位置に対応づけられている角度を示す情報とが一致する画像が存在しない場合に、前記オブジェクト向き特定部が特定した角度を示す情報と前記テンプレート格納部が格納しているテンプレートの画像配置位置に対応づけられている角度を示す情報とが一致するように、画像に対して幾何学的な変換を施した画像を生成する変換画像生成部を更に備え、
    前記画像レイアウト部は、前記変換画像生成部が生成した画像を画像配置位置にレイアウトする
    請求項15に記載の画像出力装置。
  21. 前記変換画像生成部が生成した画像を、画像配置位置の画像配置枠の形状にトリミングするトリミング部を更に備え、
    前記画像レイアウト部は、前記トリミング部がトリミングした画像を画像配置位置にレイアウトする
    請求項20に記載の画像出力装置。
  22. 第一の画像が配置されるべき第一の画像配置位置、および第二の画像が配置されるべき第二の画像配置位置が予め定められた出力領域のテンプレートを格納するテンプレート格納部と、
    前記第一の画像配置位置に配置されるべき第一の画像を選択する第一画像選択部と、
    前記第一画像選択部が選択した第一の画像に含まれるオブジェクトの向きに応じて、前記第二の画像配置位置に配置されるべき第二の画像に含まれるオブジェクトの向きを決定するオブジェクト向き決定部と、
    前記オブジェクト向き決定部が決定した向きのオブジェクトを含む第二の画像を選択する第二画像選択部と
    をさらに備え、
    前記画像レイアウト部は、前記第一画像選択部が選択した第一の画像を前記第一の画像配置位置にレイアウトし、前記第二画像選択部が選択した第二の画像を前記第二の画像配置位置にレイアウトする
    請求項1に記載の画像出力装置。
  23. 前記テンプレート格納部は、前記第二の画像配置位置と、前記第一の画像に含まれるオブジェクトの向きに対する相対的なオブジェクトの向きとが予め定められた出力領域のテンプレートを格納し、
    前記オブジェクト向き決定部は、前記第一画像選択部が選択した第一の画像に含まれるオブジェクトの向き、および前記テンプレート格納部が格納しているオブジェクトの相対的な向きに基づいて、前記第二の画像配置位置に配置されるべき第二の画像に含まれるオブジェクトの向きを決定する
    請求項22に記載の画像出力装置。
  24. 画像に含まれるオブジェクトの前記画像における向きを特定するオブジェクト向き特定段階と、
    オブジェクト向き特定段階において特定されたオブジェクトの向きに基づいて、前記画像を出力領域内にレイアウトする画像レイアウト段階と、
    前記画像レイアウト段階において出力領域内にレイアウトされた前記画像を出力する画像出力段階と
    を備える画像出力方法。
  25. 画像を出力する画像出力装置用の画像出力プログラムであって、前記画像出力装置を、
    画像に含まれるオブジェクトの前記画像における向きを特定するオブジェクト向き特定部、
    前記オブジェクト向き特定部が特定したオブジェクトの向きに基づいて、前記画像を出力領域内にレイアウトする画像レイアウト部、
    前記画像レイアウト部によって出力領域内にレイアウトされた前記画像を出力する画像出力部
    として機能させる画像出力プログラム。
JP2006037271A 2005-03-08 2006-02-14 画像出力装置、画像出力方法、および画像出力プログラム Pending JP2006287917A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006037271A JP2006287917A (ja) 2005-03-08 2006-02-14 画像出力装置、画像出力方法、および画像出力プログラム
EP06004633A EP1701308B1 (en) 2005-03-08 2006-03-07 Image layout apparatus, image layout method and image layout program
US11/369,864 US7773782B2 (en) 2005-03-08 2006-03-08 Image output apparatus, image output method and image output program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005064194 2005-03-08
JP2006037271A JP2006287917A (ja) 2005-03-08 2006-02-14 画像出力装置、画像出力方法、および画像出力プログラム

Publications (1)

Publication Number Publication Date
JP2006287917A true JP2006287917A (ja) 2006-10-19

Family

ID=36084229

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006037271A Pending JP2006287917A (ja) 2005-03-08 2006-02-14 画像出力装置、画像出力方法、および画像出力プログラム

Country Status (3)

Country Link
US (1) US7773782B2 (ja)
EP (1) EP1701308B1 (ja)
JP (1) JP2006287917A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008245015A (ja) * 2007-03-28 2008-10-09 Casio Comput Co Ltd 画像処理装置及びプログラム
JP2009135720A (ja) * 2007-11-30 2009-06-18 Sanyo Electric Co Ltd 画像合成装置
JP2009157767A (ja) * 2007-12-27 2009-07-16 Nippon Telegr & Teleph Corp <Ntt> 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体
JP2009205283A (ja) * 2008-02-26 2009-09-10 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2009238162A (ja) * 2008-03-28 2009-10-15 Fujifilm Corp 画像配置方法、プログラムおよび装置
JP2009260957A (ja) * 2008-03-26 2009-11-05 Fujifilm Corp 画像作成装置および画像作成方法
JP2010081537A (ja) * 2008-09-29 2010-04-08 Canon Inc 画像処理方法及び画像処理装置
JP2012044646A (ja) * 2010-07-22 2012-03-01 Fujifilm Corp 画像処理装置、画像処理方法およびプログラム
WO2014141771A1 (ja) * 2013-03-12 2014-09-18 オリンパスイメージング株式会社 撮像装置、画像処理方法、画像処理プログラム、及び、記録媒体
US9509870B2 (en) 2013-09-05 2016-11-29 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium enabling layout varations
US9846681B2 (en) 2012-07-09 2017-12-19 Canon Kabushiki Kaisha Apparatus and method for outputting layout image
JP2019022166A (ja) * 2017-07-20 2019-02-07 京セラドキュメントソリューションズ株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293986A (ja) 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP4588642B2 (ja) 2005-03-15 2010-12-01 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
JP2006293985A (ja) 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP2006295890A (ja) * 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP2006304265A (ja) * 2005-03-25 2006-11-02 Fuji Photo Film Co Ltd 画像出力装置、画像出力方法、および画像出力プログラム
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
JP4525618B2 (ja) * 2006-03-06 2010-08-18 ソニー株式会社 映像監視システムおよび映像監視プログラム
US8572642B2 (en) * 2007-01-10 2013-10-29 Steven Schraga Customized program insertion system
US8570373B2 (en) 2007-06-08 2013-10-29 Cisco Technology, Inc. Tracking an object utilizing location information associated with a wireless device
JP4998995B2 (ja) 2007-06-08 2012-08-15 富士フイルム株式会社 アルバム作成装置および方法ならびにプログラム
US20090142001A1 (en) * 2007-11-30 2009-06-04 Sanyo Electric Co., Ltd. Image composing apparatus
US8355041B2 (en) 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8319819B2 (en) 2008-03-26 2012-11-27 Cisco Technology, Inc. Virtual round-table videoconference
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
JP5043767B2 (ja) * 2008-07-08 2012-10-10 キヤノン株式会社 画像処理装置及び画像処理方法
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
US20100208078A1 (en) * 2009-02-17 2010-08-19 Cisco Technology, Inc. Horizontal gaze estimation for video conferencing
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US8477175B2 (en) 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
JP5366699B2 (ja) * 2009-08-10 2013-12-11 キヤノン株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
KR20110074166A (ko) * 2009-12-24 2011-06-30 삼성전자주식회사 디지털 컨텐츠 생성방법
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
USD626102S1 (en) 2010-03-21 2010-10-26 Cisco Tech Inc Video unit with integrated features
USD626103S1 (en) 2010-03-21 2010-10-26 Cisco Technology, Inc. Video unit with integrated features
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
USD682293S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD678894S1 (en) 2010-12-16 2013-03-26 Cisco Technology, Inc. Display screen with graphical user interface
USD678320S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682294S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD678307S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
USD678308S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682864S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen with graphical user interface
KR20120078980A (ko) * 2011-01-03 2012-07-11 삼성전자주식회사 휴대단말기에서 영상의 방향정보 추출장치 및 방법
JP2012160039A (ja) * 2011-02-01 2012-08-23 Fujifilm Corp 画像処理装置、立体画像印刷システム、画像処理方法およびプログラム
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
JP5994328B2 (ja) * 2012-03-29 2016-09-21 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
US9298970B2 (en) * 2012-11-27 2016-03-29 Nokia Technologies Oy Method and apparatus for facilitating interaction with an object viewable via a display
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
KR20140122952A (ko) * 2013-04-11 2014-10-21 삼성전자주식회사 이미지 합성 방법 및 이를 구현하는 전자 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2973676B2 (ja) * 1992-01-23 1999-11-08 松下電器産業株式会社 顔画像特徴点抽出装置
KR100513408B1 (ko) * 1995-02-08 2006-01-27 소니 가부시끼 가이샤 화상편집장치
US6128397A (en) * 1997-11-21 2000-10-03 Justsystem Pittsburgh Research Center Method for finding all frontal faces in arbitrarily complex visual scenes
GB0116113D0 (en) * 2001-06-30 2001-08-22 Hewlett Packard Co Tilt correction of electronic images
US20030174869A1 (en) * 2002-03-12 2003-09-18 Suarez Anthony P. Image processing apparatus, image processing method, program and recording medium
JP2004221647A (ja) 2003-01-09 2004-08-05 Fuji Photo Film Co Ltd 旅行アルバム作成方法および装置並びにプログラム
JP2005064194A (ja) 2003-08-11 2005-03-10 Seiko Epson Corp Soi構造を有する半導体基板及びその製造方法及び半導体装置
JP2005109693A (ja) * 2003-09-29 2005-04-21 Seiko Epson Corp 要素レイアウトシステム、要素レイアウト装置、要素レイアウトプログラム及び要素レイアウト方法
JP4507790B2 (ja) * 2003-12-24 2010-07-21 セイコーエプソン株式会社 レイアウト要素の配置装置、配置プログラム、及び電子機器
JP4453365B2 (ja) * 2004-01-09 2010-04-21 セイコーエプソン株式会社 画像レイアウト装置及び画像レイアウトプログラム、並びに画像レイアウト方法
JP2006037271A (ja) 2004-07-26 2006-02-09 Honda Motor Co Ltd ヘルメット

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008245015A (ja) * 2007-03-28 2008-10-09 Casio Comput Co Ltd 画像処理装置及びプログラム
JP2009135720A (ja) * 2007-11-30 2009-06-18 Sanyo Electric Co Ltd 画像合成装置
JP2009157767A (ja) * 2007-12-27 2009-07-16 Nippon Telegr & Teleph Corp <Ntt> 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体
JP2009205283A (ja) * 2008-02-26 2009-09-10 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
US8300064B2 (en) 2008-03-26 2012-10-30 Fujifilm Corporation Apparatus and method for forming a combined image by combining images in a template
JP2009260957A (ja) * 2008-03-26 2009-11-05 Fujifilm Corp 画像作成装置および画像作成方法
JP2009238162A (ja) * 2008-03-28 2009-10-15 Fujifilm Corp 画像配置方法、プログラムおよび装置
JP2010081537A (ja) * 2008-09-29 2010-04-08 Canon Inc 画像処理方法及び画像処理装置
US8526741B2 (en) 2008-09-29 2013-09-03 Canon Kabushiki Kaisha Apparatus and method for processing image
JP2012044646A (ja) * 2010-07-22 2012-03-01 Fujifilm Corp 画像処理装置、画像処理方法およびプログラム
US9020328B2 (en) 2010-07-22 2015-04-28 Fujifilm Corporation Image processing device, image processing method, and program
US9311961B2 (en) 2010-07-22 2016-04-12 Fujifilm Corporation Image extracting device, image extracting method, and recording medium
US9846681B2 (en) 2012-07-09 2017-12-19 Canon Kabushiki Kaisha Apparatus and method for outputting layout image
WO2014141771A1 (ja) * 2013-03-12 2014-09-18 オリンパスイメージング株式会社 撮像装置、画像処理方法、画像処理プログラム、及び、記録媒体
US9684988B2 (en) 2013-03-12 2017-06-20 Olympus Corporation Imaging device, image processing method, and recording medium
US9509870B2 (en) 2013-09-05 2016-11-29 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium enabling layout varations
JP2019022166A (ja) * 2017-07-20 2019-02-07 京セラドキュメントソリューションズ株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
EP1701308A3 (en) 2007-10-03
EP1701308B1 (en) 2012-11-28
US7773782B2 (en) 2010-08-10
EP1701308A2 (en) 2006-09-13
US20060204135A1 (en) 2006-09-14

Similar Documents

Publication Publication Date Title
JP2006287917A (ja) 画像出力装置、画像出力方法、および画像出力プログラム
JP5084938B2 (ja) 画像抽出装置、画像抽出方法、及び画像抽出プログラム
JP4642695B2 (ja) アルバム作成システム、アルバム作成方法、プログラムおよびアルバム作成装置
JP4860342B2 (ja) アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム
JP2006304265A (ja) 画像出力装置、画像出力方法、および画像出力プログラム
US8111948B2 (en) Album creating apparatus, album creating method and computer readable medium
JP5432532B2 (ja) 化粧方法、化粧シミュレーション装置、及び化粧シミュレーションプログラム
US8249312B2 (en) Image processing device and image processing method
US20090028390A1 (en) Image Processing for Estimating Subject Distance
US8031226B2 (en) Image output apparatus, image output method, image output program, image trimming apparatus, image trimming method, and image trimming program
JP4704225B2 (ja) アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム
US20090285457A1 (en) Detection of Organ Area Corresponding to Facial Organ Image in Image
JP2007122684A (ja) レイアウト情報生成装置、レイアウト情報生成方法、レイアウト情報生成プログラム、発注者装置、画像作成システム、画像作成方法、および画像作成プログラム
JP2008535039A (ja) アルバム作成装置、アルバム作成方法、及びアルバム作成プログラム
JP4781844B2 (ja) 画像出力装置、画像出力方法、および画像出力プログラム
JP4790444B2 (ja) 画像抽出装置、画像抽出方法、及び画像抽出プログラム
JP4957607B2 (ja) 画像における顔領域の検出
CA2525514A1 (en) Feature based caricaturing
JP2003150599A (ja) 電子出版物閲覧方法及びその装置と、電子出版物閲覧用書籍と、電子出版物閲覧プログラム及びそのプログラムを記録した記録媒体
JP2004288082A (ja) 似顔絵作成方法および似顔絵作成装置ならびにプログラム
JP2007266782A (ja) 画像管理装置、画像管理方法、及びプログラム
JP2007172271A (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
JP2000270199A (ja) 写真プリントの処理方法
JP3062859U (ja) 画像合成装置
JP2007104359A (ja) 画像レイアウト装置および方法並びにプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061212