JP2021135677A - 画像識別装置、画像編集装置、画像生成装置、画像識別方法、プログラム - Google Patents

画像識別装置、画像編集装置、画像生成装置、画像識別方法、プログラム Download PDF

Info

Publication number
JP2021135677A
JP2021135677A JP2020030699A JP2020030699A JP2021135677A JP 2021135677 A JP2021135677 A JP 2021135677A JP 2020030699 A JP2020030699 A JP 2020030699A JP 2020030699 A JP2020030699 A JP 2020030699A JP 2021135677 A JP2021135677 A JP 2021135677A
Authority
JP
Japan
Prior art keywords
image
information
image information
identification
actual size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020030699A
Other languages
English (en)
Inventor
和哉 野林
Kazuya Nohayashi
和哉 野林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020030699A priority Critical patent/JP2021135677A/ja
Priority to US17/183,952 priority patent/US11470208B2/en
Publication of JP2021135677A publication Critical patent/JP2021135677A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00167Processing or editing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00183Photography assistance, e.g. displaying suggestions to the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185Image output
    • H04N1/00188Printing, e.g. prints or reprints
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/393Enlarging or reducing
    • H04N1/3935Enlarging or reducing with modification of image resolution, i.e. determining the values of picture elements at new relative positions

Abstract

【課題】被写体の実寸に応じた画像生成が可能か否かを識別する画像識別装置を提供する。【解決手段】電子アルバム編集装置120は、記憶部110から画像情報とメタデータを取得して画像データを生成する。画像識別装置130は画像取得部131と画像識別部132を備える。画像取得部131は、画像情報および当該画像情報と対応するメタデータを取得する。画像識別部132は取得された画像情報の種別を識別する。画像識別部132は、メタデータに画像情報の画素の大きさを物体側に射影した場合の大きさがわかるための第1の情報が含まれている場合、対象画像を実寸比の特定が可能な画像情報であると識別する。実寸比算出部123は、画像識別部132によって実寸比の特定が可能な画像であると識別された場合、メタデータを用いて実寸比に対応する画像サイズを算出する。【選択図】 図1

Description

本発明は、画像編集装置や画像生成装置にて被写体の実寸に応じた印刷または表示が可能な画像を識別する技術に関する。
取得された撮影画像から距離情報を算出する方法において、例えば、異なる視点で撮影画像を取得し、撮影画像間の相関値や類似度から視差量を求めることで距離情報を取得できる。特許文献1には、ステレオ撮像装置を用いて対象物を撮影し、指定された2点間の長さを計測可能な撮像装置が開示されている。また特許文献2には、撮像装置が備える結像光学系において、異なる瞳領域を通過した光束による像を取得することで、撮影画像と被写体距離情報とを同時に取得可能な撮像装置が開示されている。
被写体の撮影画像と同時に距離情報を取得することで、被写体の実寸に応じた表示や印刷を行うことができる。例えば、被写体である子供を異なる年齢で撮影し、撮影時の年齢が異なる被写体の画像を、所定の実寸比にしたがって印刷台紙上に配置する処理が行われる。これにより、ユーザは子供の成長過程をより実感できる印刷物の作製が可能である。
特開2011−232330号公報 特開2019−9511号公報
ところで、撮影画像は必ずしも被写体の実寸に応じた印刷や表示が可能な画像情報をもつとは限らない。ユーザが撮影画像やサムネイル画像を見た場合、実寸に応じた印刷や表示が可能な画像であるかどうかを識別することは難しい。また、電子アルバムにおいて1頁内に複数の画像が配置される場合には、画像を見ただけでは実寸に応じた印刷や表示が可能であるか否かをユーザが識別することは一般に困難である。仮に、実寸に応じた印刷が可能な画像であるにも関わらず、ユーザの指示どおりに画像サイズを所定のサイズから変更すると、実寸に応じた印刷ができなくなってしまう。
本発明は、被写体の実寸に応じた画像生成が可能か否かを識別する画像識別装置を提供することを目的とする。
本発明の実施形態の装置は、画像情報の種別を識別する画像識別装置であって、前記画像情報および前記画像情報と関連する情報を取得する取得手段と、前記画像情報と関連する情報を用いて前記画像情報の種別を識別する識別手段と、を備える。前記識別手段は、前記画像情報の画素の大きさを物体側に射影した場合の大きさがわかるための第1の情報が前記画像情報と関連する情報に含まれる場合、前記画像情報を被写体の実寸比の特定が可能な画像の情報であると識別する。
本発明によれば、被写体の実寸に応じた画像生成が可能か否かを識別する画像識別装置を提供することができる。
第1実施形態に係る電子アルバム印刷装置の構成を示すブロック図である。 第1実施形態に係る電子アルバム編集装置の処理を説明する図である。 画素サイズを物体側に射影するための情報について説明する図である。 第1実施形態の変形例に係る電子アルバム印刷装置を説明する図である。 第2実施形態に係る画像印刷装置の構成を示すブロック図である。
本発明の実施形態に係る画像識別装置、画像編集装置、画像生成装置について、図面を参照しつつ詳細に説明する。各実施形態において画像識別装置は画像情報の種別を識別する装置であって、画像編集装置、画像生成装置に適用される。画像編集装置はユーザが撮像画像の編集作業に用いる装置であり、画像生成装置は印刷用画像または表示用画像を生成する装置である。
[第1実施形態]
本実施形態では、選択された画像が実寸比を算出可能な画像である場合、実寸比に応じた画像サイズの算出およびユーザの操作指示に基づく任意の画像サイズへの変更を禁止する処理を行う例を示す。
図1は、画像識別装置を備える電子アルバム印刷装置の構成を模式的に示すシステム構成図である。電子アルバム印刷装置100は、記憶部110、電子アルバム編集装置120、印刷部140、表示部150を備える。記憶部110には、印刷に用いる画像情報が格納されている。電子アルバム編集装置120は記憶部110から画像情報を取得し、画像情報を用いて印刷用画像データを生成する。
印刷部140は、電子アルバム編集装置120が生成した印刷用画像データを取得し、所定の印刷用紙への印刷処理を行う。表示部150は、電子アルバム編集装置120が生成した印刷用画像データに対応する画像の表示処理や、電子アルバム印刷装置100を使用するユーザへの報知用の表示処理を行う。
電子アルバム編集装置120は、画像識別装置130、実寸比算出部123、画像配置部124、設定値記憶部125を備える。設定値記憶部125には、電子アルバム編集装置120で用いられる各種設定情報が予め記憶されている。
画像識別装置130は画像情報の種別を識別するために画像取得部131と画像識別部132を備える。画像識別装置130は、記憶部110から読み出された画像情報について実寸比の算出(特定)が可能な画像(以下、算出可能画像という)であるか否かを識別する。例えば画像取得部131は、記憶部110から画像情報、および画像情報と対応するメタデータを取得する。画像識別部132は、画像取得部131が取得したメタデータを用いて、対象画像が実寸比の算出可能画像であるかどうかの識別処理を実行する。ここで、画像情報及び画像情報と対応するメタデータは関連付けられて別個に記憶部110に記憶されていてもよいし、1ファイルの、例えばExif形式の画像ファイルとして記憶されていてもよい。
実寸比算出部123は、対象画像が画像識別部132によって実寸比の算出可能画像であると識別された場合、画像取得部131が取得したメタデータを用いて、実寸比に対応する画像サイズを算出する。実寸比については、設定値記憶部125に記憶されている実寸比の設定値を取得して用いることができる。あるいは、実寸比としてユーザ指示部(不図示の操作部材やタッチパネル等)によりユーザが指示する入力値を用いても構わない。
画像配置部124は、印刷部140から印刷用紙のサイズに関する情報を取得し、画像取得部131が取得した画像を印刷用紙上に配置する処理を行うことで印刷用画像データを生成する。対象画像が画像識別部132により識別された実寸比の算出可能画像である場合、画像配置部124は実寸比算出部123により算出された画像サイズを用い、原則として当該画像サイズ以外への変更を禁止する。また、画像識別部132によって対象画像が実寸比の算出可能画像でないと識別された場合に画像配置部124は、設定値記憶部125から取得した画像サイズの設定値、またはユーザ指示部によるユーザの入力値を用いて画像サイズを設定する。画像情報を配置する位置と切り出し領域は、画像配置部124が設定値記憶部125から取得した情報を用いて決定するか、またはユーザ指示部によりユーザが入力する位置および切り出し領域の情報を用いて決定する。
本実施形態の画像配置部124は、画像識別部132により識別された実寸比の算出可能画像に対して、実寸比算出部123が算出した画像サイズから、別の画像サイズへの変更を禁止する。実寸比の算出可能画像に対する画像サイズの変更を禁止することで、実寸比の算出可能画像を実寸比に則して印刷することができる。実寸比の算出可能画像の印刷処理では、ユーザの意図しない、実寸比とは異なる印刷結果となることを防ぐ措置が講じられる。すなわち、ユーザが実寸比の算出可能画像に対する画像サイズの変更を電子アルバム編集装置120に指示した場合、実寸比とは異なる比率の印刷結果になることを、表示部150によってユーザに報知する処理が実行される。ユーザへの報知の結果として、ユーザが実寸比と異なる比率の画像サイズに変更することを許可する指示を行った場合には、対象画像が実寸比の算出可能画像であっても、画像配置部124は画像サイズの変更を行う。
次に図2を参照して、電子アルバム編集装置120が行う処理について説明する。図2(A)のフローチャートにおいて、ユーザの指示にしたがって印刷用画像データの生成処理が開始されると、S210の処理に移行する。
S210にて画像取得部131は、記憶部110から画像情報および画像情報と対応するメタデータを取得する。例えば、画像情報およびメタデータは、別々のデータファイルに格納されて記憶部110が保持している。あるいは、画像情報に対するメタデータの対応付けの間違いや、メタデータの管理にかかる手間を考慮して、画像情報とメタデータの両方が、1つのデータファイル中に格納されて記憶部110が保持している。例えば、画像情報を含むデータファイルのヘッダ領域にメタデータを格納することができる。
S220にて画像識別部132は、S210で画像取得部131により取得されたメタデータを用いて画像情報の種別を識別する。S220では、画像情報の画素のサイズを物体側に射影したサイズが算出可能な情報をメタデータが含む場合、画像識別部132は、取得された画像が実寸比の算出可能画像であると識別する。すなわち、像側の画素サイズを物体側に射影したサイズ(以下、射影サイズともいう)を算出可能な情報がメタデータに含まれている場合には、実寸比の算出が可能である。射影サイズを算出可能な情報については、図3を用いて後述する。
S230にて実寸比算出部123は、対象画像が実寸比の算出可能画像である場合、画像取得部131によりS210で取得されたメタデータを用いて、所定の実寸比に応じた印刷用紙上の画像サイズを算出する。実寸比算出処理の詳細については図2(B)を用いて後述する。S240にて画像配置部124は、印刷用紙上に配置する画像情報の画像サイズ、位置、切り出し領域を決定することで印刷用画像データを生成する。
図3を参照して、物体側の画素サイズ(射影サイズ)の算出方法について説明する。図3(A)は、画素サイズを物体側に射影するための情報について説明する模式図である。撮像装置310は結像光学系(撮像光学系)330および撮像素子320を備える。図3(A)には物体側の画素サイズ343に対応する、像側の画素サイズ344を示している。像側の画素サイズ344は、一般的には撮像素子320の画素ピッチである。物体側の画素サイズ343は、像側の画素サイズ344に撮影倍率を乗算した値となる。
撮影倍率は、結像光学系330の物体側の主点から被写体までの距離341と、結像光学系330の像側の主点から撮像素子320までの距離342との比で与えられる。なお、距離341については結像光学系330の最も物側にあるレンズの頂点からの距離で近似を行ってもよい。また、距離342については結像光学系330の焦点距離で近似を行ってもよい。すなわち、撮像素子320の画素サイズと撮影倍率が分かれば、物体側の画素サイズ343を算出することができる。撮影倍率を算出するためには、被写体までの距離と結像光学系の主点から撮像素子までの距離(または結像光学系330の焦点距離)が分かっていることが前提である。被写体の距離情報は、例えば瞳分割型撮像素子を用いた撮像面位相差検出方法によって、視点の異なる複数の画像データから算出することができる。
図3(A)を参照して、撮像素子320の画素サイズを物体側に射影する方法について説明したが、別の方法として、撮像素子320の有効領域の幅(水平幅と垂直幅)に撮像倍率を乗じることで物体側に射影する方法がある。物体側に射影した撮像素子320の有効領域のサイズを、画像情報の画素数(水平画素数×垂直画素数)で除算することで、物体側に射影した画素サイズを算出することができる。
結像光学系330から被写体までの距離(被写体距離)は、画像情報に含まれる被写体領域情報に関するいずれか1点までの距離で構わない。被写体と撮像装置310とが正対していない場合を考慮すると、複数の画角において被写体の距離情報を取得し、距離情報をメタデータに格納することが望ましい。なお、距離情報は撮像画像内の被写体の奥行き方向の深さを表す深度情報である。深度情報としては、例えば視点の異なる複数の視点画像から算出される像ずれ量マップや、像ずれ量に所定の変換係数を乗算して算出されるデフォーカス量マップがある。デフォーカス量を被写体の距離情報に換算した距離マップや距離画像の情報は、撮像画像に関連する距離分布を表す。
図3(B)は、被写体Oと撮像装置310とが正対していない場合の説明図である。画角中心の1点のみでの被写体までの距離を用いて物体側の画素サイズを算出する場合を想定する。この場合、平面351は被写体Oに沿った平面352に対して傾いた平面である。この平面351に沿った被写体Oの大きさが算出されるので、被写体Oの下側と上側とで、物体側の画素サイズに誤差が発生する可能性がある。つまり、被写体Oの大きさは被写体Oにかかわる平面352に沿って計測することが望ましい。したがって、画角中心に加えて、複数の画角(例えば、複数の直線353に沿った画角)について被写体Oまでの距離を取得し、画角に応じた物体側の画素サイズを算出する処理が行われる。複数の画角での被写体の距離情報をメタデータとしてファイルに格納する方法と、複数の画角の撮影倍率を前述の算出方法で算出し、算出された撮影倍率の情報をメタデータとしてファイルに格納する方法がある。つまり、画像情報の画素の大きさを物体側に射影した場合の大きさがわかる、すなわち実寸比の特定が可能な画像であるかを判定するための情報(第1の情報)として例えば以下のものが挙げられる。これらの情報の少なくとも1つが画像に関連した情報に含まれるか否かを判定することで実寸比の特定が可能な画像であるか否かを判定する。
・物体側の画素サイズ343
・像側の画素サイズ344および撮影倍率
・像側の画素サイズ344、被写体の距離情報(あるいは深度情報)および焦点距離
・撮像素子320の有効領域の幅(水平幅と垂直幅)、撮像倍率および画素数
・撮像素子320の有効領域の幅(水平幅と垂直幅)、被写体の距離情報(あるいは深度情報)、焦点距離および画素数
また、実寸比の特定が可能な画像であるか否かを判定するための情報(第1の情報)として、単位長さあたりの画素数を算出し、Exif形式の解像度情報として記録してもよい。なお、単位長さは1mmを用いてもよいが、印刷を考慮した場合には1インチを用いPPI(Pixels Per Inch)情報として記録してもよい。
結像光学系330から被写体Oまでの距離は、レンズの結像公式に基づく下記式(1)を用いて算出することができる。
b=1/{1/f−1/a} 式(1)
式(1)中、bは結像光学系330の物体側の主点から被写体Oまでの距離を表す。fは結像光学系330の焦点距離を表し、aは結像光学系330の像側の主点から像点までの距離を表す。結像光学系330の像側の主点から像点までの距離は、距離342とデフォーカス量(撮像素子320から像点までの距離)を用いて算出することができる。したがって、結像光学系330から被写体までの距離に代えて、デフォーカス量をメタデータとしてファイルに格納してもよい。デフォーカス量は、撮像装置310が備える焦点検出部(不図示)により公知の方法で検出することができる。
次に図2(B)を参照して、図2(A)のS230に示す実寸比算出処理について説明する。S231で実寸比算出部123は、印刷部140の印刷時の情報(以下、印刷情報という)を取得する。例えば、単位長さあたりのドット数(dpi)で表される解像度の情報が印刷情報として取得される。
S232は、対象画像が実寸比の算出可能画像であるか否かの判定処理である。判定処理では、図2(A)のS220における画像識別結果を用いることができる。対象画像が実寸比の算出可能画像であると判定された場合、S233の処理へ進む。また対象画像が実寸比の算出可能画像でないと判定された場合には、S234の処理へ進む。
S233で実寸比算出部123は、図2(A)のS210で取得された画像情報について、印刷用紙上の画素サイズを算出する。物体側に射影した画素サイズに所定の実寸比を乗算することで、印刷用紙上の画素サイズを算出することができる。物体側に射影した画素サイズは、図3を用いて説明した方法により算出することができる。所定の実寸比として、例えば1倍や0.5倍といった値を予め設定して用いることができる。あるいは、電子アルバム印刷装置100が備えるユーザ指示部によりユーザが入力する値を用いて実寸比を設定してもよい。
S234で実寸比算出部123は、印刷用紙上の画像サイズを算出する。実寸比算出部123は画像情報の水平画素数と垂直画素数のそれぞれに対し、S233で算出された印刷用紙上の画素サイズを乗算する。実寸比算出部123はさらにS231で取得された印刷情報を用いて、印刷用紙上での、水平方向の画像サイズと垂直方向の画像サイズを算出する。
S234の処理後に、図2(A)のS240の処理に移行して、画像配置部124は印刷用紙上に配置する画像情報の画像サイズ、位置、切り出し領域を決定して印刷用画像データを生成する。具体的には、まず、印刷部140から印刷用紙のサイズ情報を取得する処理が実行される。次に画像配置部124は画像情報の画像サイズを設定する。対象画像が実寸比の算出可能画像である場合、S230にて算出された画像サイズが使用される。また実寸比の算出可能画像でない場合には、設定値記憶部125から画像サイズに関する設定値が取得されて使用されるか、またはユーザ指示部によりユーザが入力した値が使用される。
画像配置部124は、対象画像が実寸比の算出可能画像である場合、原則として任意の画像サイズへの変更を禁止する。次に画像配置部124は、画像情報の切り出し領域の設定を行う。切り出し領域に関し、設定値記憶部125から切り出し領域に関する領域情報を取得して用いることができる。または、ユーザ指示部によりユーザが入力した切り出し領域を表す値を用いることができる。画像配置部124は画像情報の配置に係る位置を設定する際、設定値記憶部125から配置に係る位置の設定値を取得して用いるか、または、ユーザ指示部によりユーザが入力した設定値を用いる。次に、表示部150は印刷用の画像情報に対応する画像を画面に表示する。画像配置部124は印刷用の画像情報に対応する表示用画像データを表示部150に出力し、表示部150が表示用画像データを取得して表示処理を行う。ユーザ指示部によって印刷用の画像情報の指示操作が行われると、印刷用の画像情報が確定する。
本実施形態では、実寸に応じた印刷や表示が可能な画像であるか否かを識別することができる。実寸に応じた画像情報の印刷や表示が可能な画像であるにも関わらず、ユーザが誤って実寸比とは異なる比率の画像サイズに編集してしまうことを防止できる。
本発明に係る画像識別装置の機能を説明するために電子アルバム印刷装置100の例を説明した。これに限らず、電子アルバム編集装置120により作成された電子アルバムデータをサーバーに送信して、サーバーが電子アルバムの印刷処理を行う実施形態がある。このことは以下の変形例や実施形態でも同じである。
[第1実施形態の変形例]
次に第1実施形態の変形例に関して詳細に説明する。変形例では、複数の画像が選択された場合、その中から実寸比の算出可能画像のみを選択して時系列的に配置する処理が行われる。
図4(A)は、変形例の電子アルバム印刷装置400を模式的に示すシステム構成図である。図1との相違点は電子アルバム編集装置420が備える画像選択部426、画像配置部424である。よって主に相違点を説明し、図1の構成と同様の事項については既に使用した符号を流用することにより、それらの詳細な説明を省略する。このような説明の省略方法は後述の実施形態でも同じである。
画像選択部426は、画像識別装置130により識別された実寸比の算出可能画像の選択処理を行う。実寸比の算出可能画像の中から、ユーザ指示部によりユーザが選択の操作指示を行った画像が選択される。以降、画像選択部426により選択された画像を選択画像と呼ぶ。
実寸比算出部123は、選択画像と対応するメタデータを用いて、実寸比に応じた画像サイズを算出する。画像配置部424は、実寸比算出部123が算出した画像サイズを用いて選択画像を配置し、印刷用画像データを生成する。選択画像と対応するメタデータから各選択画像の撮影日時または時刻に関する情報を取得し、時系列にしたがって画像情報を配置する処理が実行される。
図4(B)を参照して、時系列的な画像配置方法について説明する。図4(B)は印刷用紙430に、選択画像を4つ配置した例を示す。選択画像431〜434は同一人物を撮影した画像を表している。撮影日が古い順に左から選択画像431、選択画像432、選択画像433、選択画像434が配置されている。画像配置部424は、印刷用紙430の左から右に、撮影時刻の時系列(撮影日順)にしたがって選択画像431〜434を配置する処理を行う。
電子アルバム編集装置420では、画像識別装置130および画像選択部426が複数の画像から実寸比の算出可能画像を選択する。対象画像が実寸比の算出可能画像であるか否かをユーザが識別することは難しい。そこで変形例においては、画像識別装置130および画像選択部426が複数の画像から実寸比の算出可能画像を自動的に選択する。よって、ユーザの画像選択にかかる負担を軽減できる。
変形例によれば、画像配置部424が図4(B)に示す印刷用紙430にて同一人物の画像を所定の実寸比にしたがって時系列的に配置することができる。これにより、ユーザは作製された印刷物を見て被写体の成長過程をより実感することができる。
画像選択部426においては、実寸比の算出可能画像の中から、ユーザが所望の画像を選択可能である。例えば、図4(B)のように同一人物の成長過程を複数の画像により構成して表現する場合、ユーザは人物を一人選択することができる。さらには、ユーザが選択した人物と同一人物であって、かつ所定の時間間隔をおいて撮影された画像を選択する構成でもよい。このようにすることで、ユーザの画像選択にかかる負担をより軽減できる。画像選択部426において、ユーザが所望の画像を選択する際には、実寸比の算出可能画像と実寸比の算出が可能でない画像とが区別されてユーザに提示される。例えば、ユーザが画像の類別を認識しやすいように、表示部150は画面上に画像の一覧のサムネイル画像を表示する。実寸比の算出可能画像に係るサムネイル画像は強調表示され、実寸比の算出が可能でない画像に係るサムネイル画像は強調表示が行われないか、または抑止される(例えば明度や彩度等の低下)。実寸比の算出可能画像の属性情報や画像上にアイコン等で実寸比の算出が可能な画像であることが報知されてもよい。画像識別装置130の識別結果に基づき、ユーザが画像を識別しやすいように表示部150が画像を表示することで、ユーザの画像選択にかかる負担を軽減できる。つまり複数の画像情報から、実寸比の算出可能画像であると識別された画像情報と、実寸比の算出が可能でない画像情報とを識別可能な状態でユーザに提示することが画像選択処理において、より効果的である。
また、電子アルバム印刷装置400は画像情報が所定の規則を満たすか否かを判断することで、ユーザが選択した人物と同一人物であるか否かを自動で判定することができる。所定の規則とは、例えば、公知の機械学習を用いた判定用の規則である。撮影された画像の視点が所定の視点(正面からの撮影などのように、撮影時の光軸が地面と略平行になる視点)であるという条件を満たすか否かの判定処理が実行される。撮影された画像の視点を揃えることで、同一人物の成長過程をユーザがより実感可能な印刷物を作製することができる。印刷物の作製は印刷部140、または印刷用画像データを取得したサーバーが備える印刷装置を用いて行われる。
[第2実施形態]
次に図5を参照して、本発明の第2実施形態について説明する。本実施形態では複数の画像が選択された場合、その中から実寸比の算出可能画像のみを選択して印刷する処理を示す。
図5は、画像印刷装置500の構成を模式的に示すシステム構成図である。画像印刷装置500は、記憶部110、印刷用画像編集装置520、印刷部140、表示部150を備える。印刷用画像編集装置520は、画像識別装置130、画像選択部521、実寸比算出部123を備える。
画像選択部521は、画像取得部131が取得した複数の画像から、画像識別装置130が実寸比の算出可能画像であると識別した画像のみを選択する。つまり、画像選択部521によって選択された画像が選択画像である。
実寸比算出部123は、画像選択部521による選択画像のみに関し、図2(B)に示すS231、S233、S234の処理により印刷用紙上での実寸比に応じた画像サイズを算出する。印刷用画像編集装置520は選択画像に対応する印刷用画像データを印刷部140へ出力する。印刷部140は選択画像に対応する印刷用画像データを受信し、印刷用紙への印刷を行う。
表示部150の画面上のプレビュー表示画像やサムネイル画像を見ただけでは、被写体の実寸に応じた印刷が可能な画像であるか否かを識別することは難しい。そこで、印刷用画像編集装置520は、実寸に応じた印刷が可能な画像のみを自動で選択して印刷処理を実行する。その結果、ユーザの画像選択にかかる負担を軽減できる。印刷用画像編集装置520により生成される印刷用画像データについては、印刷部140への印刷指示、または印刷用画像データを取得するサーバーから印刷装置への印刷指示にしたがって印刷物が作製される。
本実施形態において実寸比算出部123は、表示部150の表示画面上で所定の実寸比となる画像サイズを算出してもよい。その場合には、図2(B)のS231において、印刷情報ではなく、表示部150の解像度情報が取得される。S233では表示部150の解像度情報を用いて表示画面上での画素サイズを算出する処理が実行される。印刷用画像編集装置520は決定した画素サイズの表示用画像データを生成する。表示用画像データは表示部150に出力されて表示処理が行われる。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 電子アルバム印刷装置
110 記憶部
120 電子アルバム編集装置
130 画像識別装置
140 印刷部
150 表示部

Claims (20)

  1. 画像情報の種別を識別する画像識別装置であって、
    前記画像情報および前記画像情報と関連する情報を取得する取得手段と、
    前記画像情報と関連する情報を用いて前記画像情報の種別を識別する識別手段と、を備え、
    前記識別手段は、前記画像情報の画素の大きさを物体側に射影した場合の大きさがわかるための第1の情報が前記画像情報と関連する情報に含まれる場合、前記画像情報を被写体の実寸比の特定が可能な画像の情報であると識別する
    ことを特徴とする画像識別装置。
  2. 前記識別手段は、前記第1の情報として前記画像情報の画素サイズまたは画素ピッチ、および撮影倍率の情報が前記画像情報と関連する情報に含まれる場合、前記画像情報を実寸比の特定が可能な画像の情報であると識別する
    ことを特徴とする請求項1に記載の画像識別装置。
  3. 前記識別手段は、前記第1の情報として物体側に射影した前記画像情報の画素サイズまたは画素ピッチの情報が前記画像情報と関連する情報に含まれる場合、前記画像情報を実寸比の特定が可能な画像の情報であると識別する
    ことを特徴とする請求項1または2に記載の画像識別装置。
  4. 前記識別手段は、前記第1の情報として前記画像情報を取得する際に用いた撮像装置の画角、物体側に射影した前記画像情報に係る画像の幅、および前記画像情報の画素数の情報が前記画像情報と関連する情報に含まれる場合、前記画像情報を実寸比の特定が可能な画像の情報であると識別する
    ことを特徴とする請求項1乃至3のいずれか1項に記載の画像識別装置。
  5. 前記識別手段は、前記第1の情報として前記画像情報の画素サイズまたは画素ピッチ、被写体距離および焦点距離の情報が前記画像情報と関連する情報に含まれる場合、前記画像情報を実寸比の特定が可能な画像の情報であると識別する
    ことを特徴とする請求項1乃至4のいずれか1項に記載の画像識別装置。
  6. 前記識別手段は、前記第1の情報として物体側の単位長さあたりの画素数が前記画像情報と関連する情報に含まれる場合、前記画像情報を実寸比の特定が可能な画像の情報であると識別する
    ことを特徴とする請求項1乃至5のいずれか1項に記載の画像識別装置。
  7. 前記識別手段は、前記第1の情報としてPPI(Pixel Per Inch)情報が前記画像情報と関連する情報に含まれる場合、前記画像情報を実寸比の特定が可能な画像の情報であると識別する
    ことを特徴とする請求項1乃至6のいずれか1項に記載の画像識別装置。
  8. 請求項1乃至7のいずれか1項に記載の画像識別装置を備え、前記画像情報の編集を行う画像編集装置であって、
    前記画像情報に対して前記被写体の実寸比に基づく画像サイズを算出する算出手段と、
    前記画像情報に対応する画像を配置する位置および画像の切り出し領域を決定して前記画像サイズでの画像配置を行う画像配置手段と、を備え、
    前記算出手段は、実寸比の特定が可能な画像情報を前記識別手段が識別した場合に前記画像サイズを算出する
    ことを特徴とする画像編集装置。
  9. 前記画像サイズの変更を指示する指示手段を備え、
    前記画像配置手段は、前記識別手段が前記画像情報を実寸比の特定が可能な画像の情報であると識別した場合、前記指示手段の指示に基づく前記画像サイズの変更を禁止する設定を行う
    ことを特徴とする請求項8に記載の画像編集装置。
  10. 前記識別手段によって実寸比の特定が可能な画像情報が識別され、かつ前記指示手段により前記画像サイズの変更が指示された場合に実寸比に対応しない表示または印刷になることを報知する報知手段を備える
    ことを特徴とする請求項9に記載の画像編集装置。
  11. 前記取得手段によって取得された複数の前記画像情報から、前記識別手段によって実寸比の特定が可能な画像の情報であると識別された画像情報を選択する選択手段をさらに備える
    ことを特徴とする請求項8乃至10のいずれか1項に記載の画像編集装置。
  12. 前記選択手段により選択された画像情報に対応する画像と、前記選択手段により選択されていない画像情報に対応する画像とを、識別可能に提示する提示手段を備える
    ことを特徴とする請求項11に記載の画像編集装置。
  13. 前記選択手段は、前記実寸比の特定が可能な画像情報が同一の被写体の画像情報である場合に当該画像情報を選択する
    ことを特徴とする請求項11または請求項12に記載の画像編集装置。
  14. 前記選択手段は、前記実寸比の特定が可能な画像情報が前記被写体を予め定められた視点で撮像した画像の情報である場合に当該画像情報を選択する
    ことを特徴とする請求項13に記載の画像編集装置。
  15. 前記選択手段は、前記実寸比の特定が可能な画像情報が前記被写体を異なる時刻に撮像した画像の情報である場合に当該画像情報を選択する
    ことを特徴とする請求項13に記載の画像編集装置。
  16. 請求項8乃至15のいずれか1項に記載の画像編集装置と、
    前記画像編集装置が生成した画像の表示または印刷を行う出力手段と、を備える
    ことを特徴とする画像生成装置。
  17. 請求項1乃至7のいずれか1項に記載の画像識別装置を備える画像生成装置であって、
    前記取得手段によって取得された複数の前記画像情報から、前記識別手段によって実寸比の特定が可能な画像の情報であると識別された画像情報を選択する選択手段と、
    前記選択手段により選択された前記画像情報に対して、実寸比に対応する印刷用紙上での画像サイズを算出する算出手段と、
    前記選択手段により選択された前記画像情報および前記算出手段により算出された前記画像サイズに基づく印刷用の画像データを印刷手段に送信する送信手段と、を備える
    ことを特徴とする画像生成装置。
  18. 請求項1乃至7のいずれか1項に記載の画像識別装置を備える画像生成装置であって、
    前記取得手段によって取得された複数の前記画像情報から、前記識別手段によって実寸比の特定が可能な画像の情報であると識別された画像情報を選択する選択手段と、
    前記選択手段により選択された前記画像情報に対して、実寸比に対応する表示装置の表示画面上での画像サイズを算出する算出手段と、
    前記選択手段により選択された前記画像情報および前記算出手段により算出された前記画像サイズに基づく表示用の画像データを前記表示装置に出力する出力手段と、を備える
    ことを特徴とする画像生成装置。
  19. 画像情報の種別を識別する画像識別装置にて実行される画像識別方法であって、
    前記画像情報および前記画像情報に関連する情報を取得する取得工程と、
    前記画像情報と関連する情報を用いて前記画像情報の種別を識別する識別工程と、を有し、
    前記識別工程では、前記画像情報の画素の大きさを物体側に射影した場合の大きさがわかるための第1の情報が前記画像情報に関連する情報に含まれる場合、前記画像情報を被写体の実寸比の特定が可能な画像の情報であると識別する処理が行われる
    ことを特徴とする画像識別方法。
  20. 請求項19に記載の画像識別方法の各工程をコンピュータに実行させるプログラム。
JP2020030699A 2020-02-26 2020-02-26 画像識別装置、画像編集装置、画像生成装置、画像識別方法、プログラム Pending JP2021135677A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020030699A JP2021135677A (ja) 2020-02-26 2020-02-26 画像識別装置、画像編集装置、画像生成装置、画像識別方法、プログラム
US17/183,952 US11470208B2 (en) 2020-02-26 2021-02-24 Image identification device, image editing device, image generation device, image identification method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020030699A JP2021135677A (ja) 2020-02-26 2020-02-26 画像識別装置、画像編集装置、画像生成装置、画像識別方法、プログラム

Publications (1)

Publication Number Publication Date
JP2021135677A true JP2021135677A (ja) 2021-09-13

Family

ID=77366608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020030699A Pending JP2021135677A (ja) 2020-02-26 2020-02-26 画像識別装置、画像編集装置、画像生成装置、画像識別方法、プログラム

Country Status (2)

Country Link
US (1) US11470208B2 (ja)
JP (1) JP2021135677A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021135677A (ja) * 2020-02-26 2021-09-13 キヤノン株式会社 画像識別装置、画像編集装置、画像生成装置、画像識別方法、プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5196825B2 (ja) * 2007-03-29 2013-05-15 キヤノン株式会社 画像処理装置、画像処理方法
JP5018980B2 (ja) 2010-04-08 2012-09-05 カシオ計算機株式会社 撮像装置、長さ測定方法、及びプログラム
JP7009091B2 (ja) 2017-06-20 2022-01-25 キヤノン株式会社 距離情報生成装置、撮像装置、距離情報生成方法、およびプログラム
KR102475912B1 (ko) * 2017-12-01 2022-12-09 삼성전자 주식회사 전자 장치 및 그의 이미지 획득 방법
JP7094702B2 (ja) * 2018-01-12 2022-07-04 キヤノン株式会社 画像処理装置及びその方法、プログラム
KR102523167B1 (ko) * 2018-07-02 2023-04-19 삼성전자주식회사 디스플레이 장치 및 그 제어 방법.
JP2021135677A (ja) * 2020-02-26 2021-09-13 キヤノン株式会社 画像識別装置、画像編集装置、画像生成装置、画像識別方法、プログラム

Also Published As

Publication number Publication date
US11470208B2 (en) 2022-10-11
US20210266414A1 (en) 2021-08-26

Similar Documents

Publication Publication Date Title
JP5620651B2 (ja) 再生装置、撮像装置、及びその制御方法
US20110181751A1 (en) Imaging apparatus and imaging method
JP2006116943A (ja) プリント方法及びプリントシステム
JP4914278B2 (ja) 画像処理装置、方法およびプログラム
BRPI0900750A2 (pt) dispositivo de determinação de composição, método de determinação de composição, e, programa que faz um dispositivo de determinação de composição executar
JP5295426B2 (ja) 複眼撮像装置、その視差調整方法及びプログラム
JP2010268184A (ja) 撮像装置
US20170028648A1 (en) 3d data generation apparatus and method, and storage medium
JP2007194917A (ja) 画像の撮影シーンに適した効果処理の設定
US20130003128A1 (en) Image generation device, method, and printer
WO2017130522A1 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2021135677A (ja) 画像識別装置、画像編集装置、画像生成装置、画像識別方法、プログラム
US9369699B2 (en) Stereoscopic image display device, stereoscopic imaging device, and methods
JP2011128938A (ja) 画像表示装置、および画像表示プログラム
JP2011188349A (ja) 表示制御装置、表示制御プログラム、および表示制御システム
JPH10336557A (ja) 画像編集装置及び方法並びにプログラムを記憶した媒体
JP2018007082A (ja) 画像再生装置およびその制御方法およびプログラム
JP2007189426A (ja) 画像出力装置及び画像出力方法
JP2005313327A (ja) 画像出力制御装置、画像出力制御方法及び画像出力制御プログラム並びにプリンタ装置
JP7373297B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4184061B2 (ja) 立体視画像編集装置及び立体視画像編集プログラム
US9118901B2 (en) Imaging apparatus, imaging method and imaging system
JP4149869B2 (ja) デジタルカメラ
JP2021039242A (ja) 画像処理装置、画像処理方法、プログラム、記憶媒体
JP4437996B2 (ja) インデックスプリント作成方法および装置ならびにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240325