JP2019160004A - 画像判別装置,画像判別方法ならびに画像判別装置のプログラムおよびそのプログラムを格納した記録媒体 - Google Patents

画像判別装置,画像判別方法ならびに画像判別装置のプログラムおよびそのプログラムを格納した記録媒体 Download PDF

Info

Publication number
JP2019160004A
JP2019160004A JP2018047743A JP2018047743A JP2019160004A JP 2019160004 A JP2019160004 A JP 2019160004A JP 2018047743 A JP2018047743 A JP 2018047743A JP 2018047743 A JP2018047743 A JP 2018047743A JP 2019160004 A JP2019160004 A JP 2019160004A
Authority
JP
Japan
Prior art keywords
image
discrimination
person
human
reference value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018047743A
Other languages
English (en)
Inventor
宏行 古谷
Hiroyuki Furuya
宏行 古谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2018047743A priority Critical patent/JP2019160004A/ja
Priority to US16/351,391 priority patent/US11620853B2/en
Priority to CN201910195981.2A priority patent/CN110276238A/zh
Publication of JP2019160004A publication Critical patent/JP2019160004A/ja
Priority to JP2022033406A priority patent/JP2022066413A/ja
Priority to JP2024004361A priority patent/JP2024050628A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】アルバム制作者等の意図を反映して比較的簡単に「人物画像」と「非人物画像」とを判別する画像判別装置,画像判別方法ならびに画像判別装置のプログラムおよびそのプログラムを格納した記録媒体を提供することを目的とする。【解決手段】スライド・バー52上においてスライドの位置を調整して,基準項目についての基準値をユーザが設定する。位置P11の位置に基準値が設定されると,判別対象画像I11は人物画像と判別されるが,判別対象画像I12およびI13は非人物画像と判別される。位置P12の位置に基準値が設定されると,判別対象画像I11およびI12が人物画像と判別され,判別対象画像I13が非人物画像と判別される。基準値の設定を変えることによりアルバム制作者等のユーザの意図を反映して人物画像と非人物画像とを判別できる。【選択図】図7

Description

この発明は,画像判別装置,画像判別方法ならびに画像判別装置のプログラムおよびそのプログラムを格納した記録媒体に関する。
結婚式などのイベントでは,プロの写真家が写真撮影し,撮影した画像を用いてアルバムを制作することがある。プロの写真家がアルバムを制作する場合,シーンの撮影意図,アルバム・ストーリなどを考慮したうえで,どの画像が最も適切かを判断しながらアルバムに採用する画像を選択している。しかしながら,結婚式などのような1つのイベントにおいて1000枚以上といった多数の画像が撮影される場合には,そのような多数の画像の中から最適な画像を見つけ出し,アルバムのレイアウトを行うのはアルバム制作者にとって負荷が大きい。このために,アルバムに使う良い写真を自動で選択し編集する方法(特許文献1),アルバムのテンプレートに挿入する画像の状態を指定し,指定された画像を挿入する方法(特許文献2),失敗画像か否かを検知して検知結果を表示する方法(特許文献3),特定領域を抽出して拡大表示し,ピントが合っているかどうかを判定する方法(特許文献4)などが考えられている。
また,画像に「人物」のシーン,「ビーチ」のシーンなどが付与されるもの(特許文献5),人物の顔を検出するもの(特許文献6),人物領域の候補となる領域を特定するもの(特許文献7),精度良く人物を検出するもの(特許文献8),人物が無いときには風景写真画像と判断し,人物が存するときには人数,面積などから人物・記念写真画像またはボートレート画像と判断するもの(特許文献8)などもある。
特許第5655112号 特許第4455302号 特開2000-187329号公報 特許第4346859号 特開2007-295212号公報 特開2006-318034号公報 特開2007-264887号公報 特開2008-288684号公報
アルバムを制作する場合には,「人物画像」のみでなく,思い出をより演出するような料理,建物,風景などの「非人物画像」も選択してアルバムにレイアウトすることが多い。とくに,プロの写真家が結婚式などのイベントにおいて撮影した画像を用いてアルバムを制作する場合には,新郎新婦などの「人物画像」に加えて結婚式の雰囲気を効果的に表す「非人物画像」の選択も重要となる。これらの「非人物画像」は必ずしも結婚式などのイベントの流れに沿って時系列で順に並んでいないことがあるので,撮影した多くの画像の中から選択するのが難しいことがある。この場合,多くの画像の中から「人物画像」と「非人物画像」とを判別してアルバムに利用する「非人物画像」を見つけ出すことも考えられる。しかしながら,どのような画像が「人物画像」で,どのような画像が「非人物画像」かは,アルバム制作者の意図,撮影された画像の性質等(撮影者の意図した画角等)により変わる。このため,アルバム制作者が多数の画像を1つ1つ確認しながら「人物画像」か,「非人物画像」か,を判断していることが多く,アルバム制作者の意図を反映して「人物画像」と「非人物画像」とを簡単に判別することはできないことか多い。
この発明は,アルバム制作者等の意図を反映して比較的簡単に「人物画像」と「非人物画像」とを判別することを目的とする。
この発明による画像判別装置は,少なくとも1つの基準項目において,人物画像または非人物画像のうち少なくとも一方を判別する処理に用いる基準値を設定する基準値設定手段,および基準値設定手段において設定された基準値にもとづいて,判別対象画像が人物画像であるか,あるいは,非人物画像(非人物画像とは人物画像ではない画像である)であるかのいずれかを判別する判別手段を備えていることを特徴とする。
この発明は,画像判別装置に適した画像判別方法も提供している。すなわち,この方法は,基準値設定手段が,少なくとも1つの基準項目において,人物画像または非人物画像のうち少なくとも一方を判別する処理に用いる基準値を設定し,判別手段が,設定された基準値にもとづいて,判別対象画像が人物画像であるか,あるいは,非人物画像であるかのいずれかを判別する。
この発明は,コンピュータが読み取り可能な画像判別装置のコンピュータを制御するプログラムおよびそのプログラムを格納した記録媒体も提供している。
また,少なくとも1つの基準項目において,人物画像または非人物画像のうち少なくとも一方を判別する処理に用いる基準値を設定し,設定された基準値にもとづいて,判別対象画像が人物画像であるか,あるいは,非人物画像であるかのいずれかを判別するプロセッサを備えた画像判別装置を提供するようにしてもよい。
判別手段は,たとえば,複数のサンプル画像にもとづいて得られる,判別対象画像の人物画像らしさまたは非人物画像らしさを表す評価値と,基準値設定手段において設定された基準値と,にもとづいて,判別対象画像が人物画像であるか,あるいは,非人物画像であるかのいずれかを判別する。
基準項目は,たとえば,判別対象画像における人物の部分または非人物の部分の面積比であり,かつ,判別対象画像における人物の部分と非人物の部分とを検出する検出手段をさらに備えてもよい。この場合,判別手段は,たとえば,検出手段によって検出された判別対象画像における人物の部分または非人物の部分の面積比と,基準値設定手段において設定された基準値と,にもとづいて,判別対象画像が人物画像であるか,あるいは,非人物画像であるかのいずれかを判別する。
検出手段によって検出された判別対象画像における人物の部分と非人物の部分との表示態様を変えて判別対象画像を表示させる表示制御手段をさらに備えてもよい。
判別手段は,たとえば,判別対象画像における人物の顔の向きと,基準値設定手段において設定された基準値と,にもとづいて,判別対象画像が人物画像であるか,あるいは,非人物画像であるかのいずれかを判別するようにしてもよい。
基準項目は,たとえば,判別対象画像に含まれる人物と人物を除く物体との比率でもよいし,判別対象画像に含まれる人物と風景との比率でもよいし,判別対象画像に含まれる人物の顔が正面を向いている度合いでもよい。
基準項目が複数ある場合には,判別手段は,たとえば,複数の基準値設定手段において設定されたそれぞれの基準項目における基準値ごとに判別対象画像の判別を行い,それぞれの基準値ごとに判別結果を出力してもよい。
複数の基準項目における判別結果にもとづいて,判別対象画像が人物画像であるか,あるいは,非人物画像であるかのいずれかを判別してもよい。
判別手段における判別結果を報知する報知手段,および基準値設定手段における基準値の設定が変更されたことにより,判別手段における判別結果が変わったことに応じて報知手段における報知態様を変更させる報知制御手段をさらに備えてもよい。
判別手段おける判別結果にもとづいて,判別対象画像の採用の可否を決定する採用可否決定手段をさらに備えてもよい。
採用可否決定手段によって採用と決定された判別対象画像を,判別手段における判別結果にもとづいて,アルバムの貼り付け位置を決定する位置決定手段をさらに備えてもよい。
この発明によると,ユーザの意図に応じて基準値を変更することにより,同じ判別対象画像であってもユーザの意図にもとづいて人物画像と判別されたり,非人物画像と判別されたりすることとなるので,アルバム制作者等のユーザの意図を反映して判別対象画像が人物画像か非人物画像かを判別できる。
画像判別装置の電気的構成を示すブロック図である。 人工知能装置の電気的構成を示すブロック図の一例である。 データベースに格納されているサンプル画像の一例である。 画像判別装置の処理手順を示すフローチャートである。 画像表示ウインドウの一例である。 基準値設定ウインドウの一例である。 判別対象画像とスライド・バーとの関係を示している。 判別対象画像とスライド・バーとの関係を示している。 判別対象画像とスライド・バーとの関係を示している。 画像分類ウインドウの一例である。 アルバムの見開きページの一例である。 判別処理手順を示すフローチャートである。 判別処理手順を示すフローチャートである。 非人物の部分と人物の部分とを検出している。 画像の一例である。 画像の一例である。 判別処理手順を示すフローチャートである。 判別処理手順を示すフローチャートである。 基準値設定ウインドウの一例である。 判別結果表示ウインドウの一例である。 画像判別装置の処理手順を示すフローチャートである。 画像判別装置の処理手順を示すフローチャートである。 判別結果表示ウインドウの一例である。 画像判別装置の処理手順を示すフローチャートの一部である。
[第1実施例]
図1は,この発明の実施例を示すもので,画像判別装置1の電気的構成を示すブロック図である。
画像判別装置1の全体の動作は,CPU(Central Processing Unit)2によって統括される。
画像判別装置1には,画像その他の情報を表示画面に表示する表示装置3およびインターネットその他のネットワークに接続して画像判別装置1以外の装置等と通信する通信装置4が含まれている。また,画像判別装置1には,ハード・ディスク5,ハード・ディスク5にアクセスするハード・ディスク・ドライブ6,データ等を記憶するメモリ7,コマンド等を入力するキーボード8およびマウス9も含まれている。さらに,画像判別装置1には,コンパクト・ディスク11にアクセスするコンパクト・ディスク・ドライブ10ならびにメモリ・カード13へのデータの書き込みおよびメモリ・カード13に記録されているデータの読み取りを行うメモリ・カード・リーダ・ライタ12も含まれている。
後述する画像判別装置1の動作プログラムは,インターネットを介して通信装置4において受信される。受信された動作プログラムが画像判別装置1にインストールされる。動作プログラムはインターネットなどのようなネットワークを介して画像判別装置1に受信されて画像判別装置1にインストールされずに,コンパクト・ディスク11などの可搬型記録媒体に記録され,その可搬型記録媒体から読み取られてもよい。その場合には,可搬型記録媒体から読み取られた動作プログラムが画像判別装置1にインストールされる。動作プログラムは,画像判別装置1のCPU2(コンピュータ)が読み取り可能であることは言うまでもない。
図2は,画像判別装置1と通信可能な人工知能装置20の電気的構成を示すブロック図である。図2においては,ハードウエアによって構成されているように記載されているが,一部がソフトウエアによって構成されていてもよいのはいうまでもない。
人工知能装置20にはデータベース21が含まれている。
図3は,データベース21に格納されている多数の画像ファイルによって表されるサンプル画像Iを示している。
サンプル画像Iには,基準項目ごとに,あらかじめ人物度の点数が付与されている。この実施例では,サンプル画像Iにおける人物と「モノ・アイテム」(非人物の部分の一例である)との比率にもとづく人物度の点数(たとえば,人物の割合が大きければ点数が高い),サンプル画像Iにおける人物(人物の部分)と「風景」(非人物の部分の一例である)との比率にもとづく人物度の点数(たとえば,人物の割合が高ければ点数が高い),サンプル画像Iにおける人物の顔の向きにもとづく人物度の点数(たとえば,人物の顔の向きが正面を向いているほど点数が高い)が,サンプル画像Iのそれぞれに付与されている。点数を表すデータは,たとえば,サンプル画像Iを表す画像ファイルのヘッダに格納されている。人物度は,サンプル画像Iが人物画像であることを示す指標,程度,人物画像らしさの評価値を表すもので,点数が高い(たとえば,3点満点とするが,他の点数でもよい)ほど人物画像らしいことを示している。人物度の点数が低ければ,サンプル画像Iの画像が非人物の画像らしいということとなる。人物度の点数ではなく,非人物度(サンプル画像Iが非人物画像であることを示す指標,程度,非人物画像らしさの評価値を表す)の点数を表すデータがサンプル画像Iを表す画像ファイルのヘッダに格納されていてもよいし,人物度の点数および非人物度の点数をそれぞれ表すデータがサンプル画像Iを表す画像ファイルのヘッダに格納されていてもよい。人物度または非人物度の点数は,画像を見ながらユーザが付けることとなろう。
図2を参照して,データベース21に格納されている多数の画像ファイルが読み取られ,特徴量抽出装置22において画像の特徴量を表すデータが抽出される。抽出された特徴量を表すデータを用いて学習用アルゴリズム23にしたがって学習モデル24が生成される。
画像判別装置1の通信装置4から画像データが送信され,人工知能装置20の通信装置25から入力する。入力した画像データは学習モデル24において,画像データによって表される画像の人物度の点数(人物画像らしさを表す評価値の一例である)(非人物度の点数でもよい。非人物度の点数は非人物画像らしさを表す評価値の一例である)が算出される。算出された点数を表すデータが通信装置25から画像判別装置1に送信される。
人工知能装置20から送信された点数を表すデータが画像判別装置1において受信されると,その点数にもとづいて,画像判別装置1から送信された画像データによって表される画像が人物の画像か非人物の画像かがCPU2によって判別される。
図2に示す人工知能装置20は,図1に示す画像判別装置1とは別の装置となっているが,図1に示す画像判別装置1に接続されていてもよい。
図4は,画像判別装置1の処理手順を示すフローチャートの一例である。
画像判別装置1にキーボード8などから画像判別開始指令などの指令が与えられることにより図4に示す処理が開始する。
メモリ・カード13には,人物画像か非人物画像かを判別する対象となる多数の画像を表す画像ファイルが格納されているものとする。もちろん,メモリ・カード13以外の記録媒体,コンパクト・ディスク11,ハード・ディスク5などに人物画像か非人物画像かを判別する対象となる多数の画像を表す画像ファイルが格納されていてもよい。
メモリ・カード・リーダ・ライタ12によって,メモリ・カード13に格納されている多数の画像ファイルが読み出され,表示装置3の表示画面に多数の画像が一覧で表示される(ステップ31)。
図5は,画像表示ウインドウ40の一例である。
画像表示ウインドウ40は,表示装置3の表示画面に表示される。表示ウインドウ40には,画像表示領域41が形成されている。この画像表示領域41に,メモリ・カード13に格納されている多数の画像ファイルによって表されている多数の判別対象画像I1からI28が表示されている。画像表示領域41の右側にはスクロール・バー42が形成されている。スクロール・バー42には,ノブ43が形成されている。ノブ43は上下に移動自在であり,ユーザがノブ43を上下に移動させることにより画像表示領域41に表示されていない画像が画像表示領域41に表示される。
つづいて,ユーザは,基準値を設定する(図4ステップ32)。
図6は,基準値設定ウインドウ50の一例である。
図6に示す基準値設定ウインドウ50も表示装置3の表示画面に表示される。
この実施例では,画像が人物画像か非人物画像かを判別する処理に用いられる基準値(しきい値)を,複数の基準項目の中のいずれかの基準項目においてユーザが設定できる。たとえば,図2を参照して説明したように人工知能装置20において算出され,人工知能装置20から画像判別装置1に送信された点数が基準値以上であれば,その点数の画像は非人物画像(または人物画像)であると画像判別装置1において判別される。ユーザが基準値を設定できるので,ユーザが設定した基準値に応じて画像が非人物画像か人物画像かを判別させることができる。ユーザの意図などを反映させて画像が非人物画像か人物画像かを判別できるようになる。
基準値設定ウインドウ50には,第1のチェック・ボックス51,第2のチェック・ボックス61および第3のチェック・ボックス71が形成されている。
第1のチェック・ボックス51の右側には,『人物と「モノ・アイテム」比率』の文字列および横方向の第1のスライド・バー52(基準値設定手段の一例である)が表示されている。第1のスライド・バー52には横方向に移動自在な第1のスライダ53が形成されている。第1の基準項目が『人物と「モノ・アイテム」比率』である。第1のスライド・バー52における第1のスライダ53の位置に応じて,第1の基準項目の基準値が設定される。第1のスライダ53の位置が左側に位置決めされるほど判別対象の画像の人物らしさの点数が高い場合(判別対象の画像に含まれるモノおよびアイテムに比べて人物の割合が多い場合)に人物画像と判断され,第1のスライダ53の位置が右側に位置決めされるほど判別対象の画像に含まれる人物の割合が少なくとも人物画像と判断される。人物と「モノ・アイテム」比率は,判別対象画像に含まれる人物の部分と人物が持っている物,アイテム(品物)などとの比率のことであり,風景など人物の背景部分は除かれる。人物の背景部分に物などが含まれている場合には無視されるが,判別対象画像に含まれる物を検出し,人物と物との比率を算出してもよい。
図7は,人物と「モノ・アイテム」比率にもとづいて判別対象の画像が人物画像か非人物画像かを判断する様子を示している。
判別対象画像I31は人物の大きさに比べて物(ブーケ)の割合が小さく,判別対象画像I31の人物度の点数は3点であったとする。また,判別対象画像I32は人物の大きさに比べて物(ブーケ)の割合が比較的大きく,判別対象画像I32の人物度の点数は2点であったとする。さらに,判別対象画像I33は人物の大きさに比べて物(ブーケ)の割合が大きく,判別対象画像I33の点数は1点であったとする。
このような場合において,たとえば,第1のスライダ53が第1のスライド・バー52の位置P11に位置決めされ,点数2.5以上の画像を人物画像,点数2.5未満の画像を非人物画像と判別するように設定されると,判別対象画像I31は人物画像と判別されるが判別対象画像I32および判別対象画像I33は非人物画像と判別される。ところが,第1のスライダ53が第1のスライド・バー52の位置P12に位置決めされ,点数1.5以上の画像を人物画像,点数1.5未満の画像を非人物画像と判別するように設定されると,判別対象画像I31および判別対象画像I32が人物画像と判別され,判別対象画像I33が非人物画像と判別される。このように,ユーザの意図に応じて(第1のスライダ53の位置に応じて)判別対象画像I32を人物画像と判断させたり,非人物画像と判断させたりできる。図7の判別対象画像I31からI33のようなサンプル画像を第1のスライド・バー52に対応させて表示しておき,第1のスライダ53の位置に応じてどのような画像が人物画像と判別されるか非人物画像と判別されるかがわかるようにすることが好ましい。また,複数のサンプル画像を表示させておき,そのサンプル画像をユーザが人物画像または非人物画像と指定し,指定した人物画像または非人物画像の人物画像らしさの点数または非人物画像らしさの点数にもとづいて基準値を決定するようにしてもよい。
図6に戻って,第2のチェック・ボックス61の右側には,『人物と「風景」比率』の文字列および横方向の第2のスライド・バー62(基準値設定手段の一例である)が表示されている。第2のスライド・バー62にも横方向に移動自在な第2のスライダ63が形成されている。第2の基準項目が『人物と「風景」比率』である。第2のスライド・バー62における第2のスライダ63の位置に応じて,第2の基準項目の基準値が設定される。第2のスライダ63の位置が左側に位置決めされるほど判別対象の画像の人物らしさの点数が高い場合(判別対象の画像に含まれる風景に比べて人物の割合が多い場合)に人物画像と判断され,第2のスライダ63の位置が右側に位置決めされるほど判別対象の画像に含まれる人物の割合が少なくとも人物画像と判断される。人物と「風景」比率は,判別対象画像に含まれる人物の部分と風景(背景)との比率のことである。風景(背景)は,人物を囲んだ場合にその囲まれた領域以外の部分ととらえればよい。判別対象画像に含まれる人物がブーケなどの物を持っていたとしても,その物は無視される。風景(背景)に存在する物は風景の一部とされるが,判別対象画像の中から物を検出し,検出された物を除く風景(背景)を用いて比率を算出してもよい。
上述の実施例では,風景(背景)と物とを区別しているが,風景(背景)と物とを区別せずに対象画像の中に含まれる人物の部分と非人物の部分(人物以外の部分)とを検出し,人物の部分と非人物の部分との比率を基準項目として基準値を設定してもよい。
図8は,人物と「風景」比率にもとづいて判別対象の画像が人物画像か非人物画像かを判断する様子を示している。
判別対象画像I41は人物の大きさに比べて風景(背景)の割合が小さく,判別対象画像I41の人物度の点数は3点であったとする。また,判別対象画像I42は人物の大きさに比べて風景の割合が比較的大きく,判別対象画像I42の人物度の点数は2点であったとする。さらに,判別対象画像I43は人物の大きさに比べて風景の割合が大きく,判別対象画像I43の点数は1点であったとする。
このような場合において,たとえば,第2のスライダ63が第2のスライド・バー62の位置P21に位置決めされ,点数2.5以上の画像を人物画像,点数2.5未満の画像を非人物画像と判別するように設定されると,判別対象画像I41は人物画像と判別されるが判別対象画像I42および判別対象画像I43は非人物画像と判別される。ところが,第2のスライダ63が第2のスライド・バー62の位置P21に位置決めされ,点数1.5以上の画像を人物画像,点数1.5未満の画像を非人物画像と判別するように設定されると,判別対象画像I41および判別対象画像I42が人物画像と判別され,判別対象画像I43が非人物画像と判別される。このように,ユーザの意図に応じて(第2のスライダ63の位置に応じて)判別対象画像I42を人物画像と判断させたり,非人物画像と判断させたりできる。図8の判別対象画像I41からI43のようなサンプル画像を第2のスライド・バー62に対応させて表示しておき,第2のスライダ63の位置に応じてどのような画像が人物画像と判別されるか非人物画像と判別されるかがわかるようにすることが好ましい。また,複数のサンプル画像を表示させておき,そのサンプル画像をユーザが人物画像または非人物画像と指定し,指定した人物画像または非人物画像の人物画像らしさの点数または非人物画像らしさの点数にもとづいて基準値を決定するようにしてもよい。
図6に戻って,第3のチェック・ボックス71の右側には,『人物顔向き度』の文字列および横方向の第3のスライド・バー72(基準値設定手段の一例である)が表示されている。第3のスライド・バー72にも横方向に移動自在な第3のスライダ73が形成されている。第3の基準項目が『人物顔向き度』である。第3のスライド・バー72における第3のスライダ73の位置に応じて,第3の基準項目の基準値が設定される。第3のスライダ73の位置が左側に位置決めされるほど判別対象の画像の人物らしさの点数が高い場合(判別対象の画像に含まれる風景に比べて人物の割合が多い場合)に人物画像と判断され,第3のスライダ73の位置が右側に位置決めされるほど判別対象の画像に含まれる人物の割合が少なくとも人物画像と判断される。
図9は,人物顔向き度にもとづいて判別対象の画像が人物画像か非人物画像かを判断する様子を示している。
判別対象画像I51は人物の顔が正面を向いている割合が大きく,判別対象画像I51の人物度の点数は3点であったとする。また,判別対象画像I52は人物の顔が正面を向いている割合が比較的小さく,判別対象画像I52の人物度の点数は2点であったとする。さらに,判別対象画像I53は人物の顔が正面を向いていず,判別対象画像I53の点数は1点であったとする。
このような場合において,たとえば,第3のスライダ73が第3のスライド・バー72の位置P21に位置決めされ,点数2.5以上の画像を人物画像,点数2.5未満の画像を非人物画像と判別するように設定されると,判別対象画像I51は人物画像と判別されるが判別対象画像I52および判別対象画像I53は非人物画像と判別される。ところが,第3のスライダ73が第3のスライド・バー72の位置P21に位置決めされ,点数1.5以上の画像を人物画像,点数1.5未満の画像を非人物画像と判別するように設定されると,判別対象画像I51および判別対象画像I52が人物画像と判別され,判別対象画像I53が非人物画像と判別される。このように,ユーザの意図に応じて(第3のスライダ73の位置に応じて)判別対象画像I52を人物画像と判断させたり,非人物画像と判断させたりできる。図8の判別対象画像I51からI53のようなサンプル画像を第3のスライド・バー72に対応させて表示しておき,第3のスライダ73の位置に応じてどのような画像が人物画像と判別されるか非人物画像と判別されるかがわかるようにすることが好ましい。また,複数のサンプル画像を表示させておき,そのサンプル画像をユーザが人物画像または非人物画像と指定し,指定した人物画像または非人物画像の人物画像らしさの点数または非人物画像らしさの点数にもとづいて基準値を決定するようにしてもよい。
図6を参照して,第1のチェック・ボックス51,第2のチェック・ボックス61および第3のチェック・ボックス71のうちのいずれかのチェック・ボックスがチェックされると(後述のように複数のチェック・ボックスをチェックできるようにしてもよい),チェックされたチェック・ボックスに対応して形成されている第1のスライド・バー52,第2のスライド・バー62または第3のスライド・バー72の第1のスライダ53,第2のスライダ63または第3のスライダ73の位置が基準値として設定される。
基準値の設定後,キーボード8などにより判別開始指令が画像判別装置1に入力されると(図4ステップ33でYES),1つ目の判別対象画像を表す画像データがメモリ・カード13から読み取られる(図4ステップ34)。読み取られた画像データによって表される画像が人物画像か非人物画像かを判別する処理が,設定された基準値にもとづいてCPU2(判別手段の一例である)によって行われる(図4ステップ35)。この判別処理については後述する。判別対象画像が人物画像または非人物画像のいずれかであるかを判別せずに,判別対象画像が人物画像かどうかを判別する処理を行い,人物画像と判別されない場合には非人物画像と判別してもよいし,判別対象画像が非人物画像かどうかを判別する処理を行い,非人物画像と判別されない場合には人物画像と判別してもよい。判別結果に応じて,判別対象画像が分類して表示される(図4ステップ36)。
図10は,画像分類ウインドウ80の一例である。画像分類ウインドウ80も画像判別装置1の表示装置3の表示画面に表示される。
画像分類ウインドウ80には,人物画像ウインドウ81と非人物画像ウインドウ82とが含まれている。人物画像ウインドウ81には判別対象画像のうち人物画像と判別された判別対象画像I1,I2およびI4−I6が表示されている。非人物画像ウインドウ82には判別対象画像のうち非人物画像と判別された判別対象画像I3およびI7が表示されている。ユーザは,人物画像ウインドウ81に表示されている画像が人物画像であると分かり,非人物画像ウインドウ82に表示されている画像が非人物画像であると分かる。
つづいて,次の判別対象画像があれば(図4ステップ37でYES),ステップ34から36の処理が繰り返され,次の判別対象画像を表す画像データがメモリ・カード13から読み取られる(図4ステップ34)。
図11は,アルバムを構成する見開きページの一例である。
図11に示すアルバムを構成する見開きページ90も画像判別装置1の表示装置3の表示画面に表示されるが,画像判別装置1以外の表示装置の表示画面に表示してもよい。アルバムには見開きページ90以外のページもあるが,図11では見開きページ90のみが図示されている。
アルバムの見開きページ90には複数の画像挿入領域91−96が形成されている。ユーザは,これらの画像挿入領域91−96に人物画像と非人物画像とをアルバム・ストーリを考慮しながら配置していく。たとえば,画像挿入領域91にはケーキ・カット前の新郎,新婦の判別対象画像I6が挿入され,画像挿入領域92にはケーキの判別対象画像I7が挿入されている。そのあとに,たとえば,ケーキ・カットの場面の画像があれば,その画像が画像挿入領域93に挿入される。ユーザが画像を配置せずに人物画像と非人物画像とを自動で配置してもよい。
図12は,第1の判別処理手順(図4のステップ36の処理手順)を示すフローチャートである。
第1の判別処理手順は,上述したように人工知能装置20を用いるものである。
メモリ・カード13から読み取られた判別対象画像を表す画像データおよび第1のチェック・ボックス51,第2のチェック・ボックス61および第3のチェック・ボックス71の中から選択された基準項目を表すデータは,画像判別装置1から人工知能装置20に送信される(ステップ101)。人工知能装置20において,選択された基準項目にしたがってデータベース21に格納されている画像(サンプル画像の一例である)にそれぞれ基準項目ごとに付与されている点数を用いて,その基準項目での判別対象画像の人物画像らしさの点数が算出される。算出された点数(人物画像らしさの評価値)を表すデータが人工知能装置20から画像判別装置1に送信される。人工知能装置20から送信された点数を表すデータが画像判別装置1の通信装置4によって受信される(ステップ102)。
受信した点数を表すデータと設定されたユーザによって設定された基準項目の基準値とから判別対象画像が人物画像か非人物画像かが判別される(ステップ103)。たとえば,受信したデータによって表される点数が設定された基準値以上であれば人物画像と判別され,その点数が基準値未満であれば非人物画像とCPU2によって判別される。
図13は,第2の判別処理手順(図4ステップ35の処理手順)を示すフローチャートである。
図13に示す処理手順は,第1の基準項目または第2の基準項目が設定された場合に行われる。
判別対象画像の人物の部分と非人物の部分とが,画像判別装置1のCPU2(検出手段)によって検出される(ステップ111)。上述したように第1の基準項目が設定された場合には非人物の部分として「モノ・アイテム」の部分が検出され,第2の基準項目が設定された場合には非人物の部分として「風景」の部分(背景の部分)が検出される。
たとえば,図14に示すように判別対象画像が判別対象画像I5であり,第2の基準項目が設定された場合には,非人物の部分として「風景」の部分(背景の部分)121が検出され,人物の部分122が検出される。
図13にもどって,非人物の部分121と人物の部分122との面積比が算出される(ステップ112)。算出された面積比と設定された基準値とから判別対象画像が人物画像か非人物画像かが判別される(ステップ113)。たとえば,第2の基準項目の第2のスライド・バー62の左端の人物度大を,「人物の部分」対「非人物の部分」の面積比が1対2になるように対応させ,第2の基準項目の第2のスライド・バー62の右端の非人物度大を,「人物の部分」対「非人物の部分」の面積比が1対10(または非人物のみ)となるように対応させる。第2のスライダ63の位置において決定される「人物の部分」対「非人物の部分」の比率よりも,算出された面積比が左側の位置に対応すると判別対象画像は人物画像と判別され,算出された面積比が右側の位置に対応すると判別対象画像は非人物画像と判別される。たとえば,第2のスライダ63が第2のスライド・バー62の中央に位置決めされ,中央の位置が「人物の部分」対「非人物の部分」の面積比が1対6を示しているとすると,判別対象画像の面積比が1対6よりも人物の部分の方が多ければ人物画像と判断され,判別対象画像の面積比が1対6よりも非人物の部分の方が多ければ非人物画像と判断される。第2の基準項目でなく第1の基準項目が設定された場合も同様である。
図15および図16は,判別対象画像I5の表示態様を変えた一例である。
図15は,判別対象画像I5において風景(背景)の部分121を人物の部分122に比べて暗くした画像131の一例である。図14において説明したように検出された非人物の部分121がCPU2によって暗くされて表示される(人物の部分と非人物の部分との表示態様を変える一例である)。暗くなっている部分がハッチングで示されている。
図16は,判別対象画像I5において人物の部分122を風景(背景)の部分121に比べて暗くした画像132の一例である。図14において説明したように検出された人物の部分122がCPU2によって暗くされて表示される(人物の部分と非人物の部分との表示態様を変える一例である)。暗くなっている部分がハッチングで示されている。
このように,判別対象画像における人物の部分122と非人物の部分121との表示態様を変えてCPU2(表示制御手段)によって表示装置3の表示画面に表示してもよい。人物の部分122と非人物の部分121とを明るさを変えずに色分けして表示するようにしてもよい。
図17は,第3の判別処理手順(図4ステップ35の処理手順)を示すフローチャートである。
図17に示す処理は,図6に示す基準値設定ウインドウ50において第3のチェック・ボックス71がチェックされて第3の基準項目が選択された場合に行われる。まず,CPU2によって,判別対象画像の中から顔が検出される(ステップ141)。すると,検出された顔の向きがCPU2によって検出される(ステップ142)。顔の向きは,顔に対する目の位置,両目の離れている距離,鼻の向き,口の大きさなどから検出できる。検出された顔の向きと第3のスライド・バー72の第3のスライダ73によって設定された基準値とから判別対象画像が人物画像か非人物画像かが判別される(ステップ143)。
たとえば,図6に示す第3のスライド・バー72の左端が顔の向きが真正面の顔を示し,第3のスライド・バー72の右端が顔の向きが後ろの場合を示しているとする。第3のスライダ73が中央の位置決めされ,顔の向きが横向きの位置を指定しているものとする。そのような場合には算出された顔の向きが横向きよりも正面を向いていると判別対象画像は人物画像と判別され,算出された顔の向きが横向きよりも後ろを向いていると判別対象画像は人物画像と判別される。
顔の向きについても上述のように,判別対象画像を表すデータを人工知能装置20に送信し,人工知能装置20において判別対象画像に含まれる顔の向きに基づく点数を算出し,算出された点数と第3のスライダ73の位置によって決定される基準値とにもとづいて判別対象画像が人物画像か非人物画像かを判別してもよい。
第1実施例によると,ユーザの意図に応じて人物画像と非人物画像とを判別できるようになる。
[第2実施例]
図18から図20は,複数の基準項目にもとづいて判別対象画像が人物画像か非人物画像かを判別する実施例を示している。
図18は,第4の判別処理手順(図4ステップ35の処理手順)を示すフローチャートである。
この処理においては,基準値設定ウインドウ50に含まれる第1のチェック・ボックス51,第2のチェック・ボックス61および第3のチェック・ボックス71のうち,複数のチェック・ボックスをチェックできる。この実施例では,第1のチェック・ボックス51,第2のチェック・ボックス61および第3のチェック・ボックス71のすべてがチェックされ,第1のスライダ53により人物と「モノ・アイテム」との比率,第2のスライダ63により人物と「風景」との比率,第3のスライダ73により人物の顔向き度のそれぞれの基準項目の基準値が設定されたものとする。
判別対象画像を表す画像データが読み取られ,判別対象画像に含まれる人物の部分と非人物の部分とがCPU2によって検出される(ステップ161)。第1のチェック・ボックス51がチェックされているから非人物の部分として「モノ・アイテム」の部分が検出され,第2のチェック・ボックス61もチェックされているから非人物の部分として「風景」の部分も検出される。判別対象画像の人物の部分と非人物の部分とが検出されると,人物の部分と非人物の部分との面積比がCPU2によって算出される(ステップ162)。この面積比の算出において,人物の部分と「モノ・アイテム」の部分との第1の面積比および人物の部分と「風景」の部分との第2の面積比がそれぞれ得られる。
つづいて,判別対象画像の中からCPU2によって顔が検出される(ステップ163)。
次に,算出された第1の面積比および第2の面積比のそれぞれの面積比と設定された基準値とからCPU2によって面積比についての個別判別値が算出される(ステップ165)。面積比と設定された基準値とから算出される個別判別値は,面積比と基準値との差を示すもので,人物の部分と「モノ・アイテム」の部分との第1の面積比とスライダ53によって設定された基準値とから算出される第1の個別判別値と,人物の部分と「風景」の部分との第2の面積比とスライダ63によって設定された基準値とから算出される第2の個別判別値と,がある。また,顔の向きと設定された基準値とからCPU2によって顔の向きについての個別判別値(第3の個別判別値ということにする)が算出される(ステップ166)。顔の向きと基準値から算出される第3の個別判別値は,検出された顔の向きと基準値との差を示すものである。これらの第1から第3の個別判別値は,次のようにして算出される。
図19は,基準値設定ウインドウ50を示している。
人物の部分と「モノ・アイテム」の部分との第1の面積比の値は第1のスライド・バー52においてP51の位置に相当し(たとえば,第1の面積比を表すデータを人工知能装置20に送信し,その第1の面積比での人物度の点数がデータベース21に格納されている多数のサンプル画像Iにもとづいて算出される。その算出された人物度の点数に対応した位置がP51の位置である),第1のスライダ53はP50の位置にユーザによって設定されたものとする。位置P50と位置P51との距離はL1によって表される。第1のスライダ53の位置P50よりもP51の位置が左側にあれば,人物の部分と「モノ・アイテム」の部分との第1の面積比にもとづく判別では判別対象画像は人物画像と判別され,第1のスライダ53の位置P50よりもP51の位置が右側にあれば,人物の部分と「モノ・アイテム」の部分との第1の面積比にもとづく判別では判別対象画像は非人物画像と判別される。図19に示す例では,P51の位置は第1のスライダ53よりも左側にあるから,人物の部分と「モノ・アイテム」の部分との第1の面積比にもとづく判別では判別対象画像は人物画像と判別され(基準項目における基準値ごとの判別結果の一例である),かつ距離L1は正の距離とされる。この距離+L1の値が第1の個別判別値に相当する。
同様に,人物の部分と「風景」の部分との第2の面積比の値は第2のスライド・バー62においてP61の位置に相当し(たとえば,第2の面積比を表すデータを人工知能装置20に送信し,その第2の面積比での人物度の点数がデータベース21に格納されている多数のサンプル画像Iにもとづいて算出される。その算出された人物度の点数に対応した位置がP61の位置である),第2のスライダ63はP60の位置にユーザによって設定されたものとする。位置P60と位置P61との距離はL2によって表される。第2のスライダ63の位置P60よりもP61の位置が左側にあれば,人物の部分と「風景」の部分との第2の面積比にもとづく判別では判別対象画像は人物画像と判別され,第2のスライダ63の位置P60よりもP61の位置が右側にあれば,人物の部分と「風景」の部分との第2の面積比にもとづく判別では判別対象画像は非人物画像と判別される。P61の位置は第2のスライダ63よりも右側にあるから人物の部分と「風景」の部分との第2の面積比にもとづく判別では非人物画像と判別され(基準項目における基準値ごとの判別結果の一例である),かつ距離L2は負の距離とされる。この距離−L2の値が第2の個別判別値に相当する。
同様に,顔の向きの値は第3のスライド・バー72においてP71の位置に相当し,第3のスライダ73の位置P70に相当し,第3のスライダ73はP70の位置にユーザによって設定されたものとする。位置P70と位置P71との距離はL3によって表される。第3のスライダ73の位置P70よりもP71の位置が左側にあれば,顔の向きにもとづく判別では判別対象画像は人物画像と判別され,第3のスライダ73の位置P70よりもP71の位置が右側にあれば,顔の向きにもとづく判別では判別対象画像は非人物画像と判別される。P71の位置は第3のスライダ73よりも左側にあるから顔の向きにもとづく判別では人物画像と判別され(基準項目における基準値ごとの判別結果の一例である),かつ距離L3は正の距離とされる。この距離+L3の値が第3の個別判別値に相当する。
このようにして得られた第1の個別判別値,第2の個別判別値および第3の個別判別値から総合判別値が算出され,判別対象画像が人物画像か非人物画像かがCPU2によって判別される(ステップ167)。たとえば,第1の個別判別値,第2の個別判別値および第3の個別判別値の加算値を総合判別値(加算値が正であれば人物画像,加算値が負であれば非人物画像と判別される)としてもよいし,優先度を設定し優先度に応じて第1の個別判別値,第2個別判別値および第3の個別判別とに重みづけを行い,重みづけ後の加算値を総合判別値としてもよい。
図20は,判別結果表示ウインドウ150の一例である。
判別結果表示ウインドウ150も画像判別装置1の表示装置3の表示画面に表示される。判別結果表示ウインドウ150には,判別対象画像I5が表示されている。この判別対象画像I5の右側に,第1の個別判別値にもとづく判別結果の文章151,第2の個別判別値にもとづく判別結果の文章152,第3の個別判別値にもとづく判別結果の文章153および総合判別値にもとづく判別結果の文章154が表示(複数の基準項目における判別結果の出力の一例である)されている。ユーザは,判別対象画像I5が総合的に人物画像と判別されたのか非人物画像と判別されたのかがわかるだけでなく,第1の個別判別値,第2の個別判別値および第3の個別判別値のそれぞれにもとづく判別結果が分かる。
第2実施例によると,複数の基準項目にもとづいて判別対象画像が総合的に人物画像か,あるいは,非人物画像のいずれかが分かる。しかも複数の基準項目のそれぞれにもとづく判別結果もわかる。
[第3実施例]
図21から図23は,他の実施例を示すもので,複数の判別対象画像について人物画像か非人物画像かを示す判別結果が得られた後に基準値が変更された場合の実施例である。
図21および図22は,画像判別装置1の処理手順を示すフローチャートである。図21および図22において図4に示す処理と同一処理については同一符号を付している。
複数の判別対象画像が表示装置3の表示画面に表示され(ステップ31),図6に示す基準値設定ウインドウ50を用いてユーザによって基準値(一つでも複数でもよい)が設定される(ステップ32)。判別開始指令が入力されると(ステップ33でYES),判別対象画像が読み取られ(ステップ34),判別処理が行われる(ステップ35)。図10に示すように,判別結果に応じて判別対象画像が分類して表示される(ステップ36)。判別対象画像が存在すると(ステップ37でYES),基準値の設定が変更されたかどうかが確認される(図22ステップ171)。
基準値設定ウインドウ50に含まれる第1のチェック・ボックス51,第2のチェック・ボックス61および第3のチェック・ボックス71のうち,チェックされているボックスが変更されたり,チェックされているボックスに対応する第1のスライダ53,第2のスライダ63または第3のスライダ73のうち,いずれかのスライダの位置が変更されたりすると,基準値の設定が変更されたとCPU2によって判定される。
基準値の設定が変更されると(ステップ171でYES),すでに判別された判別対象画像を表す画像データが再び読み取られ(ステップ172),変更された基準値にもとづいて再度判別処理が行われる(ステップ173)。基準値の変更により判別結果が変わると(ステップ174でYES),判別結果が変わった判別対象画像に枠が付けられる(ステップ175)。
図23は,画像分類ウインドウ80の一例である。
画像分類ウインドウ80には,人物画像ウインドウ81と非人物画像ウインドウ82とが含まれている。人物画像ウインドウ81には,基準値の設定が変更される前に人物画像と判別された判別対象画像I1,I2,I4−I6が表示されている。非人物画像ウインドウ82には,基準値の設定が変更される前に非人物画像と判別された判別対象画像I3およびI7が表示されている。基準値の設定が変更され,再度判別処理が行われたことにより人物画像と判別されていた判別対象画像I4が非人物画像と判別されたものとする。すると,その判別対象画像I4にCPU2(報知制御手段の一例である)によって枠FLが付けられる。ユーザは,枠FLが付けられた(報知態様の変更の一例である)ことにより,基準値の変更により判別結果が変わったことが分かる。判別対象画像I4は,基準値の変更前は人物画像と判別されていたが,基準値の変更により非人物画像と判別されたことが分かる。図23においては基準値の変更前には判別対象画像I4は人物画像ウインドウ81(報知手段の一例である)に表示され,基準値が変更され,人物画像から非人物画像に判別結果が変わった場合においても人物画像ウインドウ81に表示されているが,基準値が変更されたことにより,判別対象画像I4を人物画像ウインドウ81における表示から非人物画像ウインドウ82における表示に切り替えてもよい(報知態様の変更の一例である)。その場合に判別結果が変わったことが分かりやすくなるように枠FLを付けてもよいが,付けなくともよい。
図22に戻って,基準値の設定が変更されない(ステップ171でNO),判別結果が変わらない(ステップ174でNO),あるいは判別結果に応じて判別対象画像に枠が付けられると(ステップ175),判別処理が行われていない次の判別対象画像を表す画像データが読み取られ(図21ステップ34),判別処理が行われる(ステップ35)。
図24は,変形例を示すもので,画像判別装置1の処理手順を示すフローチャートの一部を示している。
図24に示す処理は,図4に示すステップ36の処理につづいて行われる。
すべての判別対象画像について判別処理が終了すると(ステップ37でNO),人物画像と判別された判別対象画像と非人物画像と判別された判別対象画像とからアルバムへの採用の可否がCPU2(採用可否決定手段)によって決定される(ステップ181)。たとえば,非人物画像を用いずに人物画像のみを用いてアルバムを作成する場合には,人物画像と判別された画像の中からぼけの程度,明るさの程度,主要人物の位置などからアルバムに使用する人物画像が決定され,決定された人物画像の貼り付け位置がCPU2(位置決定手段)によって決定されてアルバムが作成される(ステップ182)。ユーザが貼り付け位置を決定してもよい。逆に,人物画像を用いずに非人物画像のみを用いてアルバムを作成する場合には,非人物画像と判別された画像の中からアルバムに使用する非人物画像が決定され(ステップ181),決定された非人物画像の貼り付け位置がCPU2(位置決定手段)によって決定されてアルバムが作成される(ステップ182)。このように,たとえば,人物画像と判別された画像のみのアルバム,非人物画像と判別された画像のみのアルバムを作成できる。
また,人物画像と判別された画像のみのアルバム,非人物画像と判別された画像のみのアルバムではなく,人物画像と判別された画像と非人物画像と判別された画像とからアルバムを作成してもよい。たとえば,人物画像と判別され画像と非人物画像と判別された画像との比率が所定の比率となるようにアルバムに採用する画像がCPU2(採用決定手段)によって決定され(ステップ181),決定された画像を用いて貼り付け位置がCPU2(位置決定手段)によって決定されてアルバムが作成されてもよい(ステップ182)。
第3実施例によると,基準値が変更されたことにより判別対象画像の判別結果が変更されたことが分かる。また,判別対象画像の判別結果に応じてアルバムを制作できるようになる。
上述の実施例において,判別する対象となる多数の画像を人物画像と非人物画像とに判別したが,人物画像と判別(第1段階の判別処理)した上で,人物画像を,「より人物らしい人物画像」と「非人物寄りの人物画像」とにさらに判別(第2段階の判別処理)してもよい。例えば,ある基準項目において,上述のスライダよりも人物度大の方向に寄った位置にサブスライダを設け,このサブスライダの示す人物度を基準値として,「より人物らしい人物画像」と「非人物寄りの人物画像」とを判別することとしてもよい。同様に,非人物画像を,「より非人物らしい非人物画像」と「人物寄りの非人物画像」とにさらに判別してもよい。
上述の実施例において画像判別装置1はパーソナル・コンピュータなどを利用して実現してもよいし,スマートフォンなどのような多機能携帯電話,タブレットのような板状のコンピュータを利用して実現してもよい。
上述の処理を実行する処理部には,ソフトウエアを実行して各種の処理部として機能するCPU2のほかに,FPGA(field-programmable gate array)などのように製造後に回路構成を変更可能なプログラマブル・ロジック・ディバイス,ASIC(application specific integrated circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は,これらの各種のプロセッサのうちの1つで構成されてもよいし,同種または異種の2つ以上のプロセッサの組合せ(たとえば,複数のFPGA,CPUとFPGAの組合せ)で構成されてもよい。複数の処理部を1つのプロセッサで構成する例としては,第1に,クライアント・コンピュータやサーバなどのコンピュータに代表されるように,1つ以上のCPUとソフトウエアの組合せで1つのプロセッサを構成し,このプロセッサが複数の処理部として機能する形態がある。第2に,システム・オン・チップなどに代表されるように,複数の処理部を含むシステム全体の機能を1つのIC(integrated circuit)チップで実現するプロセッサを使用する形態がある。このように,各種の処理部は,ハードウエア的な構造として各種のプロセッサを1つ以上用いて構成される。
さらに,これらの各種のプロセッサのハードウエア的な構造は,より具体的には,半導体素子などの回路素子を組合せた電気回路である。
1:画像判別装置,2:CPU,3:表示装置,4:通信装置,5:ハード・ディスク,6:ハード・ディスク・ドライブ,7:メモリ,8:キーボード,9:マウス,10:コンパクト・ディスク・ドライブ,11:コンパクト・ディスク,12:メモリ・カード・リーダ・ライタ,13:メモリ・カード,20:人工知能装置,21:データベース,22:特徴量抽出装置,23:学習用アルゴリズム,24:学習モデル,25:通信装置,40:画像表示ウインドウ,41:画像表示領域,42:スライド・バー,43:ノブ,50:基準値設定ウインドウ,51:第1のチェック・ボックス,52:第1のスライド・バー,53:第1のスライダ,61:第2のチェック・ボックス,62:第2のスライド・バー,63:第2のスライダ,71:第2のチェック・ボックス,72:第3のスライド・バー,73:第3のスライダ,80:画像分類ウインドウ,81:人物画像ウインドウ,82:非人物画像ウインドウ,90:見開きページ,91−93:画像挿入領域,121:非人物の部分,122:人物の部分,131−132:画像,150:判別結果表示ウインドウ,151−154:文章,FL:枠,I:サンプル画像,I1−I28:判別対象画像,I31−I33:判別対象画像,I41−I43:判別対象画像,I51−I53:判別対象画像,L1−L3:距離

Claims (16)

  1. 少なくとも1つの基準項目において,人物画像または非人物画像のうち少なくとも一方を判別する処理に用いる基準値を設定する基準値設定手段,および
    上記基準値設定手段において設定された基準値にもとづいて,判別対象画像が人物画像であるか,あるいは,非人物画像であるかのいずれかを判別する判別手段,
    を備えた画像判別装置。
  2. 上記判別手段は,
    複数のサンプル画像にもとづいて得られる,判別対象画像の人物画像らしさまたは非人物画像らしさを表す評価値と,上記基準値設定手段において設定された基準値と,にもとづいて,判別対象画像が人物画像であるか,あるいは,非人物画像であるかのいずれかを判別する,
    請求項1に記載の画像判別装置。
  3. 上記基準項目は,判別対象画像における人物の部分または非人物の部分の面積比であり,かつ,
    判別対象画像における人物の部分と非人物の部分とを検出する検出手段をさらに備え,
    上記判別手段は,
    上記検出手段によって検出された判別対象画像における人物の部分または非人物の部分の面積比と,上記基準値設定手段において設定された基準値と,にもとづいて,判別対象画像が人物画像であるか,あるいは,非人物画像であるかのいずれかを判別する,
    請求項1に記載の画像判別装置。
  4. 上記検出手段によって検出された判別対象画像における人物の部分と非人物の部分との表示態様を変えて判別対象画像を表示させる表示制御手段,
    をさらに備えた請求項3に記載の画像判別装置。
  5. 上記判別手段は,
    判別対象画像における人物の顔の向きと,上記基準値設定手段において設定された基準値と,にもとづいて,判別対象画像が人物画像であるか,あるいは,非人物画像であるかのいずれかを判別する,
    請求項1に記載の画像判別装置。
  6. 上記基準項目は,
    判別対象画像に含まれる人物と人物を除く物体との比率である,
    請求項1に記載の画像判別装置。
  7. 上記基準項目は,
    判別対象画像に含まれる人物と風景との比率である,
    請求項1に記載の画像判別装置。
  8. 上記基準項目は,
    判別対象画像に含まれる人物の顔が正面を向いている度合いである,
    請求項1に記載の画像判別装置。
  9. 上記基準項目が複数あり,
    上記判別手段は,
    複数の上記基準値設定手段において設定されたそれぞれの基準項目における基準値ごとに判別対象画像の判別を行い,それぞれの基準値ごとに判別結果を出力する,
    請求項1に記載の画像判別装置。
  10. 上記複数の基準項目における上記判別結果にもとづいて,判別対象画像が人物画像であるか,あるいは,非人物画像であるかのいずれかを判別する,
    請求項9に記載の画像判別装置。
  11. 上記判別手段における判別結果を報知する報知手段,および
    上記基準値設定手段における基準値の設定が変更されたことにより,上記判別手段における判別結果が変わったことに応じて上記報知手段における報知態様を変更させる報知制御手段,
    をさらに備えた請求項1に記載の画像判別装置。
  12. 上記判別手段おける判別結果にもとづいて,判別対象画像の採用の可否を決定する採用可否決定手段,
    をさらに備えた請求項1に記載の画像判別装置。
  13. 上記採用可否決定手段によって採用と決定された判別対象画像を,上記判別手段における判別結果にもとづいて,アルバムの貼り付け位置を決定する位置決定手段,
    をさらに備えた請求項12に記載の画像判別装置。
  14. 基準値設定手段が,少なくとも1つの基準項目において,人物画像または非人物画像のうち少なくとも一方を判別する処理に用いる基準値を設定し,
    判別手段が,設定された基準値にもとづいて,判別対象画像が人物画像であるか,あるいは,非人物画像であるかのいずれかを判別する,
    画像判別方法。
  15. 画像判別装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって,
    少なくとも1つの基準項目において,人物画像または非人物画像のうち少なくとも一方を判別する処理に用いる基準値を設定させ,
    設定された基準値にもとづいて,判別対象画像が人物画像であるか,あるいは,非人物画像であるかのいずれかを判別させるように,画像判別装置のコンピュータを制御するプログラム。
  16. 請求項15に記載のプログラムを格納した記録媒体。
JP2018047743A 2018-03-15 2018-03-15 画像判別装置,画像判別方法ならびに画像判別装置のプログラムおよびそのプログラムを格納した記録媒体 Pending JP2019160004A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018047743A JP2019160004A (ja) 2018-03-15 2018-03-15 画像判別装置,画像判別方法ならびに画像判別装置のプログラムおよびそのプログラムを格納した記録媒体
US16/351,391 US11620853B2 (en) 2018-03-15 2019-03-12 Image discrimination apparatus, image discrimination method, program of image discrimination apparatus, and recording medium on which program is stored
CN201910195981.2A CN110276238A (zh) 2018-03-15 2019-03-14 图像判别装置、图像判别方法以及存储有程序的记录介质
JP2022033406A JP2022066413A (ja) 2018-03-15 2022-03-04 画像判別装置,画像判別方法ならびに画像判別装置のプログラムおよびそのプログラムを格納した記録媒体
JP2024004361A JP2024050628A (ja) 2018-03-15 2024-01-16 画像判別装置,画像判別方法ならびに画像判別装置のプログラムおよびそのプログラムを格納した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018047743A JP2019160004A (ja) 2018-03-15 2018-03-15 画像判別装置,画像判別方法ならびに画像判別装置のプログラムおよびそのプログラムを格納した記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022033406A Division JP2022066413A (ja) 2018-03-15 2022-03-04 画像判別装置,画像判別方法ならびに画像判別装置のプログラムおよびそのプログラムを格納した記録媒体

Publications (1)

Publication Number Publication Date
JP2019160004A true JP2019160004A (ja) 2019-09-19

Family

ID=67905775

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018047743A Pending JP2019160004A (ja) 2018-03-15 2018-03-15 画像判別装置,画像判別方法ならびに画像判別装置のプログラムおよびそのプログラムを格納した記録媒体
JP2022033406A Pending JP2022066413A (ja) 2018-03-15 2022-03-04 画像判別装置,画像判別方法ならびに画像判別装置のプログラムおよびそのプログラムを格納した記録媒体
JP2024004361A Pending JP2024050628A (ja) 2018-03-15 2024-01-16 画像判別装置,画像判別方法ならびに画像判別装置のプログラムおよびそのプログラムを格納した記録媒体

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022033406A Pending JP2022066413A (ja) 2018-03-15 2022-03-04 画像判別装置,画像判別方法ならびに画像判別装置のプログラムおよびそのプログラムを格納した記録媒体
JP2024004361A Pending JP2024050628A (ja) 2018-03-15 2024-01-16 画像判別装置,画像判別方法ならびに画像判別装置のプログラムおよびそのプログラムを格納した記録媒体

Country Status (3)

Country Link
US (1) US11620853B2 (ja)
JP (3) JP2019160004A (ja)
CN (1) CN110276238A (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065447A (ja) * 2004-08-25 2006-03-09 Nippon Telegr & Teleph Corp <Ntt> 識別器設定装置、注目度計測装置、識別器設定方法、注目度計測方法、およびプログラム
JP2006268820A (ja) * 2004-11-02 2006-10-05 Matsushita Electric Ind Co Ltd 画像識別方法、画像処理方法、画像識別装置、画像識別プログラムおよび集積回路
JP2007049387A (ja) * 2005-08-09 2007-02-22 Canon Inc 画像出力装置及び画像出力方法
JP2007072861A (ja) * 2005-09-08 2007-03-22 Omron Corp なりすまし検出装置及び顔認証装置
JP2008072172A (ja) * 2006-09-12 2008-03-27 Seiko Epson Corp 画像処理装置、印刷装置、画像処理方法、および印刷方法
JP2009223764A (ja) * 2008-03-18 2009-10-01 Fujifilm Corp 画像重要度判定方法、アルバム自動レイアウト方法、プログラムおよび装置
JP2011130328A (ja) * 2009-12-21 2011-06-30 Sony Corp 画像処理装置および方法、並びにプログラム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3961139B2 (ja) 1998-12-24 2007-08-22 富士フイルム株式会社 ポジ型感光性組成物
US6611622B1 (en) * 1999-11-23 2003-08-26 Microsoft Corporation Object recognition system and process for identifying people and objects in an image of a scene
JP4346859B2 (ja) 2002-03-27 2009-10-21 富士フイルム株式会社 画像撮像装置、画像撮像装置における画像表示方法およびプログラム
JP4455302B2 (ja) 2003-12-25 2010-04-21 富士フイルム株式会社 画像編集装置および方法並びにプログラム
KR100601997B1 (ko) * 2004-10-12 2006-07-18 삼성전자주식회사 인물기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 인물기반 디지털 사진 앨버밍 방법 및 장치
JP2006293985A (ja) * 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP4638274B2 (ja) 2005-05-10 2011-02-23 富士フイルム株式会社 画像選択方法、画像選択装置、プログラム、およびプリント注文受付機
JP4404011B2 (ja) * 2005-05-30 2010-01-27 ノーリツ鋼機株式会社 画像処理装置及びその方法
JP4315148B2 (ja) * 2005-11-25 2009-08-19 株式会社ニコン 電子カメラ
KR100682953B1 (ko) * 2005-12-14 2007-02-15 삼성전자주식회사 인물 검출장치 및 방법
JP2007264887A (ja) 2006-03-28 2007-10-11 Dainippon Screen Mfg Co Ltd 人物領域検出装置、人物領域検出方法及びプログラム
JP4769624B2 (ja) 2006-04-25 2011-09-07 富士フイルム株式会社 画像再生装置ならびにその制御方法およびその制御プログラム
JP2008288684A (ja) 2007-05-15 2008-11-27 Toyota Central R&D Labs Inc 人物検出装置及びプログラム
US8295543B2 (en) * 2007-08-31 2012-10-23 Lockheed Martin Corporation Device and method for detecting targets in images based on user-defined classifiers
JP5448412B2 (ja) * 2008-10-24 2014-03-19 キヤノン株式会社 情報処理装置およびその方法、プログラム、記録媒体
JP2011081763A (ja) * 2009-09-09 2011-04-21 Sony Corp 情報処理装置、情報処理方法及び情報処理プログラム
JP2011209966A (ja) * 2010-03-29 2011-10-20 Sony Corp 画像処理装置および方法、並びにプログラム
US8345934B2 (en) * 2010-07-19 2013-01-01 Telefonica, S.A. Method for automatic storytelling for photo albums using social network context
JP2012084012A (ja) * 2010-10-13 2012-04-26 Canon Inc 画像処理装置、その処理方法及びプログラム
US8811747B2 (en) * 2011-10-28 2014-08-19 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US8923570B2 (en) * 2012-06-19 2014-12-30 Intel Coporation Automated memory book creation
JP6071289B2 (ja) * 2012-07-09 2017-02-01 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP5655112B2 (ja) 2012-09-14 2015-01-14 富士フイルム株式会社 合成画像作成システム、画像処理装置および画像処理方法
US9652475B2 (en) * 2013-09-17 2017-05-16 Google Technology Holdings LLC Highlight reels
JP6009481B2 (ja) * 2014-03-11 2016-10-19 富士フイルム株式会社 画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体
US10079827B2 (en) * 2015-03-16 2018-09-18 Ricoh Company, Ltd. Information processing apparatus, information processing method, and information processing system
KR101737089B1 (ko) * 2015-05-29 2017-05-17 삼성전자주식회사 이미지를 디스플레이하는 방법 및 디바이스
US10834815B2 (en) * 2015-12-01 2020-11-10 Japan Aviation Electronics Industry, Limited Printed wiring line, electronic device, touch panel, gravure plate, printed wiring line formation method, touch panel production method, and electronic device production method
JP6862164B2 (ja) * 2016-12-09 2021-04-21 キヤノン株式会社 プログラム、画像処理装置、および画像処理方法
JP6890991B2 (ja) * 2017-01-31 2021-06-18 キヤノン株式会社 画像処理装置、制御方法及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065447A (ja) * 2004-08-25 2006-03-09 Nippon Telegr & Teleph Corp <Ntt> 識別器設定装置、注目度計測装置、識別器設定方法、注目度計測方法、およびプログラム
JP2006268820A (ja) * 2004-11-02 2006-10-05 Matsushita Electric Ind Co Ltd 画像識別方法、画像処理方法、画像識別装置、画像識別プログラムおよび集積回路
JP2007049387A (ja) * 2005-08-09 2007-02-22 Canon Inc 画像出力装置及び画像出力方法
JP2007072861A (ja) * 2005-09-08 2007-03-22 Omron Corp なりすまし検出装置及び顔認証装置
JP2008072172A (ja) * 2006-09-12 2008-03-27 Seiko Epson Corp 画像処理装置、印刷装置、画像処理方法、および印刷方法
JP2009223764A (ja) * 2008-03-18 2009-10-01 Fujifilm Corp 画像重要度判定方法、アルバム自動レイアウト方法、プログラムおよび装置
JP2011130328A (ja) * 2009-12-21 2011-06-30 Sony Corp 画像処理装置および方法、並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
加藤 典司,福井 基文,坪下 幸寛,尾崎 良太: "確率的生成モデルを用いた自動画像アノテーション", 富士ゼロックス テクニカルレポート, vol. No.22 2013, JPN6021012182, 20 February 2013 (2013-02-20), JP, pages 1 - 10, ISSN: 0004656165 *

Also Published As

Publication number Publication date
US20190286888A1 (en) 2019-09-19
JP2024050628A (ja) 2024-04-10
US11620853B2 (en) 2023-04-04
JP2022066413A (ja) 2022-04-28
CN110276238A (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
CN105981368B (zh) 在成像装置中的照片构图和位置引导
US11256904B2 (en) Image candidate determination apparatus, image candidate determination method, program for controlling image candidate determination apparatus, and recording medium storing program
US9785826B2 (en) Image processor, important person determination method, image layout method as well as program and recording medium
US10991141B2 (en) Automatic creation of a group shot image from a short video clip using intelligent select and merge
WO2014207991A1 (ja) 教師データ生成装置、方法、プログラム、および群衆状態認識装置、方法、プログラム
JP7463473B2 (ja) 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
US9690980B2 (en) Automatic curation of digital images
JP2007094990A (ja) 画像分類装置および方法並びにプログラム
JP2020140557A (ja) 画像処理装置、制御方法、及びプログラム
CN116862956A (zh) 图像提取装置、图像提取方法及记录介质
JP5648452B2 (ja) 画像処理プログラムおよび画像処理装置
US20210406588A1 (en) Image processing device, image processing method, and image processing program
JP4708835B2 (ja) 顔検出装置、顔検出方法、及び顔検出プログラム
JP2020140555A (ja) 画像処理装置、制御方法、及びプログラム
JP2019160004A (ja) 画像判別装置,画像判別方法ならびに画像判別装置のプログラムおよびそのプログラムを格納した記録媒体
JP5933396B2 (ja) 画像分類装置、画像分類方法
WO2018192244A1 (zh) 一种智能设备的拍摄引导方法
CN106537417A (zh) 总结相册
KR20150109987A (ko) 영상 처리 장치, 그 제어 방법 및 컴퓨터 판독 가능 기록 매체
US11657649B2 (en) Classification of subjects within a digital image
KR20240077596A (ko) 사용자 맞춤형 여행 사진 통합 관리가 가능한 사용자 단말기 및 그의 사용자 맞춤형 여행 사진 통합 관리 방법
KR20230120972A (ko) 대체 불가능 토큰 콘텐츠를 이용한 증강 현실 서비스를 제공하기 위한 방법
JP2020140556A (ja) 画像処理装置、制御方法、及びプログラム
JP2020140558A (ja) 画像処理装置、制御方法、及びプログラム
Gray Computing Science and Mathematics University of Stirling

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210607

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211207