JP2015139001A - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2015139001A
JP2015139001A JP2014007947A JP2014007947A JP2015139001A JP 2015139001 A JP2015139001 A JP 2015139001A JP 2014007947 A JP2014007947 A JP 2014007947A JP 2014007947 A JP2014007947 A JP 2014007947A JP 2015139001 A JP2015139001 A JP 2015139001A
Authority
JP
Japan
Prior art keywords
image
person
information
images
cpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014007947A
Other languages
English (en)
Other versions
JP6410427B2 (ja
JP2015139001A5 (ja
Inventor
妙子 山▲崎▼
Taeko Yamazaki
妙子 山▲崎▼
誠 榎本
Makoto Enomoto
誠 榎本
池田 裕章
Hiroaki Ikeda
裕章 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014007947A priority Critical patent/JP6410427B2/ja
Publication of JP2015139001A publication Critical patent/JP2015139001A/ja
Publication of JP2015139001A5 publication Critical patent/JP2015139001A5/ja
Application granted granted Critical
Publication of JP6410427B2 publication Critical patent/JP6410427B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

【課題】複数の画像の中から、購入希望者が興味を示すような画像を自動的に選択することを目的とする。【解決手段】情報処理装置であって、イベント開催中に撮影された、注目人物を含む、複数の注目画像それぞれの画像評価値を算出する算出手段と、画像評価値と、イベントのシーン毎に設定された基準値と、に基づいて、複数の注目画像の中から、各シーンの代表画像を選択する選択手段とを有する。【選択図】図1

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。
従来、一般参加型のマラソン大会等で、撮影者が撮影ポイントで競技参加者を撮影し、競技大会終了後に、参加者に参加者自身が写っている写真を販売するサービスが実施されている。
このようなサービスに関連する技術として、例えば、特許文献1には、競技大会で計測ポイントへの通過予測時間から、大会を撮影した動画像中に写っている参加者を検索し、参加者向けに映像編集を行う手法が開示されている。
また、特許文献2には、選択された人物からなる集合体に対して、特定の表情を選択し、選択された表情の集合体を作成し表示する手法が開示されている。
特開2004−112153号公報 特開2011−129033号公報
しかしながら、マラソン大会等競技時間が長く、参加者の多いイベントにおいては、撮影される写真の数は膨大となる。膨大な数の写真の中から、注目する参加者が写っている写真をすべて選択することとした場合には、他の参加者を中心に撮影され、注目する参加者が端に映っているような写真も選択されることとなり、好ましくない。
また、特許文献2には、特定の表情の画像のみを選択する技術が開示されているが、特定の表情の写真のみが良い写真とは限らず、必ずしも購入希望者の購入意欲が湧くような画像を選択できるとは限らない。
本発明はこのような問題点に鑑みなされたもので、複数の画像の中から、購入希望者が興味を示すような画像を自動的に選択することを目的とする。
そこで、本発明は、情報処理装置であって、イベント開催中に撮影された、注目人物を含む、複数の注目画像それぞれの画像評価値を算出する算出手段と、前記画像評価値と、前記イベントのシーン毎に設定された基準値と、に基づいて、前記複数の注目画像の中から、各シーンの代表画像を選択する選択手段とを有する。
本発明によれば、複数の画像の中から、購入希望者が興味を示すような画像を自動的に選択することができる。
情報処理システムを示す図である。 画像情報及び人物情報の一例を示す図である。 フォトアルバム作成処理を示すシーケンス図である。 顔認識処理を示すフローチャートである。 撮影画像の一例を示す図である。 人物情報の一例を示す図である。 S303の処理後の人物情報の一例を示す図である。 画像情報の一例を示す図である。 人物情報の一例を示す図である。 ゼッケン番号認識処理を示すフローチャートである。 ゼッケン番号の認識結果の一例を示す図である。 ゼッケン番号認識処理を説明するための図である。 ゼッケン番号認識処理を説明するための図である。 ゼッケン番号認識処理後の人物情報を示す図である。 撮影画像の一例を示す図である。 基準値群決定テーブルの一例を示す図である。 基準値テーブルの一例を示す図である。 フォトアルバムのテンプレートの一例を示す図である。 フォトアルバムの一例を示す図である。 基準値テーブルの一例を示す図である。 検索結果の表示例を示す図である。 検索結果の表示例を示す図である。
以下、本発明の実施形態について図面に基づいて説明する。
図1は、情報処理システムを示す図である。本実施形態にかかる情報処理システムは、イベント開催中に撮影されたイベント画像から、特定の参加者の写った画像を選択し、選択した画像を含むフォトアルバムを作成する。なお、本実施形態においては、マラソン大会のイベントを例に説明するが、イベントは、多数の人物が集まる会であればよく、競技会に限られるものではない。
情報処理システムは、情報処理装置100と、撮影装置110とを有している。情報処理装置100は、CPU101と、メモリ102と、ハードディスク103と、ネットワークI/F104とを有している。CPU101は、撮影装置110により撮影された撮影画像の制御や、人物の認識処理を施すためのプログラムを実行する。
メモリ102は、プログラムを実行する際のワークメモリやデータの一時保存などに利用される。ハードディスク103は、プログラムや撮影画像等のデータを格納する。ハードディスク103は、例えば、イベント開催中に撮影された撮影画像(イベント画像)を含む画像情報や、撮影画像から認識された人物に関する人物情報等を格納する。ネットワークI/F104は、LANやインターネット等の有線又は無線のネットワーク120に接続し、撮影装置110とデータの入出力を行う。
なお、後述する情報処理装置100の機能や処理は、CPU101がメモリ102又はハードディスク103に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
撮影装置110は、CPU111と、メモリ112と、記録メディア113と、ネットワークI/F114と、カメラユニット115と、ディスプレイ116と、操作ユニット117とを有している。CPU111は、撮影制御や現像処理を施すためのプログラムを実行する。メモリ112は、CPU111が実行するプログラムや、プログラムを実行する際のワークメモリ、データの一時保存などに利用される。記録メディア113は、撮影画像などのデータを格納する。
なお、後述する撮影装置110の機能や処理は、CPU111がメモリ112等に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
ネットワークI/F114は、ネットワーク120に接続し、情報処理装置100とデータの入出力を行う。例えば、撮影装置110から情報処理装置100へ撮影画像が送信される。
カメラユニット115は、外光を、レンズを介して入力しCCD等の光電変換デバイスによりデジタルデータに変換する。ディスプレイ116は、撮影のUIや撮像画像を再生表示する。操作ユニット117は、ユーザ操作を受け付ける。
なお、本実施形態においては、情報処理装置100は、1台の撮影装置110のみから撮影画像を受信するものとするが、情報処理システムは、2台以上の撮影装置110を備えてもよい。この場合、情報処理装置100は、情報処理システムが備えるすべての撮影装置110から撮影画像を受信することとする。例えば、マラソン大会においては、コースの複数地点に撮影装置110が設置されている場合には、情報処理装置100は、各地点に設定された撮影装置110から撮影画像を受信する。
図2(A)は、画像情報の一例を示す図である。図2(B)は、人物情報の一例を示す図である。画像情報及び人物情報は、いずれも、情報処理装置100のハードディスク103等に格納されている。画像情報及び人物情報は、いずれも、木構造になっており、最上位には、データの種類名が格納されている。そして、種類名以下のブロックには、各属性名が格納されている。
図2(A)に示すように、画像情報は、画像ID属性と、画像実体属性と、被写人物属性と、撮影位置属性と、撮影時刻属性と、ランドマーク属性とを含んでいる。なお、画像情報は、撮影画像毎に作成される。画像ID属性は、画像情報ごとにユニークに設定されるIDである。画像実体属性は、画像情報のバイナリデータの保存場所を示すポインタ情報、又はバイナリデータそのものである。
被写人物属性は、撮影画像に写っている人物毎の、人物数分の可変複数個の人物属性を含んでいる。すなわち、被写人物属性の個数は、対応する撮影画像に写る人物の数と一致する。被写人物属性には、人物ID属性と、顔位置属性と、顔大きさ属性と、表情属性と、ブレ属性と、ぼけ属性とが含まれている。以下、被写人物属性の下位の属性を、被写体人物情報と称することとする。
人物ID属性は、被写人物と、後述の人物情報とを紐付けるための人物識別情報である。顔位置属性は、撮影画像内で人物が写っている位置を示す情報である。顔位置属性は、画像を左上原点とする顔を含む矩形の左上X座標及びY座標それぞれをX属性及びY属性として含む。
顔大きさ属性は、顔を含む矩形の幅及び高さをそれぞれW属性及びH属性として含む。表情属性は、人物が笑顔であるか、泣き顔であるかの状態を示す情報である。ブレ属性は、被写人物のブレの度合いを示す情報である。ぼけ属性は、被写人物への合焦の度合いである。
また、撮影位置属性は、画像が撮影されたポイントの位置である。ここでは説明の簡略化のために、撮影位置属性は、競技大会のスタート地点からの道程を示すものとする。撮影時刻属性は、撮影された時刻である。ここでは説明の簡略化のために、撮影時刻属性は、競技大会のスタートからの経過時間を示すものとする。ランドマーク属性は、画像に含まれているランドマークの情報である。
図2(B)に示すように、人物情報は、人物ID属性と、特徴量属性と、ゼッケン番号属性と、画像属性とを含んでいる。なお、1つの撮影画像に複数の参加者が写っている場合がある一方で、1人の参加者が複数の撮影画像に写っている場合がある。このため、画像情報と人物情報は、多対多の関係となる。
人物ID属性は、人物情報毎にユニークに設定されるIDである。特徴量属性は、人物の顔や服装などの特徴を表す情報である。ゼッケン番号属性は、競技参加者のゼッケン番号である。画像属性は、対応する人物IDで特定される競技参加者が写っている画像毎の画像ID属性を含んでいる。すなわち、画像ID属性は、競技参加者が写っている画像の画像IDを示す情報である。
なお、画像情報及び人物情報のデータ構造は、情報処理装置100が、各情報をキーとして、検索、取得可能な構造であればよく、実施形態に限定されるものではない。
図3は、情報処理システムによるフォトアルバム作成処理の概略を示すシーケンス図である。なお、各処理の詳細については、後述する。S300において、撮影装置110のCPU111は、カメラユニット115による撮影を制御する。これにより、撮影画像が得られる。なお、他の例としては、情報処理装置100が撮影装置110に対し、撮影指示を送信し、撮影装置110のCPU111は、情報処理装置100の制御の下、撮影を行ってもよい。
次に、S301において、撮影装置110のCPU111は、ネットワーク120を介して、撮影画像や、撮影画像に関する情報を情報処理装置100へ送信する。情報処理装置100のCPU101は、受信した撮影画像等をハードディスク103に格納する。具体的には、図2(A)に示すように、画像ID、画像実体、撮影位置、撮影時刻を画像情報としてハードディスク103に格納する。なお、S301の処理時点においては、画像情報のうち、被写人物属性には、情報は格納されていない。被写人物属性の情報は、後述のS303の処理において追加される。また、CPU101は、予め設定されたランドマークを検出し、ランドマークが検出された場合には、ランドマーク属性に、検出されたランドマークの情報を格納する。
次に、S302において、情報処理装置100のCPU101は、ハードディスク103に格納されている各撮影画像において、被写体として映っている複数の人物を特定する(特定処理)。ここで、人物特定処理(S302)は、顔認識処理(S303)と、ゼッケン認識処理(S304)とに大別される。
S303において、CPU101は、ハードディスク103に格納されている各撮影画像に含まれる人物の顔を認識し、顔領域を検出する(検出処理)。そして、CPU101は、検出結果に基づいて、人物情報を生成し、処理対象の撮影画像の画像情報に含まれる被写人物属性に、特定された人物にかかる被写体人物情報を付加する。CPU101は、処理対象の撮影画像中に複数の人物が写っている場合には、複数の被写人物属性の下位の被写体人物情報を作成する。
図4は、情報処理装置100による、顔認識処理(S303)における、詳細な処理を示すフローチャートである。情報処理装置100のCPU101は、ハードディスク103に格納されている撮影画像を順次処理対象として、顔認識処理(S303)を行うこととする。なお、他の例としては、CPU101は、ハードディスク103に格納されているすべての撮影画像を一括して処理することとしてもよい。
図5は、撮影画像の一例を示す図である。ここでは、図5に示す撮影画像(画像ID「101」)を処理対象とする場合を例に、顔認識処理(S303)の処理を説明することとする。以下、処理対象の撮影画像を対象画像と称することとする。
S400において、CPU101は、対象画像から、所定の特徴量に基づいて、顔が存在する領域を検出する。図5に示す撮影画像からは、3つの顔領域501,502,503が検出される。なお、顔検出には公知技術を用いればよい。顔検出については、例えば、特開平8−063597号公報を参照することができる。特開平8−063597号公報には、人の顔の形状に相当する顔候補領域を抽出し、その領域内の特徴量から顔領域を決定する方法が記載されている。
次に、S401において、CPU101は、ハードディスク103に格納されている人物情報群を取得する。ここで、人物情報群は、ハードディスク103に格納されているすべての人物情報を含むものとする。ここでは、人物情報群として、図6(A),(B)に示す、2人分の人物情報を取得した場合を例に説明を進める。なお、初期状態においては、ハードディスク103には、人物情報は格納されていない。この場合には、S401において、CPU101は、人物情報群を取得することなく、処理をS402へ進める。
次に、S402において、CPU101は、S400において検出された顔領域の中から顔領域を1つ選択する。次に、S403において、CPU101は、選択された顔領域を処理対象とし、処理対象の顔領域の顔特徴量を算出する。以下、処理対象の顔領域を対象顔領域と称することとする。なお、他の例としては、CPU101は、S400において用いた特徴量を顔特徴量としてもよい。この場合、S402の処理は不要である。
次に、S404において、CPU101は、人物情報群から人物情報を1つ選択する。以下、選択された人物情報を、対象人物情報と称することとする。次に、S405において、CPU101は、対象人物情報から顔特徴量を抽出する。そして、CPU101は、対象人物情報に含まれる顔特徴量と、対象顔領域の顔特徴量との差分を算出する。
次に、S406において、CPU101は、差分が閾値以下か否かを判定する。CPU101は、差分が閾値以下である場合には(S406でYes)、処理をS407へ進める。CPU101は、閾値よりも大きい場合には(S406でNo)、処理をS408へ進める。ここで、閾値は、例えばハードディスク103等に予め設定されているものとする。
S407において、CPU101は、対象人物情報と、対象画像とを紐付ける。具体的には、CPU101は、対象人物情報の画像ID属性に、対象画像の画像IDを追加し、処理をS410へ進める。
一方、S408において、CPU101は、人物情報群のすべての人物情報を、選択済みか否かを確認する。CPU101は、未選択の人物情報が存在する場合には、S404へ戻り、未選択の人物情報を選択する。CPU101は、すべての人物情報を選択済みである場合には、処理をS409へ進める。
S409において、CPU101は、対象顔領域に対する人物情報を新たに作成する。すなわち、CPU101は、対象顔領域の顔特徴量と類似する人物情報が存在しない場合には、新たな人物の顔領域と判断し、新規に人物情報を作成する。
次に、S410において、CPU101は、画像情報に、対象顔領域に対応する被写体人物情報を追加する。CPU101は、具体的には、対象顔領域に対して割り当てられた人物ID、対象顔領域の位置等を追加する。次に、S411において、CPU101は、検出されたすべての顔領域を、選択済みか否かを確認する。CPU101は、未選択の顔領域が存在する場合には、S402へ戻り、未選択の顔領域を選択する。CPU101は、すべての顔領域を選択済みである場合には、顔認識処理(S303)を終了する。
例えば、図5に示す画像ID「101」の対象画像の顔領域501の顔特徴量と、人物ID「A100」の人物情報に含まれる顔特徴量の差分が閾値以下であるとする。また、画像ID「101」の対象画像の顔領域502の顔特徴量と、人物「A200」の人物情報に含まれる顔特徴量の差分が閾値以下であるとする。また、画像ID「101」の対象画像の顔領域503の顔特徴量は、いずれの人物情報に含まれる顔特徴量との差分も閾値よりも大きいものとする。
この場合、CPU101は、S402において、顔領域501を選択し、続く、S407において、図7(A)に示すように、人物ID「A100」の人物の人物情報の画像ID属性に「ID101」を追加する。続いて、CPU101は、続くS402において、顔領域502を選択し、続く、S407においてCPU101は、図7(B)に示すように、人物ID「A200」の人物情報の画像ID属性に「ID101」を追加する。
再び、S402に戻り、CPU101は、顔領域503を選択し、続く、S409において、図7(C)に示すように、顔領域503に対応する新たな人物情報を作成する。具体的には、CPU101は、顔領域503に示される人物に対し、新たな人物ID「A300」を付与し、これを人物ID属性に格納する。さらに、CPU101は、顔領域503の顔特徴量を特徴量属性に格納し、顔領域503を含む撮影画像の画像ID「ID101」を画像ID属性に格納する。
図8及び図9は、顔認識処理(S303)が完了し、ゼッケン認識処理(S304)の処理前の時点において、ハードディスク103に格納されている画像情報及び人物情報の一例を示す図である。この時点では、ゼッケン番号は特定されていなため、人物情報中のゼッケン番号属性に、ゼッケン番号は格納されていない。また、この時点では、人物情報中の顔特徴量は、画像IDとの紐付けはなされているものの、撮影画像中の顔領域との紐付けはなされていない。
図3に戻り、S303の処理の後、S304において、CPU101は、ハードディスク103に格納されている各撮影画像から、ゼッケン番号を認識する。そして、CPU101は、S303において認識された人物とゼッケン番号とを紐付ける。ここで、ゼッケン番号は、撮影画像において、人物と共に被写体として含まれる、人物の識別情報の一例である。
なお、本実施形態においては、情報処理装置100は、人物を特定するための識別情報として、ゼッケン番号を認識するものとするが、これに限定されるものではない。例えば、人物が名札を付けている場合には、情報処理装置100は、名札の記載内容を認識すればよい。
図10は、図3を参照しつつ説明した、ゼッケン認識処理(S304)における、詳細な処理を示すフローチャートである。S1000において、情報処理装置100のCPU101は、ハードディスク103に格納されている画像情報を1つ選択する。
次に、S1001において、CPU101は、選択された画像情報に対応する撮影画像(以下、対象画像と称する)において、人物のゼッケン番号を認識する。具体的には、CPU101は、対象画像からゼッケンが存在する領域、すなわち文字領域を抽出し、抽出した領域において、文字認識を実行する。なお、ゼッケン領域抽出(文字領域抽出)には、公知技術を用いることができる。特開2009−123205号公報に記載された処理を用いる場合には、CPU101は、撮影画像からエッジ画像を生成し、エッジ画像から連結画素塊(Connected Component 以後、「CC」と称する)を生成する。そして、CPU101は、CCの大きさなどの特徴量から文字らしいと推定される候補CCの座標位置をハフ変換した結果、直線に並ぶ候補CC群を文字領域と判定する。以上の処理により、CPU101は、ゼッケン領域に対し、文字認識を実行することにより、ゼッケン番号を得ることができる。
なお、対象画像中に複数のゼッケン番号が存在する場合には、CPU101は、対象画像中に含まれるすべてのゼッケン番号を認識する。
図11は、ゼッケン番号の認識結果の一例を示す図である。競技中に撮影された撮影画像においては、ゼッケンが競技者本人の腕や、他の競技者の体に遮られたり、競技者の体の動きでゼッケンが歪んだりしてゼッケン認識に成功しない場合もある。例えば、図11(C)に示す撮影画像(画像ID「ID102」)においては、競技者が写っているにも関わらず、ゼッケン認識数は「0」である。また、他の撮影画像においても、競技者の数とゼッケン認識数は、一致していない。
図10に戻り、S1002において、CPU101は、抽出したゼッケン番号の中から、ゼッケン番号を1つ選択する。次に、S1003において、CPU101は、選択中の画像情報に含まれる各人物IDに対応する顔位置と、S1002において選択したゼッケン番号のゼッケン位置とを比較する。ここで、ゼッケン位置とは、撮影画像におけるゼッケン領域の中心位置である。
次に、S1004において、CPU101は、比較結果に基づいて、ゼッケン番号に対応する人物が存在するか否かを判定する。具体的には、CPU101は、顔位置が、ゼッケン位置から既定の半径内であって、かつゼッケン位置に比べて上部に顔位置が位置する場合に、ゼッケン番号と人物の顔とが対応すると判定する。ここで、既定半径は、ハードディスク103等に予め格納されているものとする。
なお、CPU101は、ゼッケン番号に対応する人物の顔が複数存在する場合には、顔位置がゼッケン位置に最も近い人物の顔をゼッケン番号に対応する人物の顔と判定する。
CPU101は、ゼッケン番号に対応する人物が存在する判定した場合には(S1004でYes)、処理をS1005へ進める。CPU101は、ゼッケン番号に対応する人物が存在しないと判定した場合には(S1004でNo)、処理をS1006へ進める。S1005において、CPU101は、選択中の人物IDにより紐付けられている人物情報のゼッケン番号属性に、選択中のゼッケン番号を追加する。
S1006において、CPU101は、S1001において認識されたすべてのゼッケン番号を、選択済みか否かを判定する。CPU101は、すべてのゼッケン番号を選択済みの場合には、処理をS1007へ進める。一方、CPU101は、未選択のゼッケン番号が存在する場合には、処理をS1002へ進め、未選択のゼッケン番号を選択する。
S1007において、CPU101は、ハードディスク103に格納されているすべての画像情報を、選択済みか否かを判定する。CPU101は、すべての画像情報を選択済みの場合には、ゼッケン番号認識処理を終了する。一方、CPU101は、未選択の画像情報が存在する場合には、処理をS1000へ進め、未選択の画像情報を選択する。
ここで、図12及び図13を参照しつつ、画像ID「ID100」、「ID101」の撮影画像をこの順に処理する場合を例に、ゼッケン番号認識処理(S304)を具体的に説明する。まず、ゼッケン番号認識処理(S304)前の前提条件について説明する。
図12(A)は、画像ID「ID100」の撮影画像を示す図である。「ID100」の撮影画像においては、顔認識処理(S303)において、2つの顔領域1201,1201が検出されているものとする。これに対応し、図12(B)に示すように、「ID100」の撮影画像の画像情報には、顔領域1202に対応し、顔領域1202に示される人物の人物ID「A100」と、顔位置とを含む被写体人物情報が格納されている。さらに、「ID100」の撮影画像の画像情報には、顔領域1201に対応し、顔領域1201に示される人物の人物ID「A200」と、顔位置とを含む被写体人物情報が格納されている。
また、図13(A)は、画像ID「ID101」の撮影画像を示す図である。「ID101」の撮影画像においては、顔認識処理(S303)において、3つの顔領域1301,1302,1303が検出されているものとする。これに対応し、図13(B)に示すように、「ID101」の撮影画像の画像情報には、顔領域1303に示される人物の人物ID「A100」と、顔位置とを含む被写体人物情報が格納されている。さらに、「ID101」の撮影画像の画像情報には、顔領域1302,1303に示される人物(人物ID「A200」,「A300」)の被写体人物情報が格納されている。
この状態において、ゼッケン番号認識処理が実行されると、S1000において、CPU101は、まず図12(A)に示す、画像ID「ID100」の撮影画像を選択する。次に、S1001において、CPU101は、撮影画像において、ゼッケン領域1203を抽出し、文字認識によりゼッケン番号「Z001」を得る。
次に、S1002において、CPU101は、得られたゼッケン番号「Z001」を選択する。次に、S1003において、CPU101は、図12(B)に示す画像ID「ID100」の画像情報に含まれる人物ID「A100」、「A200」それぞれに対応する顔位置と、ゼッケン位置とを比較する。ここで、人物ID「A100」、「A200」は、それぞれ顔領域1202,1201に対応する。図12(A)に示すように、人物ID「A100」の顔領域1201は、ゼッケン領域1203のゼッケン位置の上方に位置しない。一方で、人物ID「A200」の顔領域1202は、ゼッケン位置の上方かつ近接位置にある。したがって、CPU101は、ゼッケン番号が顔領域1202に対応する人物に対応すると判定し、処理をS1005へ進める。
そして、S1005において、CPU101は、画像ID「ID100」の画像情報を参照し、顔領域1202に示される人物の人物IDを特定する。図12(B)の例においては、人物ID「A100」が特定される。
次に、CPU101は、特定した人物ID「A100」の人物情報のゼッケン属性にゼッケン番号を追加する。図12(C)は、S1005の処理後の人物情報を示す図である。人物ID「A100」のゼッケン番号には、認識されたゼッケン番号「Z001」が格納されている。一方、対応するゼッケン番号が検出されなかった、人物ID「A200」の人物情報のゼッケン番号属性には、ゼッケン番号は追加されていない。
続いて、S1000に戻り、CPU101は、図13(A)に示す、画像ID「ID101」の撮影画像を選択する。次に、S1001において、CPU101は、ゼッケン領域1304を抽出し、文字認識により、ゼッケン番号「Z200」を得る。そして、S1003において、図13(B)に示す画像ID「ID101」の画像情報に含まれる人物ID「A100」、「A200」、「A300」それぞれに対応する顔位置と、ゼッケン位置とを比較する。ここで、人物ID「A100」、「A200」、「A300」は、それぞれ顔領域1303,1302,1301に対応する。
図13(A)に示すように、顔領域1301の顔位置は、ゼッケン領域1304の上方にない。一方で、顔領域1302,1303の顔位置は、ゼッケン領域1304の上方にある。そこで、CPU101は、ゼッケン領域1304により近接した位置にある顔領域1302をゼッケン番号に対応する人物の顔領域と判定する。
そして、S1005において、CPU101は、画像ID「101」の画像情報を参照し、顔領域1302に示される人物の人物ID「A200」の人物情報のゼッケン属性にゼッケン番号「Z200」を追加する。図13(C)は、S1005の処理後の、人物情報を示す図である。人物ID「A200」のゼッケン番号には、認識されたゼッケン番号「Z200」が格納されている。
なお、S1005において、追加対象となるゼッケン属性に、すでにゼッケン番号が格納されている場合がある。この場合には、CPU101は、上書きすることなく、人物情報に対する、ゼッケン番号のリストを作成し、認識結果の信頼度等を基に、ソートしてもよい。
図14は、ゼッケン番号認識処理(S304)の実行後の人物情報を示す図である。図14(A)〜(C)いずれの人物情報にも、ゼッケン番号属性にゼッケン番号が格納されている。したがって、CPU101は、ゼッケン番号をキーにして人物情報を抽出し、抽出した人物情報に含まれる画像IDを参照することにより、特定の人物が写った画像のみを抽出することができる。
図3に戻り、S304の後、S305において、CPU101は、画像情報に含まれる被写体人物情報中の人物IDに基づいて、ハードディスク103に格納されている複数の撮影画像の中から、注目人物を含む撮影画像を抽出する。ここで、注目人物とは、処理対象となる人物である。例えば、操作ユニット117において、人物IDが入力されると、CPU101は、入力された人物IDで識別される人物を注目人物として、処理を進める。以下、注目人物を含む撮影画像を注目画像と称することとする。ここで、S305の処理は、顔領域の特定結果に基づいて、イベント画像としての撮影画像から注目画像を抽出する抽出処理の一例である。
次に、S306において、CPU101は、S305において抽出された複数の注目画像それぞれの画像評価値を算出する(算出処理)。ここで、画像評価値とは、注目人物の撮影画像の購入希望者等が、注目画像に興味を示す程度を推定する値である。本実施形態にかかるCPU101は、6種類の画像評価値をそれぞれ算出する。6種類の画像評価値は、それぞれ注目人物の表情、注目画像全体に対する注目人物の領域の大きさ、注目画像中の注目人物の位置、画像の撮影位置、画像に含まれる人物の数、及び、画像にランドマークが含まれるか否かを示す値である。
CPU101は、ランドマークに関しては、撮影位置から撮影画像への写り込みが予想されるランドマークの関係を予めテーブルで用意しておき、このテーブルを参照することでランドマークに係る評価値を決定することとする。他の例としては、CPU101は、撮影装置110の撮影範囲が競技中固定されている場合には、特定の撮影装置110により撮影された撮影画像には、特定のランドマークが写り込むものとして、画像評価値を算出してもよい。
また、CPU101は、注目人物の領域の大きさだけでなく、注目人物の位置も、画像評価値として算出する。これは、例えば、図15に示す撮影画像1500のように、手前の人物1501は、顔の大きさは、奥の人物1502に比べて大きいものの、撮影画像1500の端に位置している。この場合、撮影画像1500は、手前の人物1501にとっての画像評価値は、低いとも考えられる。そこで、本実施形態においては、注目人物の位置の画像評価値についても考慮することとする。
なお、1つの撮影画像に複数の人物が含まれている場合、撮影画像に含まれる各人物に対する画像評価値は、異なる値となる場合もある。これは、人物毎に、表情や、撮影画像中の人物の位置等が異なるためである。
図3に戻り、S306の処理の後、S307において、CPU101は、S306において算出した画像評価値に基づいて、複数の注目画像の中から、注目人物の画像群を代表する代表画像を選択する(選択処理)。本実施形態にかかるCPU101は、マラソン大会における予め定められたシーン毎に複数の代表画像を選択する。ここで、シーンは、撮影時刻及び撮影位置のうち少なくとも1つにより特定されるものである。本実施形態においては、マラソンコースにおける複数の地点がそれぞれシーンとして設定されているものとする。
具体的には、CPU101は、複数の注目画像を、撮影時刻や撮影位置に基づいて、シーン別に分類する。さらに、CPU101は、基準値群決定テーブルを参照し、シーン毎の基準値群を特定する。ここで、基準値群は、複数の画像評価値それぞれの基準値を含む。また、基準値は、画像評価値を比較される値である。図16は、基準値群決定テーブルの一例を示す図である。基準値群決定テーブル1600は、シーンと、基準値群とを対応付ける情報である。このように、基準値群は、シーン毎に設定されている。
さらに、CPU101は、基準値テーブルを参照し、特定した基準値群において定められている各画像評価値の基準値を特定する。図17は、基準値テーブルの一例を示す図である。基準値テーブル1700は、基準値群と、画像評価値毎の基準値とを対応付ける情報である。
本実施形態にかかる基準値テーブル1700においては、画像評価値毎の基準値は、2つに大別されている。一つは、評価点(重み)であり、もう一つは、必須条件である。代表画像を選択する際に、必須条件は必ず満たす必要がある。評価点は、複数の代表画像が選択された場合には、1つの代表画像に絞り込むために利用される。
地点Aにおける代表画像を選択する場合、CPU101は、基準値群決定テーブル1600を参照し、地点Aに対応付けられている基準値群「基準1」を特定する。続いて、CPU101は、基準値テーブル1700を参照し、「基準1」の基準群において定義されている各画像評価値を特定する。
そして、CPU101は、処理対象の注目画像の中から、必須条件を満たす注目画像を抽出し、複数の注目画像が抽出された場合には、評価値点合計値が最も高くなる注目画像を、地点Aの代表画像として選択する。
なお、CPU101は、画像評価値以外のパラメータや条件をさらに考慮して評価点を算出してもよい。例えば、CPU101は、注目画像に含まれる人物の数を考慮して評価点を算出してもよい。
CPU101は、S307(図3)において、予め設定されているすべてのシーンに対する代表画像を選択する。そして、S307の処理の後、S308において、CPU101は、選択された代表画像を利用して、注目人物のフォトアルバムを作成する。
具体的には、CPU101は、予めハードディスク103等に格納されているテンプレートに、代表画像を配置することにより、フォトアルバム(電子アルバム)を作成する(作成処理)。図18は、フォトアルバムのテンプレートの一例を示す図である。テンプレートには、シーン毎の代表画像の配置位置が予め定められている。
なお、図18に示すように、各シーンに対し、基準値テーブルに設定されている基準値群以外の基準値が定められていてもよい。例えば、地点B,C,Gの基準値群は、いずれも基準2である。ここで、基準2は、ランドマークの属性値があることを必須条件とする。これに加えて、地点毎に、写り込むランドマークを指定してもよい。図18に示す例においては、地点Bにおいては、ランドマーク="○○橋"、地点Cにおいては、ランドマーク="丸の内ビル群"、地点Gにおいては、ランドマーク="××タワー"の基準が追加されている。これに対応し、CPU101は、各地点において得られた代表画像を、それぞれ地点に対応して定められた配置位置1801〜1803に配置する。
また、地点D〜Fに対しては、基準4の基準値群に加えて、代表画像を時間順で並べるという追加の基準を設けておく。これに対応し、CPU101は、地点D〜Fの間に得られた3つの代表画像を、その時間順に1804〜1806の配置位置に配置する。
なお、追加の基準値は、基準値群決定テーブル1600において、シーンに対応付けて格納されているものとする。
図19は、図18に示すテンプレートに基づいて作成されたフォトアルバムの一例を示す図である。このように、情報処理装置100は、競技参加者毎に、参加者が良好な状態に撮影された撮影画像を、ストーリに沿って配置したフォトアルバムを自動的に作成することができる。
以上のように、本実施形態にかかる情報処理装置100は、複数の撮影画像の中から、購入希望者が興味を示すような画像を自動的に選択し、これをまとめたフォトアルバムを作成することができる。
次に、情報処理装置100の変更例について説明する。変更例にかかる情報処理装置100は、さらに各画像に対して算出された画像評価値に基づいて、画像検索を行うこともできる。図20は、変更例にかかる情報処理装置100が参照する基準値テーブルの一例を示す図である。図20に示す基準値テーブル2000は、図17に示す基準値テーブルとは、各基準値群に設定されている基準値と、評価点とが異なっている。
図21は、ゼッケン番号のみを検索キーとした場合の検索結果の表示例を示す図である。CPU101は、ユーザ等により入力されたゼッケン番号と一致する人物情報を抽出し、人物情報に含まれる画像IDにより特定される撮影画像を検索結果として一覧表示する。なお、このとき、CPU101は、さらに、画像情報に含まれる被写体人物情報のボケ属性やブレ属性等の画像評価量に基づいて、抽出された撮影画像を検索結果に含めるか否かを判定してもよい。
図22は、さらに画像評価値の基準値群を検索キーとした場合の検索結果の表示例を示す図である。例えば、基準値群「基準1」は、検索画面の「ナイス笑顔!」に対応している。ユーザが、ポインティングデバイス等を用いて画面上で「ナイス笑顔!」を選択すると、CPU101は、「基準1」の基準値を満たす撮影画像を絞り込む。図22(A)は、「ナイス笑顔!」が選択された場合の検索結果の表示例を示す図である。
図22(B)は、基準値群「基準2」に対応する「真剣!必死!」の検索条件が選択された場合の検索結果の表示例を示す図である。図22(C)は、基準値群「基準4」に対応する「○○ビル」が選択された場合の検索結果の表示例を示す図である。
以上のように、情報処理装置100は、画像評価値及び基準値群に基づいて、ユーザが希望する画像を適切に絞り込むことができる。
<その他の実施形態>
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
以上、上述した各実施形態によれば、複数の画像の中から、購入希望者が興味を示すような画像を自動的に選択することができる。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
100 情報処理装置、101 CPU、102 メモリ、110 撮影装置

Claims (9)

  1. イベント開催中に撮影された、注目人物を含む、複数の注目画像それぞれの画像評価値を算出する算出手段と、
    前記画像評価値と、前記イベントのシーン毎に設定された基準値と、に基づいて、前記複数の注目画像の中から、各シーンの代表画像を選択する選択手段と
    を有する情報処理装置。
  2. 前記選択手段は、前記画像評価値と、撮影時刻及び撮影位置のうち少なくとも一方が異なる複数のシーン毎に設定された前記基準値と、に基づいて、各シーンの前記代表画像を選択する請求項1に記載の情報処理装置。
  3. 前記算出手段は、前記注目画像それぞれに対し、複数の画像評価値を算出し、
    前記選択手段は、複数の画像評価値と、複数の画像評価値それぞれに対応する複数の前記基準値と、に基づいて、各シーンの前記代表画像を選択する請求項1又は2に記載の情報処理装置。
  4. 前記算出手段は、前記注目人物の表情、前記注目画像全体に対する前記注目人物の領域の大きさ、前記注目画像中の前記注目人物の位置、画像の撮影位置、画像に含まれる人物の数、及び、画像にランドマークが含まれるか否か、のうち少なくとも1つに基づいて、前記画像評価値を算出する請求項1乃至3何れか1項に記載の情報処理装置。
  5. 前記選択手段により選択された各シーンの代表画像を、シーン毎に定められた配置位置に配置した電子アルバムを作成する作成手段をさらに有する請求項1乃至4何れか1項に記載の情報処理装置。
  6. イベント開催中に撮影された、複数のイベント画像に人物と供に被写体として含まれる前記人物の識別情報に基づいて、複数の前記イベント画像から複数の人物を特定する特定手段と、
    前記特定手段による特定結果に基づいて、複数の前記イベント画像の中から、前記注目画像を抽出する抽出手段と
    をさらに有し、
    前記算出手段は、前記抽出手段により抽出された前記複数の前記注目画像の中から、各シーンの前記代表画像を選択する請求項1乃至5何れか1項に記載の情報処理装置。
  7. イベント開催中に撮影された、複数のイベント画像それぞれに対する顔認識処理により顔領域を検出する検出手段と、
    前記検手段による検出結果に基づいて、複数の前記イベント画像の中から、前記注目画像を抽出する抽出手段と
    をさらに有し、
    前記算出手段は、前記抽出手段により抽出された前記複数の前記注目画像の中から、各シーンの前記代表画像を選択する請求項1乃至5何れか1項に記載の情報処理装置。
  8. 情報処理装置が実行する情報処理方法であって、
    イベント開催中に撮影された、注目人物を含む、複数の注目画像それぞれの画像評価値を算出する算出ステップと、
    前記画像評価値と、前記イベントのシーン毎に設定された基準値と、に基づいて、前記複数の注目画像の中から、各シーンの代表画像を選択する選択ステップと
    を含む情報処理方法。
  9. コンピュータを、
    イベント開催中に撮影された、注目人物を含む、複数の注目画像それぞれの画像評価値を算出する算出手段と、
    前記画像評価値と、前記イベントのシーン毎に設定された基準値と、に基づいて、前記複数の注目画像の中から、各シーンの代表画像を選択する選択手段と
    として機能させるためのプログラム。
JP2014007947A 2014-01-20 2014-01-20 情報処理装置、情報処理方法及びプログラム Active JP6410427B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014007947A JP6410427B2 (ja) 2014-01-20 2014-01-20 情報処理装置、情報処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014007947A JP6410427B2 (ja) 2014-01-20 2014-01-20 情報処理装置、情報処理方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2015139001A true JP2015139001A (ja) 2015-07-30
JP2015139001A5 JP2015139001A5 (ja) 2017-02-23
JP6410427B2 JP6410427B2 (ja) 2018-10-24

Family

ID=53769766

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014007947A Active JP6410427B2 (ja) 2014-01-20 2014-01-20 情報処理装置、情報処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6410427B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017164216A (ja) * 2016-03-15 2017-09-21 富士フイルム株式会社 画像評価装置、画像評価方法および画像評価プログラム
JP2018151833A (ja) * 2017-03-13 2018-09-27 パナソニック株式会社 識別器学習装置および識別器学習方法
JP2019068173A (ja) * 2017-09-29 2019-04-25 大日本印刷株式会社 画像選択装置、画像出力装置、画像選択方法、画像出力方法、および画像出力システム
JP6958795B1 (ja) * 2021-01-07 2021-11-02 株式会社エクサウィザーズ 情報処理方法、コンピュータプログラム及び情報処理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005210689A (ja) * 2003-12-25 2005-08-04 Fuji Photo Film Co Ltd 画像編集装置および方法並びにプログラム
JP2010021721A (ja) * 2008-07-09 2010-01-28 Olympus Corp カメラ
JP2010118787A (ja) * 2008-11-11 2010-05-27 Olympus Imaging Corp カメラ
JP2011215963A (ja) * 2010-03-31 2011-10-27 Sony Corp 電子機器、画像処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005210689A (ja) * 2003-12-25 2005-08-04 Fuji Photo Film Co Ltd 画像編集装置および方法並びにプログラム
JP2010021721A (ja) * 2008-07-09 2010-01-28 Olympus Corp カメラ
JP2010118787A (ja) * 2008-11-11 2010-05-27 Olympus Imaging Corp カメラ
JP2011215963A (ja) * 2010-03-31 2011-10-27 Sony Corp 電子機器、画像処理方法及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017164216A (ja) * 2016-03-15 2017-09-21 富士フイルム株式会社 画像評価装置、画像評価方法および画像評価プログラム
JP2018151833A (ja) * 2017-03-13 2018-09-27 パナソニック株式会社 識別器学習装置および識別器学習方法
JP2019068173A (ja) * 2017-09-29 2019-04-25 大日本印刷株式会社 画像選択装置、画像出力装置、画像選択方法、画像出力方法、および画像出力システム
JP7102700B2 (ja) 2017-09-29 2022-07-20 大日本印刷株式会社 画像出力装置
JP6958795B1 (ja) * 2021-01-07 2021-11-02 株式会社エクサウィザーズ 情報処理方法、コンピュータプログラム及び情報処理装置

Also Published As

Publication number Publication date
JP6410427B2 (ja) 2018-10-24

Similar Documents

Publication Publication Date Title
JP6902860B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US9338311B2 (en) Image-related handling support system, information processing apparatus, and image-related handling support method
KR101605983B1 (ko) 얼굴 검출을 이용한 이미지 재구성
JP2017531950A (ja) 撮影テンプレートデータベースを構築し、且つ撮影推薦情報を提供するための方法及び装置
WO2021088417A1 (zh) 移动状态信息展示方法与装置、电子设备及存储介质
JP2008131330A (ja) 画像表示装置および画像表示方法
JP2016119508A (ja) 方法、システム及びプログラム
JP2008146191A (ja) 画像出力装置および画像出力方法
JP6410427B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2015145769A1 (ja) 撮像装置、情報処理装置、撮影補助システム、撮影補助プログラム及び撮影補助方法
JP2015198300A (ja) 情報処理装置、撮像装置、画像管理システム
JP2020140557A (ja) 画像処理装置、制御方法、及びプログラム
JP6606374B2 (ja) 画像処理装置および方法およびプログラム
JP6323548B2 (ja) 撮影補助システム、撮像装置、情報処理装置、撮影補助プログラム及び撮影補助方法
JP2018029270A (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
JP2020140555A (ja) 画像処理装置、制御方法、及びプログラム
US9286707B1 (en) Removing transient objects to synthesize an unobstructed image
JP6948787B2 (ja) 情報処理装置、方法およびプログラム
CN111145189B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
JP6544970B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2014182650A (ja) 画像共有装置、画像共有装置の制御方法、およびプログラム
WO2019215797A1 (ja) 構図アドバイスシステム、構図アドバイス方法、カメラ、プログラム
JP2022058833A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP2006259932A (ja) アルバム作成装置、アルバム作成方法、及びプログラム
JP2019185349A (ja) 検索装置、検索方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180925

R151 Written notification of patent or utility model registration

Ref document number: 6410427

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151