JP2021197615A - 画像選択方法、情報処理装置、プログラム、及び情報処理システム - Google Patents

画像選択方法、情報処理装置、プログラム、及び情報処理システム Download PDF

Info

Publication number
JP2021197615A
JP2021197615A JP2020102360A JP2020102360A JP2021197615A JP 2021197615 A JP2021197615 A JP 2021197615A JP 2020102360 A JP2020102360 A JP 2020102360A JP 2020102360 A JP2020102360 A JP 2020102360A JP 2021197615 A JP2021197615 A JP 2021197615A
Authority
JP
Japan
Prior art keywords
image
information processing
target
specific event
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2020102360A
Other languages
English (en)
Inventor
伸行 松下
Nobuyuki Matsushita
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Exa Wizards Inc
Original Assignee
Exa Wizards Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Exa Wizards Inc filed Critical Exa Wizards Inc
Priority to JP2020102360A priority Critical patent/JP2021197615A/ja
Publication of JP2021197615A publication Critical patent/JP2021197615A/ja
Ceased legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】本発明は、撮影された画像を選択する画像選択方法、情報処理装置、プログラム、及び情報処理システムを提供する。【解決手段】本実施形態に係る画像選択方法は、情報処理装置が実行されるものであって、撮影装置が撮影した撮影画像を用いて、対象者に係る特定イベントの発生を検知する処理と、前記特定イベントの発生を検知した場合、前記撮影画像から、一又は複数の対象画像を選択する処理と、を含む。【選択図】図2

Description

本発明は、撮影された画像を選択する画像選択方法、情報処理装置、プログラム、及び情報処理システムに関する。
例えば、教育機関等において、授業や行事の際に画像(写真や動画)が大量に撮影され、これらの画像の中から、例えば家族が写っている画像を選ぶことがある。その際、昼食時や誕生日会等の場面毎に画像を選択したり、友達と一緒に遊んでいる等の所定の行動(特定行動)に係る画像を選択したりすることがある。
特開2019−110421号公報
特許文献1には、撮影された動画から特定行動に係る動画を抽出するシステムが記載されている。
しかしながら、大量に撮影された画像の中から、特定の場面や行動が撮影された画像に限らず、行動に係る特定の瞬間を捉えた画像の選択が望まれる場合もある。子供が学童で「コンパスを使う」という特定の行動を例にとると、子供が「はじめて」コンパスを使う瞬間を捉えた画像が望まれる場合がある。すなわち、保護者等にとっては、ある行動が「はじめて」実行された等の特定イベントが発生した瞬間を捉えた画像のニーズが高い。
また、特定イベントに関連する画像が複数枚存在する場合には、これらの画像の中から最適な画像をさらに選択することが望まれる。
本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、撮影された画像を好適に選択可能とする画像選択方法、情報処理装置、プログラム、及び情報処理システムを提供することにある。
一実施形態に係る画像選択方法は、情報処理装置が、撮影装置が撮影した撮影画像を用いて、対象者に係る特定イベントの発生を検知し、特定イベントの発生を検知した場合、撮影画像から、一又は複数の対象画像を選択する。
一実施形態によれば、撮影された画像を好適に選択できる。
本発明の一実施形態に係る情報処理システムの概要を説明するための模式図である。 本発明の一実施形態に係る情報処理システムの機能的な構成を示すブロック図である。 本発明の一実施形態に係る候補画像抽出モデルの一構成例を説明するための模式図である。 本発明の一実施形態に係る対象画像判定モデルの一構成例を説明するための模式図である。 本発明の一実施形態に係る情報処理装置が行う画像選択処理の手順を示すフローチャートである。 本発明の一実施形態に係る情報処理装置及びユーザ端末装置として用いられるコンピュータの物理的構成を例示したブロック図である。
本発明の一実施形態に係る情報処理システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
<情報処理システム1の概要>
図1は、本発明の一実施形態に係る情報処理システム1の概要を説明するための模式図である。本情報処理システム1は、対象者が撮影された画像を好適に選択するシステムである。この図1は、対象者である子供Aが撮影された画像が好適に選択され、選択された画像を、子供Aの保護者である保護者Aのユーザ端末装置30に提供する場面を例示している。
以下、撮影された画像を撮影画像ともいう。また、本実施形態においては、撮影画像の被写体が人である場合を例にとり説明するが、これに限定されず、動物をも含むものとする。また、本実施形態では、被写体である人や動物を単に対象者と称する場合がある。また、本実施形態においては、撮影画像として動画を用いる場合を例にとり説明するが、これに限定されず、静止画等のコンテンツも含むものとする。
また、本実施形態において、ユーザとは、一例として、対象者(図1に示す例では子供A)が撮影された画像を利用したり閲覧したりする人物(図1に示す例では保護者A)をいう。すなわち、対象者とは画像を撮影される側の人や動物であり、ユーザとは撮影画像を閲覧したり利用したりする側の人である。また、対象者とユーザとの関係は家族関係に限らず、ユーザには教師等の教育機関の関係者、及び各種イベントの運営担当者等が含まれ得る。また、本実施形態において、対象者やユーザがそれぞれ1人であるものとしたが、これに限定されない。
図1に例示するように、本情報処理システム1は、情報処理装置10と、対象者の画像を撮影する撮影装置20、及び、ユーザが使用するユーザ端末装置30とを備える。
本実施形態に係る撮影装置20は、対象者が所属する組織(例えば、学童)において画像を撮影し、撮影した画像を情報処理装置10に送信する。したがって、図1に示す例の場合、撮影画像とは、例えば子供Aが通う学童において撮影された画像であり、この撮影画像には、子供Aのみが写っている画像だけでなく、他の人子供や教師等が子供Aと一緒に写っている画像や、子供Aが写っていない画像も含まれる。
情報処理装置10は、撮影装置20から受信した画像が複数ある場合、例えば後述する個人認証処理を施し、対象者の画像を特定(抽出)する。そして、情報処理装置10は、抽出した対象者の画像が複数ある場合、これらの画像の中から好適な画像をさらに選択してユーザのユーザ端末装置30に送信(配信)する。なお、本実施形態において、撮影装置20によって撮影される画像や、その中から抽出される画像は複数あるものとしたが、これに限定されない。本実施形態においては、図1に示す例の場合、情報処理装置10は、子供Aが認識可能な程度に写っている画像を抽出し、その中から好適な画像を選択する。
情報処理装置10は、選択した画像をユーザのユーザ端末装置30に送信する。また、情報処理装置10は、選択した画像を用いてアルバム(画像集)を作成する機能を備えてもよく、この場合、アルバムをユーザ端末装置30に送信する。ユーザは、受信した画像やアルバムをユーザ端末装置30を用いて閲覧する。図1に示す例の場合、情報処理装置10は、選択した子供Aの写っている画像や、これらの画像を収集したアルバムを保護者Aのユーザ端末装置30に提供する。
<情報処理システム1の機能構成>
図2は、本発明の一実施形態に係る情報処理システム1の機能的な構成を示すブロック図である。
図2に示すように、情報処理システム1は、情報処理装置10、撮影装置20、及びユーザ端末装置30を備える。ここで、図2に示す例では、情報処理システム1が、情報処理装置10、撮影装置20、及びユーザ端末装置30を1つずつ含んでいるが、これは本実施形態を限定するものではなく、情報処理装置10、撮影装置20、及び、ユーザ端末装置30をそれぞれ複数含む構成としてもよい。また、ユーザは複数であってもよい。
情報処理装置10、撮影装置20、及びユーザ端末装置30は、ネットワークNを介して通信可能に接続される。このネットワークNは、有線LAN(Local Area Network)、無線LAN、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。これらの情報処理装置10、撮影装置20、及びユーザ端末装置30についてそれぞれ説明する。
(撮影装置20の機能構成)
情報処理装置10に先立ち、撮影装置20について説明する。なお、本実施形態に係る撮影装置20の構成は既知であるため詳しい説明は省略する。撮影装置20は、カメラともいい、例えばCCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子と、撮像素子の出力信号に対して所定の画像処理を施して画像(データ)を生成する画像処理IC(Integrated Circuit)と、有線又は無線の通信を行う通信部とを備えて構成される。撮影装置2は、1秒間に数回〜数十回の周期で撮影を行い、撮影により得られた画像を情報処理装置10へ送信する。また、撮影装置20は、自身に付されたカメラID及び撮影日時等の情報を画像データに付して情報処理装置10へ送信することもできる。
情報処理装置10は、撮影装置20から撮影画像を受け取り、所定の処理を実行して、選択された画像等をユーザ端末装置30に対して送信する処理を行う。次に、この情報処理装置10の機能構成について説明する。なお、情報処理装置10のハードウェア構成については後述する。
(情報処理装置10の機能構成)
図2を参照して情報処理装置10の機能構成について説明する。図2に例示するように、本実施形態に係る情報処理装置10は、通信部11、制御部13、及び記憶部(ストレージ)15を備える。なお、本実施形態においては、1つの情報処理装置10にて各処理が行われるものとして説明を行うが、複数の情報処理装置10が分散して処理を行ってもよい。
通信部11は、ネットワークNを介して、撮影装置20、及びユーザ端末装置30との間で通信を行う。この通信部11は、制御部13から与えられたデータを撮影装置20又はユーザ端末装置30へ送信すると共に、撮影装置20又はユーザ端末装置30から受信したデータを制御部13へ与える。
制御部13は、通信部11から受信したデータを処理して、その処理結果を通信部11へ与える処理を行う。この制御部13は、画像取得部130、検知部131、学習処理部132、選択部133、及びコンテンツ生成部134を含む。本実施形態に係る制御部13は、後述する記憶部15に記憶されたサーバプログラム155を読み出して実行することにより、上述の画像取得部130、検知部131、学習処理部132、選択部133、及びコンテンツ生成部134等が、ソフトウェア的な機能部として処理部11に実現される。
画像取得部130は、撮影装置20により撮影された動画である撮影画像を取得する処理を行う。そして、画像取得部130は、取得した撮影画像を後述する記憶部15内の画像記憶部150に格納する処理を行ってもよい。そして、画像取得部130は、取得した撮影画像に含まれる各フレーム画像に対して個人認証処理を施す。この個人認証処理については既存の技術であるため詳しい説明は省略するが、例えば顔認証の処理を施すことにより、フレーム画像に写っている人(個人,被写体)を特定する。また、画像取得部130は、個人認証処理を施したフレーム画像とその被写体に関する情報とを紐づけて後述する記憶部15に格納してもよい。なお、本実施形態では、フレーム画像のことを、単に画像ともいう。
検知部131は、画像取得部130によって取得された画像のフレーム画像から、各フレーム画像内で被写体が実行している行動を特定する処理を行う。具体的に、検知部131は、画像取得部130によって取得されたフレーム画像を、後述する記憶部15の候補画像抽出モデル156へ入力する。検知部131は、候補画像抽出モデル156の出力に基づき、入力されたフレーム画像に写る行動が、後述する特定行動1〜L(Lは1以上の整数)のうちのいずれか(いずれかと重なる)を判定する。なお、既存の技術であるため詳しい説明は省略するが、特定行動の判定には、フレーム画像における特徴点の座標推移に関する情報を用いてもよい。
なお、本実施形態における特定行動とは、例えば、コンパスを使う、バタ足ができる、ステージに立つ、といった行動(行動パターン)をいい、予めユーザやシステム管理者によって設定されるものとするが、これに限定されない。
また、検知部131は、入力されたフレーム画像に写る行動が、特定行動1〜Lのうちのいずれに該当するかを判断する。本実施形態では、はじめて特定行動が実行された事象を特定イベントという。例えば、コンパスを使うという行動は特定行動であり、はじめてコンパスを使う事象(行動)を特定イベントという。また、特定イベントが実行されていると判断されたフレーム画像(はじめてコンパスを使う行動が写ったフレーム画像)を候補画像と称する。また、例えば撮影画像のプロパティに含まれる撮影日時に関する情報に基づき、はじめて特定イベントが実行された瞬間を捉えた候補画像を抽出してもよい。なお、この特定イベントは予めユーザやシステム管理者によって設定されるものとするが、例えば、ユーザが選択条件を設定する場合には、ユーザ端末装置30等からこの選択条件を入力できるものとし、入力された選択条件をネットワークNを介して情報処理装置10に対して送信するものとしてもよい。また、特定イベントがユーザ端末装置30から設定できる場合には、ユーザ毎に特定イベントが異なる場合もある。
このようにして、検知部131は、画像取得部130によって取得されたフレーム画像から、対象者に係る特定イベントの発生を検知し、特定イベントの発生を検知した画像を候補画像として抽出する処理を行う。検知部131は、例えば1時間又は1日の所定周期で、候補画像の抽出処理を繰り返してもよく、抽出した画像を後述する記憶部15の画像記憶部150に記憶してもよい。また、検知部131は、一又は複数の候補画像を抽出するものとする。
学習処理部132は、後述する候補画像抽出モデル156、及び対象画像判定モデル157に対する機械学習の処理を行う。学習処理部132は、例えば時系列的なフレーム画像と、特定行動又は適性度等の情報とが対応付けられた教師データを用いて機械学習を行うことにより、候補画像抽出モデル156、及び対象画像判定モデル157を生成する。
学習処理に用いる教師データは、少なくとも最初の学習処理においては、例えば情報処理装置10に蓄積された過去のフレーム画像に基づいて、本システムの設計者や管理者等が予め作成したデータが用いられてもよい。2回目以降の学習処理(再処理)においては、本システムの運用に伴って蓄積したデータを用いて、学習処理部132が教師データを作成して候補画像抽出モデル156、及び対象画像判定モデル157に入力し、これらの学習モデルを再学習してよい。
なお、候補画像抽出モデル156、及び対象画像判定モデル157は、複数のユーザや対象者に対して共通の学習モデルが用いられてもよいし、ユーザや対象者毎に個別の学習モデルが用いられてもよい。ユーザや対象者毎に個別の学習モデルを用いる場合、学習処理部132は、ユーザや対象者に基づいて作成された教師データを用いて学習処理を行う。また、学習処理部132は、不特定多数の画像情報や選択条件を基に作成された教師データを用いて最初の学習処理を行い、特定のユーザや対象者に関する画像情報や選択条件を基に作成された教師データを用いて2回目以降の学習処理を行ってもよい。なお、選択条件については後述するが、例えば、特定のユーザによって設定された選択条件を基に作成された教師データを用いて学習処理を行った場合には、当該ユーザの好みが反映された画像の選択を行えるシステムを実現できる可能性がある。
選択部133は、検知部131が抽出した候補画像の中から、選択条件に基づき、一又は複数の対象画像を選択する処理を行う。ここで、選択条件とは、ユーザに配信されるのに好適なフレーム画像(対象画像)の条件をいい、例えば、被写体である対象者の状態として対象者の表情が笑顔であることや、対象者の発声が笑い声であることが挙げられる。また、選択条件として、特定イベントの情報も設定でき、例えば、当該特定イベントの発生が食事時であることが挙げられる。このように、候補画像に含まれる、対象者の状態、対象者の発声、及び候補画像に係る特定イベントの情報の少なくとも1つが選択条件を満たす場合に、当該候補画像を対象画像として選択する。なお、上記の他に、対象者の状態とは、対象者の表情、向き、位置(座標)、及び候補画像に含まれる対象者の大きさ(例えば、割合)の少なくとも1つを含む。また、対象者の発声は、対象者の声の種別(例えば、叫び声や笑い声)、声の大きさ、及び、声の長さの少なくとも1つを含む。また、特定イベントの情報は、特定イベントの発生位置、発生時間、及び候補画像に含まれる対象者以外のオブジェクト(例えば、友人)の少なくとも1つを含む。また、この選択条件は、上述のような客観的な指標であってもよいし、主観的な指標であってもよく、予めユーザやシステム管理者によって設定されるものとするが、これに限定されない。例えば、ユーザが選択条件を設定する場合には、ユーザ端末装置30等からこの選択条件を入力できるものとし、入力された選択条件をネットワークNを介して情報処理装置10に送信するものとしてもよい。また、対象画像とは、ユーザ端末装置30に配信される対象となるフレーム画像をいい、選択条件に基づき選択部133によって選択される。
選択部133は、検知部131によって抽出された候補画像(フレーム画像)を、後述する記憶部15の対象画像判定モデル157へ入力する。選択部133は、対象画像判定モデル157の出力である適性度、すなわち、入力された候補画像が選択条件に対してどの程度適性であるかを示す値にしたがい、候補画像毎に対象画像として選択するか否かを判断する。
具体的に、選択部133は、対象画像判定モデル157に対して候補画像Aを入力すると、対象画像判定モデル157が出力する適性度が閾値(例えば0.7)を超えた場合に、候補画像Aが対象画像として適性であると判定する。また、例えば、候補画像Bの適性度が第1閾値である0.7を超え、第2閾値である0.9を超えない場合に、選択部133は、候補画像Bが対象画像として適性ではないと判断してもよい。
また、選択部133は、閾値を超えた候補画像が複数存在する場合には、例えば、対象画像判定モデル157が出力する候補画像毎の出力(適性度)を比較することにより、最適な対象画像を選択してもよい。そして、選択部133は、対象画像判定モデル157が出力する適性度が最も大きい候補画像を対象画像として選択してもよい。なお、選択部133は、選択した対象画像を後述する記憶部15内の画像記憶部150に記憶してもよい。このようにして、選択部133は、選択条件に基づき、候補画像の中から対象画像を絞り込む。
コンテンツ生成部134は、選択部133により選択された対象画像をユーザのユーザ端末装置30の画面上で表示させるためのコンテンツを生成する。また、コンテンツ生成部134は、選択部133により選択された画像を用いてアルバムを作成する機能を備えてもよく、この場合、作成したアルバムをユーザ端末装置30の画面上で表示させるためのコンテンツを生成する処理を実行する。そして、コンテンツ生成部134は、生成したコンテンツをユーザ端末装置30に配信する。図1に示す例の場合、情報処理装置10は、子供Aの写っている画像や、これらの画像を収集したアルバムを保護者Aのユーザ端末装置30に提供する。
上述の処理を経て、ユーザは、受信した画像やアルバムをユーザ端末装置30を用いて閲覧できる。図1に示す例の場合、保護者Aは、子供Aの写っている画像や、これらの画像を収集したアルバムをユーザ端末装置30で閲覧できる。
記憶部15は、ハードディスク等の大容量の記憶装置を用いて構成される。記憶部15は、制御部13の処理に必要な各種のデータ、及び、制御部13が実行する各種のプログラムを記憶する。なお、記憶部15は、情報処理装置10に接続された外部記憶装置であってもよい。
図2に例示するように、記憶部15は画像記憶部150を備える。また、記憶部15には、サーバプログラム155、候補画像抽出モデル156、及び対象画像判定モデル157が記憶される。
画像記憶部150は、撮影装置20が撮影した撮影画像、検知部131が抽出した候補画像、及び、選択部133が選択した候補画像を格納する。なお、本実施形態では、撮影画像、候補画像、及び対象画像を格納する領域をそれぞれ設ける構成としたが、記憶部15の構成はこれに限定されるものではない。例えば、記憶部15に画像格納納領域として撮影画像を格納する領域を設け、候補画像のデータとして撮影画像に対するポインタのみを格納する構成としてもよい。また、対象画像についても同様に、対象画像のデータとして撮影画像に対するポインタのみを格納する構成としてもよい。
また、記憶部15は、制御部13が実行するサーバプログラム155と、予め機械学習がなされた学習済の候補画像抽出モデル156、及び対象画像判定モデル157を記憶する。
本実施形態においてサーバプログラム155は、メモリカード又は光ディスク等の記録媒体に記録された態様で提供され、情報処理装置10が、提供されたサーバプログラム155を取得して記憶部15に記憶する。ただし、このサーバプログラム155は、例えば、情報処理装置10の製造段階において記憶部15に書き込まれてもよい。また、例えば、サーバプログラム155は、遠隔の他のサーバ装置等により配信されてもよく、この場合、情報処理装置10は、配信されるサーバプログラム155をネットワークNを介して取得してもよい。また、例えば、サーバプログラム155は、記録媒体に記録されたものを書込装置等により読み出されて情報処理装置10の記憶部15に書き込まれてもよい。
本実施形態に係る情報処理装置10は、いわゆる人工知能を活用して画像の抽出及び選択に関する特定行動の判定、及び、適性度の算出等の処理を行うものであり、これらの処理に用いる候補画像抽出モデル156、及び対象画像判定モデル157を有する。
候補画像抽出モデル156、及び対象画像判定モデル157は、予め機械学習がなされた学習済の学習モデルであり、ニューラルネットワーク又はSVM(Support Vector Machine)等の学習モデルが採用され得る。本実施形態における候補画像抽出モデル156、及び対象画像判定モデル157は、情報処理装置10によって学習及び再学習の処理が行われる。ただし、候補画像抽出モデル156、及び対象画像判定モデル157の学習及び再学習の処理は別の装置で行われてもよく、この場合に候補画像抽出モデル156、及び対象画像判定モデル157は、例えば、サーバプログラム155と共に記録媒体を介して提供されてもよく、また、サーバプログラム155とは別に他のサーバ装置等により配信されてもよい。
図3は、候補画像抽出モデル156の一構成例を説明するための模式図である。候補画像抽出モデル156は、複数のニューロンが相互に結合されたニューラルネットワークの構造をなしている。候補画像抽出モデル156は、一又は複数のデータの入力を受け付ける入力層と、入力層にて受け付けられたデータに対して演算処理を行う中間層と、中間層の演算結果を集約して複数の値を出力する出力層とを備える。既存の技術であるため詳しい説明は省略するが、ニューロンは複数の入力に対して演算を行い、演算結果を出力する素子である。ニューロンは、演算に用いられる重み付けの係数及び閾値等の情報を有する。
候補画像抽出モデル156は、撮影装置20によって撮影されたM回分(Mは1以上の整数)のフレーム画像、すなわち、図3に例示する、フレーム画像1からフレーム画像Mまでのフレーム画像を入力として受け付ける。候補画像抽出モデル156は、これらM回分のフレーム画像の入力に対して、各フレーム画像に係る特定行動の種別について、特定行動1から特定行動LまでのL種類に分類した結果を出力するよう構成され、予め学習処理がなされている。
また、候補画像抽出モデル156が出力する特定行動の種別1〜Lは、それぞれ0.00〜1.00の数値情報であり、最も大きな数値が出力された種別が、入力したフレーム画像の分類結果、すなわち、特定行動の種別となる。
学習モデルの学習処理は、予め与えられた多数の学習用データ(教師データ)を用いて、ニューラルネットワークを構成する各ニューロンの係数及び閾値等に適切な値を設定する処理である。本実施形態に係る候補画像抽出モデル156は、例えば、過去の時系列的なフレーム画像と、このフレーム画像に関する特定行動の種別の分類結果(分類結果に対応する特定行動に対して数値1、それ以外の異常種別に対して数値0)とを対応付けた教師データを用いて、例えば、勾配降下法、確率的勾配降下法、及び誤差逆伝播法の手法により学習がなされる。
図4は、対象画像判定モデル157の一構成例を説明するための模式図である。対象画像判定モデル157は、上述の候補画像抽出モデル156と同様に、複数のニューロンが相互に結合したニューラルネットワークの構造をなし、入力層、中間層、及び一の値を出力する出力層を備える。
本実施形態に係る対象画像判定モデル157は、検知部131が抽出したN回分(Nは1以上の整数)の候補画像、すなわち、図4に例示する、候補画像1から候補画像Nまでのフレーム画像と、選択条件とを入力として受け付ける。図4に例示するように、候補画像1から候補画像NまでのN回分の候補画像、及び、選択条件が、対象画像判定モデル157へ入力される。上述したように、本実施形態に係る候補画像はフレーム画像である。対象画像判定モデル157は、N回分の候補画像の各入力に対して、各候補画像に係る適性度を、種々の選択条件に基づき、0.00〜1.00の数値情報として出力するよう構成され、予め学習処理がなされている。本実施形態において適性度は、その数値が大きいほど各選択条件に合致する割合、すなわち、適性度が高いことを示す。
本実施形態に係る対象画像判定モデル157は、例えば、過去の時系列的な候補画像、及び選択条件と、適性度(適性度が高い候補画像に対して数値1、適性度が低い候補画像に対して数値0)とを対応付けた教師データを用いて、例えば、対象画像判定モデル157において上述した手法により学習がなされる。
情報処理装置10の記憶部15には、学習モデルのネットワーク構成、及び、各ニューロンが有する係数及び閾値の値等の情報が、候補画像抽出モデル156、及び対象画像判定モデル157としてそれぞれ記憶される。なお、図3に例示した候補画像抽出モデル156の構成、及び、図4に例示した対象画像判定モデル157の構成は一例であって、これらに限定されるものではない。候補画像抽出モデル156、及び対象画像判定モデル157は、例えばRNN(Recurrent Neural Network)又はCNN(Convolutional Neural Network)の学習モデルであってよい。また候補画像抽出モデル156、及び対象画像判定モデル157は、ニューラルネットワークの学習モデルに限定されず、例えばSVMの学習モデルであってもよい。
(ユーザ端末装置30の機能構成)
図2を参照してユーザ端末装置30の機能構成について説明する。ユーザ端末装置30は、デジタルカメラ、PC(Personal Computer)、タブレット端末、及びスマートフォン等として実現できるが、これらの具体的態様は本実施形態を限定するものではない。
図2に例示するように、本実施形態に係るユーザ端末装置30は、通信部31、撮影部32、表示部33、操作部34、及び制御部35を備える。なお、図示を省略したが、ユーザ端末装置30は記憶部を備えてもよい。なお、ユーザ端末装置30のハードウェア構成については後述する。
通信部31は、ネットワークNを介して情報処理装置10と通信を行うことにより、情報処理装置10からデータを取得したり、情報処理装置10にデータを提供したりする。
撮影部32は、撮影機能を備え、画像を撮像する処理を行う。一例として、撮像部32はCCDカメラであり、この撮像部32によって撮像される画像は静止画像であってもよいし、動画像であってもよい。
表示部33は、後述の制御部35による制御にしたがって画面表示を行う。
操作部34は、ユーザ端末装置30を使用するユーザからの入力を受け付け、受け付けた入力を示す操作情報を制御部35に供給する。
制御部35は、ユーザ端末装置30の各部を制御する処理を行う。
<画像選択処理>
図5は、本実施形態に係る情報処理装置10が行う画像選択処理の手順を示すフローチャートである。本実施形態に係る情報処理装置10の制御部13は、図5に例示する画像選択処理をユーザ毎に行うものとしたが、これに限定されない。ここでは、図1に例示するように、対象者である子供Aが撮影された画像を、子供Aの保護者Aに対して好適に選択する場面を例にとり説明する。
制御部13の画像取得部130は、撮影装置20によって撮影された、例えば学童での撮影画像を撮影装置20から取得する(ステップS1)。本実施形態に係る撮影画像は動画であるものとしたが、これに限定されない。図1に示す例の場合、例えば子供Aが通う学童において撮影装置20により撮影された撮影画像を、画像取得部130が撮影装置20から取得する。画像取得部130は、撮影装置20により撮影された撮影画像を、記憶部15の画像記憶部150に格納してもよい。
続いて、画像取得部130は、上記ステップS1において取得した撮影画像に含まれる各フレーム画像に対し、個人認証処理を施す(ステップS2)。このステップS2では、上述したように、例えば顔認証の処理を施すことにより、フレーム画像に写っている被写体を特定する。図1に示す例の場合、画像取得部130は、子供Aが認識可能な程度に写っている画像を特定する。画像取得部130は、個人認証処理を施したフレーム画像と当該フレーム画像の被写体に関する情報とを紐づけて記憶部15に格納してもよい。
続いて、制御部13の検知部131は、上記ステップS2において対象者が写っていると特定された撮影画像のフレーム画像から、当該フレーム画像内で被写体が実行している行動を判定する処理を行う(ステップS3)。具体的に、検知部131は、画像取得部130によって取得されたフレーム画像を、記憶部15の候補画像抽出モデル156へ入力する。検知部131は、候補画像抽出モデル156の出力に基づき、入力されたフレーム画像に写る行動が特定行動1〜Lのうちのいずれであるかを判定する。
ここで、本実施形態における特定行動が、例えば、コンパスを使う行動である場合、図1に示す例では、子供Aが写っている各撮影画像のフレーム画像について、いずれのフレーム画像が、コンパスを使う行動を撮影したものであるかを判定する。
続いて、検知部131は、上記ステップS3において、撮影画像に写る行動が特定イベントに該当するかを判断する。本実施形態では、はじめて特定行動が実行された事象を特定イベントとし、検知部131は、特定イベントが実行されていると判断したフレーム画像(はじめてコンパスを使う行動が写ったフレーム画像)を候補画像として抽出する(ステップS4)。図1に示す例では、子供Aがはじめてコンパスを使っている行動が撮影されたフレーム画像を候補画像として抽出する。
また、検知部131は、抽出した候補画像を記憶部15の画像記憶部150に記憶してもよいし、画像記憶部150内の候補画像へのポインタのみを格納してもよい。また、検知部131は、例えば、撮影画像のプロパティに含まれる撮影日時に関する情報に基づき、はじめて特定イベントが実行された瞬間を捉えた候補画像を抽出してもよい。
続いて、選択部133は、上記ステップS4において検知部131が抽出した候補画像の中から、選択条件に基づき対象画像(ユーザ端末装置30に配信される対象となるフレーム画像)を選択する(ステップS5)。具体的に、選択部133は、検知部131によって抽出された候補画像を、対象画像判定モデル157へ入力する。そして、選択部133は、対象画像判定モデル157の出力である適性度、すなわち、入力された候補画像が選択条件に対してどの程度適性であるかを示す値にしたがい、候補画像毎に対象画像として選択するか否かを判断する。
具体的には、本実施形態に係る選択部133は、各候補画像を対象画像判定モデル157に対して入力し、それぞれの入力に対して対象画像判定モデル157が出力する適性度の値を比較する。そして、選択部133は、例えば、対象画像判定モデル157の出力である適性度が最も大きい候補画像を対象画像として選択する。
このように、図1に示す例において、例えば、選択条件が被写体の表情が笑顔であることである場合、選択部133は、対象画像判定モデル157を用いることにより、子供Aがはじめてコンパスを使っている行動が撮影された候補画像の中から、子供Aの表情が最も笑顔に近い画像を対象画像として選択する。
続いて、コンテンツ生成部134は、上記ステップS5において選択部133により選択された対象画像を、ユーザのユーザ端末装置30の画面上で表示させるためのコンテンツを生成する。また、コンテンツ生成部134は、選択部133により選択された対象画像を用いてアルバムを作成する機能を備えてもよく、この場合、作成したアルバムをユーザ端末装置30の画面上で表示させるためのコンテンツを生成する機能も備える。通信部11は、コンテンツ生成部134により生成されたコンテンツをユーザ端末装置30に配信(送信)する(ステップS6)。図1に示す例では、コンテンツ生成部134は、子供Aが撮影された対象画像を保護者Aのユーザ端末装置30の画面上で表示させるためのコンテンツを生成し、通信部11がこのコンテンツを保護者Aのユーザ端末装置30に配信する。
そして、処理を終了する。図1に示す例では、図5に示した上述のステップS1〜S6に示す処理を経て、保護者Aは、ユーザ端末装置30の画面上で、子供Aが撮影された画像やアルバムを閲覧できる。
(情報処理装置10のハードウェア構成)
図6は、情報処理装置10、及びユーザ端末装置30として用いられるコンピュータのハードウェア構成を例示したブロック図である。この図6に例示するように、情報処理装置10は、バス110、プロセッサ101、主メモリ102、補助メモリ103、及び通信インタフェース104を備えたコンピュータによって構成可能である。これらのプロセッサ101、主メモリ102、補助メモリ103、及び通信インタフェース104は、バス110を介して互いに接続されている。
プロセッサ101としては、例えば、CPU(Central Processing Unit)、マイクロプロセッサ、デジタルシグナルプロセッサ、マイクロコントローラ、又はこれらの組み合わせが用いられる。
主メモリ102としては、例えば、半導体RAM(random access memory)が用いられる。
補助メモリ103としては、例えば、フラッシュメモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)、又はこれらの組み合わせが用いられる。補助メモリ103には、上述した情報処理装置10の動作をプロセッサ101に実行させるためのプログラムが格納されている。プロセッサ101は、補助メモリ103に格納されたプログラムを主メモリ102上に展開し、展開したプログラムに含まれる各命令を実行する。
通信インタフェース104は、ネットワークNに接続するインタフェースである。
本実施形態において、プロセッサ101、及び通信インタフェース104は、制御部13及び通信部11を実現するハードウェアの一例である。また、主メモリ102及び補助メモリ103は、記憶部15を実現するハードウェアの一例である。
(ユーザ端末装置30のハードウェア構成)
図6に例示するように、ユーザ端末装置30は、バス310、プロセッサ301、主メモリ302、補助メモリ303、通信インタフェース304、入出力インタフェース305、カメラ306、及びタッチパネル307を備えたコンピュータによって構成可能である。これらのプロセッサ301、主メモリ302、補助メモリ303、通信インタフェース304、入出力インタフェース305、カメラ306、及びタッチパネル307は、バス310を介して互いに接続されている。
ユーザ端末装置30のプロセッサ301、主メモリ302、補助メモリ303、及び通信インタフェース304は、それぞれ、情報処理装置10のプロセッサ101、主メモリ102、補助メモリ103、及び通信インタフェース104と同様の処理を行うため、ここでは説明を省略する。
ユーザ端末装置30の入出力インタフェース305としては、例えば、USBインタフェース、赤外線やBluetooth(登録商標)の近距離通信インタフェース、又は、これらの組み合わせが用いられる。
本実施形態において、プロセッサ301、及び通信インタフェース304は、ユーザ端末装置30の制御部35を実現するハードウェアの一例である。また、カメラ306は、ユーザ端末装置30の撮像部32を実現するハードウェアの一例である。また、タッチパネル307は、ユーザ端末装置30の表示部33及び操作部34を実現するハードウェアの一例である。
<まとめ>
情報処理装置10は、撮影装置20が撮影した撮影画像を用いて、対象者が所定の行動を初めて実行する事象が発生したことを検出する。そして、情報処理装置10は、この事象の検出を契機として、対象者に係る特定イベントの発生を検知する。情報処理装置10は、この特定イベントの発生を検知した場合、撮影画像から、一又は複数の対象画像を選択する。これにより、本実施形態に係る情報処理システム1は、撮影された画像を好適に選択することが期待できる。
また、本実施形態に係る情報処理システム1において、対象者が子供であり、ユーザが子供の保護者である場合を想定する。例えば、保護者が、学童で撮影された膨大な量の写真から最適な写真を選ぶ場面に遭遇したとき、本情報処理システム1が好適な写真を選択する。これにより、ユーザの煩雑さを回避することができる。また、ユーザが特定イベントをユーザ端末装置30において設定することにより、ユーザ毎に必要な特定イベントの画像を抽出できる。
また、本実施形態に係る情報処理システム1において、対象者が子供であり、ユーザが教師等の教育機関の関係者であり、例えば、学童のアルバムを作成する場面に遭遇したとき、当該情報処理システム1がイベント毎に好適な写真を抽出する。これにより、ユーザの煩雑さを回避する共に、必要とされる行事を網羅した写真の抽出が期待できる。
また、本実施形態に係る情報処理システム1において、例えば、はじめて特定行動が実行された事象を特定イベントとすることもでき、この場合、はじめて特定イベントが実行された瞬間を捉えた候補画像を抽出する。これにより、例えば、子供の保護者は、自分の目の届かない学童や水泳教室等の教育機関で、子供がこれまでに行うことができなかった行動をはじめて行うことができるようになった瞬間を知ることができる。
また、本実施形態に係る情報処理システム1では、特定イベントが発生した際の撮影画像の中から、選択条件に基づき対象画像を選択する。これにより、より詳細な選択条件のもと対象画像を絞り込むことができる。
また、本実施形態に係る情報処理システム1において、例えば、対象者の表情が笑顔であるという選択条件に基づき対象画像を絞り込むこともでき、より客観的な選択条件のもと対象画像を絞り込み選択することができる。また、選択条件の設定によっては、この選択条件を客観的又は主観的な指標をすることもできる。
また、本実施形態に係る情報処理システム1では、ユーザのユーザ端末装置30に対して画像を配信するだけでなく、選択された写真を用いて画像集を作成し、この画像集を配信することもできる。これにより、ユーザは画像を分散して保管しておくことを避けることができる。
また、本実施形態に係る情報処理システム1では、特定イベントが予めユーザやシステム管理者によって設定されるものとするが、例えば、ユーザが特定イベントを設定する場合には、ユーザ端末装置30等からこの特定イベントを入力できるものとし、入力された特定イベントをネットワークNを介して情報処理装置10に送信するものとしてもよい。その際、情報処理装置10から選択し得る複数の条件を列挙したコンテンツをユーザ端末装置30に送信し、ユーザがこれら複数の条件の中から所望する条件を選択するよう構成してもよい。また、ユーザが特定イベントの変更を所望する場合には、随時ユーザ端末装置30等から変更後の特定イベントを設定できるものとしてもよい。
また、本実施形態に係る情報処理システム1では、上述の特定イベントと同様に、選択条件が予めユーザやシステム管理者によって設定されるものとするが、例えば、ユーザが選択条件を設定する場合には、ユーザ端末装置30等からこの選択条件を入力できるものとし、入力された選択条件をネットワークNを介して情報処理装置10に送信するものとしてもよい。その際、ユーザによって選択し得る複数の条件を列挙したコンテンツを情報処理装置10からユーザ端末装置30に送信し、ユーザがこれら複数の条件の中から所望する条件を選択するよう構成してもよい。また、ユーザが選択条件の変更を所望する場合には、随時ユーザ端末装置30等から変更後の選択条件を設定できるものとしてもよい。
また、本実施形態に係る情報処理システム1において、ユーザが所望する特定イベントを撮影した画像(候補画像)が抽出されなかったり、選択条件に合致した画像(対象画像)が選択されなかったりした場合、ユーザ端末装置30は、候補画像抽出モデル156又は対象画像判定モデル157の出力を訂正するための訂正操作をユーザから受け付ける。訂正操作に応じて情報処理装置10は、訂正された入出力関係を記憶する。これにより、情報処理装置10は、判定を誤った際の情報を記憶して蓄積することができ、これらの情報を基に学習モデルの再学習又は判定ルールの修正等を行うことにより、判定精度を向上することが期待できる。
なお、本実施形態においては、図5のステップS1〜S6に示す各処理を情報処理装置10内で行うものとしたが、処理毎にサーバ装置を用意してもよいし、一部の処理又は複数の処理をまとめて実行するサーバ装置を用意してもよい。また、これらのサーバ装置間で分散処理等の連携した処理を行ってもよい。
また、候補画像の抽出処理を行う機能や対象画像の選択処理を行う機能を、ユーザ端末装置30に備えてもよい。この場合、ユーザ端末装置30が、情報処理装置10又は撮影装置20から撮影画像を取得してもよいし、また、情報処理装置10がユーザ端末装置30へ撮影画像を送信してもよい。
また、本実施形態に係る情報処理システム1では、候補画像の抽出処理を実行した後、対象画像の選択処理を実行するものとしたが、これらの処理の順番は逆でもよい。また、いずれかの処理のみを実行し、いずれかの処理をスキップするよう構成してもよい。
今回開示された実施形態は例示であり、制限的なものではない。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
<付記>
以上の実施形態に関し、さらに以下の付記を開示する。
(付記1)
情報処理装置が実行する画像選択方法であって、
撮影装置が撮影した撮影画像を用いて、対象者に係る特定イベントの発生を検知する処理と、
前記特定イベントの発生を検知した場合、前記撮影画像から、一又は複数の対象画像を選択する処理と、
を含む画像選択方法。
(付記2)
前記情報処理装置は、前記対象者が所定の行動をはじめて実行する事象が発生したことを検出し、前記事象の検出を契機として前記特定イベントの発生を検知する、
付記1に記載の画像選択方法。
(付記3)
前記情報処理装置は、前記撮影画像から前記特定イベントに係る一又は複数の候補画像を抽出し、前記候補画像から一又は複数の前記対象画像を選択する、
付記1又は付記2に記載の画像選択方法。
(付記4)
前記情報処理装置は、予め設定された選択条件に基づき、前記対象画像を選択する、
付記3に記載の画像選択方法。
(付記5)
前記情報処理装置は、前記候補画像に含まれる前記対象者の状態、前記対象者の発声、及び前記候補画像に係る前記特定イベントの情報の少なくとも1つが前記選択条件を満たす場合、当該候補画像を前記対象画像として選択する、
付記4に記載の画像選択方法。
(付記6)
前記対象者の状態は、前記対象者の表情、向き、位置、及び前記候補画像に含まれる前記対象者の大きさの少なくとも1つを含む、
付記5に記載の画像選択方法。
(付記7)
前記対象者の発声は、前記対象者の声の種別、前記声の大きさ、及び前記声の長さの少なくとも1つを含む、
付記5に記載の画像選択方法。
(付記8)
前記特定イベントの情報は、前記特定イベントの発生位置、前記発生時間、及び候補画像に含まれる前記対象者以外のオブジェクトの少なくとも1つを含む、
付記5に記載の画像選択方法。
(付記9)
前記対象者は、人、及び動物の少なくとも1つを含む、
付記1から付記8までのいずれか1項に記載の画像選択方法。
(付記10)
前記画像選択方法は、さらに、
前記選択した対象画像を用いて画像集を生成する処理を含む、
付記1から付記9までのいずれか1項に記載の画像選択方法。
(付記11)
撮影装置が撮影した撮影画像を用いて、対象者に係る特定イベントの発生を検知する検知部と、
前記特定イベントの発生を検知した場合、前記撮影画像から、一又は複数の対象画像を選択する選択部と、
を備える情報処理装置。
(付記12)
コンピュータに、
撮影装置が撮影した撮影画像を用いて、対象者に係る特定イベントの発生を検知する処理と、
前記特定イベントの発生を検知した場合、前記撮影画像から、一又は複数の対象画像を選択する処理と、
を実行させるためのプログラム。
(付記13)
撮影装置と、
情報処理装置と、
を備えた情報処理システムであって、
前記撮影装置が、撮影画像を撮影する処理と、
前記情報処理装置が、前記撮影画像を用いて、対象者に係る特定イベントの発生を検知する処理と、
前記情報処理装置が、前記特定イベントの発生を検知した場合、前記撮影画像から、一又は複数の対象画像を選択する処理と、
を実行する情報処理システム。
1 情報処理システム
10 情報処理装置
11 通信部
13 制御部
15 記憶部
20 撮影装置
30 ユーザ端末装置
31 通信部
32 撮影部
33 表示部
34 操作部
35 制御部
101 プロセッサ
102 主メモリ
103 補助メモリ
104 通信インタフェース
110 バス
130 画像取得部
131 検知部
132 学習処理部
133 選択部
134 コンテンツ生成部
150 画像記憶部
155 サーバプログラム
156 候補画像抽出モデル
157 対象画像判定モデル
301 プロセッサ
302 主メモリ
303 補助メモリ
304 通信インタフェース
305 入出力インタフェース
306 カメラ
307 タッチパネル
310 バス
一実施形態に係る画像選択方法は、情報処理装置が、撮影装置が撮影した撮影画像を用いて、前記撮影画像において特定の行動パターンを示す特定行動を判定し、対象者が前記特定行動をはじめて実行する事象が発生したことを検出し、前記事象の検出を契機として前記対象者に係る特定イベントの発生を検知し、特定イベントの発生を検知した場合、撮影画像から、一又は複数の対象画像を選択する。
一実施形態に係る画像選択方法は、情報処理装置が、撮影装置が撮影した撮影画像を用いて、前記撮影画像において特定の行動パターンを示す特定行動を判定し、対象者が前記特定行動をはじめて実行する事象が発生したことを検出し、前記事象の検出を契機として前記対象者に係る特定イベントの発生を検知し、特定イベントの発生を検知した場合、撮影画像から、一又は複数の対象画像を選択し、前記撮影画像から前記特定イベントに係る一又は複数の候補画像を抽出し、予め設定された選択条件に基づき、前記候補画像から一又は複数の前記対象画像を選択し、前記候補画像に含まれる前記対象者の状態、前記対象者の発声、及び前記候補画像に係る前記特定イベントの情報の少なくとも1つが前記選択条件を満たす場合、当該候補画像を前記対象画像として選択するまた、前記対象者の発声は、前記対象者の声の種別、前記声の大きさ、及び前記声の長さの少なくとも1つを含む。

Claims (13)

  1. 情報処理装置が実行する画像選択方法であって、
    撮影装置が撮影した撮影画像を用いて、対象者に係る特定イベントの発生を検知する処理と、
    前記特定イベントの発生を検知した場合、前記撮影画像から、一又は複数の対象画像を選択する処理と、
    を含む画像選択方法。
  2. 前記情報処理装置は、前記対象者が所定の行動をはじめて実行する事象が発生したことを検出し、前記事象の検出を契機として前記特定イベントの発生を検知する、
    請求項1に記載の画像選択方法。
  3. 前記情報処理装置は、前記撮影画像から前記特定イベントに係る一又は複数の候補画像を抽出し、前記候補画像から一又は複数の前記対象画像を選択する、
    請求項1又は請求項2に記載の画像選択方法。
  4. 前記情報処理装置は、予め設定された選択条件に基づき、前記対象画像を選択する、
    請求項3に記載の画像選択方法。
  5. 前記情報処理装置は、前記候補画像に含まれる前記対象者の状態、前記対象者の発声、及び前記候補画像に係る前記特定イベントの情報の少なくとも1つが前記選択条件を満たす場合、当該候補画像を前記対象画像として選択する、
    請求項4に記載の画像選択方法。
  6. 前記対象者の状態は、前記対象者の表情、向き、位置、及び前記候補画像に含まれる前記対象者の大きさの少なくとも1つを含む、
    請求項5に記載の画像選択方法。
  7. 前記対象者の発声は、前記対象者の声の種別、前記声の大きさ、及び前記声の長さの少なくとも1つを含む、
    請求項5に記載の画像選択方法。
  8. 前記特定イベントの情報は、前記特定イベントの発生位置、前記発生時間、及び候補画像に含まれる前記対象者以外のオブジェクトの少なくとも1つを含む、
    請求項5に記載の画像選択方法。
  9. 前記対象者は、人、及び動物の少なくとも1つを含む、
    請求項1から請求項8までのいずれか1項に記載の画像選択方法。
  10. 前記画像選択方法は、さらに、
    前記選択した対象画像を用いて画像集を生成する処理を含む、
    請求項1から請求項9までのいずれか1項に記載の画像選択方法。
  11. 撮影装置が撮影した撮影画像を用いて、対象者に係る特定イベントの発生を検知する検知部と、
    前記特定イベントの発生を検知した場合、前記撮影画像から、一又は複数の対象画像を選択する選択部と、
    を備える情報処理装置。
  12. コンピュータに、
    撮影装置が撮影した撮影画像を用いて、対象者に係る特定イベントの発生を検知する処理と、
    前記特定イベントの発生を検知した場合、前記撮影画像から、一又は複数の対象画像を選択する処理と、
    を実行させるためのプログラム。
  13. 撮影装置と、
    情報処理装置と、
    を備えた情報処理システムであって、
    前記撮影装置が、撮影画像を撮影する処理と、
    前記情報処理装置が、前記撮影画像を用いて、対象者に係る特定イベントの発生を検知する処理と、
    前記情報処理装置が、前記特定イベントの発生を検知した場合、前記撮影画像から、一又は複数の対象画像を選択する処理と、
    を実行する情報処理システム。
JP2020102360A 2020-06-12 2020-06-12 画像選択方法、情報処理装置、プログラム、及び情報処理システム Ceased JP2021197615A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020102360A JP2021197615A (ja) 2020-06-12 2020-06-12 画像選択方法、情報処理装置、プログラム、及び情報処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020102360A JP2021197615A (ja) 2020-06-12 2020-06-12 画像選択方法、情報処理装置、プログラム、及び情報処理システム

Publications (1)

Publication Number Publication Date
JP2021197615A true JP2021197615A (ja) 2021-12-27

Family

ID=79195974

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020102360A Ceased JP2021197615A (ja) 2020-06-12 2020-06-12 画像選択方法、情報処理装置、プログラム、及び情報処理システム

Country Status (1)

Country Link
JP (1) JP2021197615A (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027430A (ja) * 2007-07-19 2009-02-05 Canon Inc 動画再生装置
JP2009182400A (ja) * 2008-01-29 2009-08-13 Sony Corp 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP2011030089A (ja) * 2009-07-28 2011-02-10 Casio Computer Co Ltd 画像処理装置及びプログラム
JP2016154366A (ja) * 2011-03-14 2016-08-25 株式会社ニコン 電子機器およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027430A (ja) * 2007-07-19 2009-02-05 Canon Inc 動画再生装置
JP2009182400A (ja) * 2008-01-29 2009-08-13 Sony Corp 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP2011030089A (ja) * 2009-07-28 2011-02-10 Casio Computer Co Ltd 画像処理装置及びプログラム
JP2016154366A (ja) * 2011-03-14 2016-08-25 株式会社ニコン 電子機器およびプログラム

Similar Documents

Publication Publication Date Title
Kollias et al. Recognition of affect in the wild using deep neural networks
JP6559317B2 (ja) ボディの画像化
CN105654033A (zh) 人脸图像验证方法和装置
US11113838B2 (en) Deep learning based tattoo detection system with optimized data labeling for offline and real-time processing
US11521189B1 (en) Methods and systems for collecting and releasing virtual objects between disparate augmented reality environments
CN107148628A (zh) 用于基于特征进行认证的系统和方法
JP2020526835A (ja) 画像を投稿するためのユーザのアカウントを動的に識別する装置及び方法
JP6876312B1 (ja) 学習モデル生成方法、コンピュータプログラム及び情報処理装置
JP6410427B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN113052025A (zh) 图像融合模型的训练方法、图像融合方法及电子设备
Kim et al. Convolutional neural network architectures for gaze estimation on mobile devices
Kumar et al. Facial emotion recognition and detection using cnn
CN117037244A (zh) 人脸安全检测方法、装置、计算机设备和存储介质
JP6998027B1 (ja) 情報処理方法、情報処理システム、撮影装置、サーバ装置及びコンピュータプログラム
JP2021197615A (ja) 画像選択方法、情報処理装置、プログラム、及び情報処理システム
WO2020115910A1 (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP7211495B2 (ja) 教師データ生成装置
JP6940106B1 (ja) 情報処理方法、情報処理システム、撮影装置、サーバ装置及びコンピュータプログラム
JP7129531B2 (ja) 情報処理方法及び情報処理システム
JP7098180B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7211496B2 (ja) 教師データ生成装置
JP2019185349A (ja) 検索装置、検索方法及びプログラム
JP6744536B1 (ja) 目線撮像方法及び目線撮像システム
TW201923655A (zh) 面部變化記錄應用程式
Her Gaze Estimation and Tracking for Assisted Living Environments

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200612

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200612

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201019

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210203

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210203

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210308

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210311

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210326

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210331

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20211013

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20211223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220126

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220315

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220412

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220412

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20220830