JP2014130453A - 画像情報処理システム - Google Patents

Abstract

【課題】撮影者や記録者などが撮影した画像と、コメントまたはイベント情報を撮影した画像と別に記載した際にも、関連した画像に対して所望のコメントやイベント情報と一緒に表示させる。
【解決手段】画像記録手段２０によって撮影された画像と、撮影された画像それぞれとユーザによって入力されたイベント情報１００もしくはコメント情報３００のすくなくとも一方との関連度を算出する関連度算出手段と、前記関連度を基に画像同士の関連度である画像関連度を算出する画像関連度算出手段と、画像関連度を基に前記撮影された画像をグループ分けするグループ設定手段と、グループに有する前記画像の数に応じて表示する画面の範囲を設定する画面設定手段と、画面ごとに配置される画像は前記グループのうち重要度の高い画像から優先的に配置する画像配置手段と、を備える。
【選択図】図２

Description

本発明は、情報を処理する画像情報処理システムに関する。

現在、撮影された画像でアルバムを作成するときには、画像の特徴点から、適切な画像を選択し、アルバムを作成している。特許文献１には、画像に関連づけられたメタデータを基に、代表画像を選択するための技術が公開されている。

また、アルバムにコメントを残すような場合にも特許文献２のように、一つ一つの写真（画像）について、それぞれ新たにコメントを書き起こす必要があった。特許文献２では、保護者または保育士が、写真を一つ一つ確認した上で、アルバムに掲載する写真（画像）を選択しなければならなかった。

特開２０１１−２１５９６３号公報 特開２００２−３１８８６１号公報

しかしながら、特許文献１の発明では、記録した人が画像に対するコメントなどを記載することが難しく、その改善が望まれる。また、特許文献２では、コメントを記載することは出来るが、それぞれの画像に対して記載する必要があった。撮影者や記録者などが撮影した画像と一対一対応させることなく、コメントまたはイベント情報を撮影した画像と別に記載した際には、関連した画像に対して所望のコメントやイベント情報と一緒に表示させることが難しく、その改善が望まれる。

上述の課題を解決するために、本発明は以下の構成の画像処理システムを提供する。
撮影手段によって撮影された画像と、ユーザによって入力されたコメント情報又はイベント情報の少なくとも一方とを記憶する記憶する記憶部と、
各々の前記画像と前記イベント情報又はコメント情報のすくなくとも一方との関連度を算出する関連度算出部と、
前記撮影手段によって撮影された画像毎に前記関連度算出部で算出された関連度を基に前記画像同士の関連度である画像関連度を算出する画像関連度算出部と、
前記画像関連度を基に前記撮影された画像をグループ分けするグループ設定部と、
前記グループごとの画像の数に応じて表示する表示範囲を設定する表示範囲設定部と、
前記表示範囲内に配置される表示画像数を決定する画像数決定部と、
前記グループ内の画像ごとに重要度を決定する重要度決定部と、
前記画像数決定部において決定された表示画像数に対応する画像は前記重要度の高い画像を優先的に配置することを特徴とする画像配置部と、
前記画像配置部で配置した配置情報を出力する出力部と、を有する画像情報処理システム。

本発明に係る画像情報処理システムよれば、撮影者や記録者などが撮影した画像と一対一対応させることなく、コメントまたはイベント情報を撮影した画像と別に記載した際には、関連した画像に対して所望のコメントやイベント情報と一緒に表示させることが可能になる。

本発明の実施例１の画像情報処理システム１の構成を示す図である。 本発明の実施例１の画像情報処理システム１のイベント記録手段１０、画像記録手段２０、コメント記録手段３０、情報記憶手段４０の構成を示す図である。 本発明の実施例１のイベント情報１００の構成図である。 本発明の実施例１の画像記録情報２００の構成図である。 本発明の実施例１のコメント情報３００の構成図である。 本発明の実施例１のアルバム作成のフロー図である。 本発明の実施例１のアルバム作成期間決定の表示例である。 本発明の実施例１のアルバム対象人物決定の表示例である。 本発明の実施例１のアルバム作成時の表示例である。 本発明の実施例１の画像・イベント情報・コメント情報のグルーピングのフロー図である。 本発明の実施例１のそれぞれの画像に対するイベント関連度データの一部を示す図である。 本発明の実施例１のそれぞれの画像に対するコメント関連度データの一部を示す図である。 本発明の実施例１のイベント情報と対応画像を示すデータ例である。 本発明の実施例１のコメント情報と対応画像を示すデータ例である。 本発明の実施例１の画像関連データ１５０と関連度を示すデータ例である。 本発明の実施例１の画像―グループ情報１６０を示すデータ例である。 本発明の実施例１のアルバム作成時の画像とコメントの割り振りのフロー図である。 本発明の実施例１のアルバム表示例１である。 本発明の実施例１のアルバム表示例２である。 本発明の実施例１の画像の重要度を算出するための検出方法１の説明図である。 本発明の実施例１の画像の重要度を算出するための検出方法２の説明図である。 本発明の実施例１におけるアイコン選択時の表示例を示す図である。

以下に本発明の実施の形態について、図面を参照しながら説明する。以下の図面の記載において、同一または類似の部分は、同一また類似の符号を付し、重複する説明は原則として省略する。総じて図面は模式的なものであり、各寸法の比率などはこの実施形態の解釈を限定しない。したがって、具体的な寸法などは以下の説明を参酌して判断すべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。

＜実施の形態＞
図１に示すように、実施例１の画像情報処理システム１は複数のイベント記録手段１０と、複数の画像記録手段２０と、複数のコメント記録手段３０と、情報記憶手段４０とを有し、それぞれがネットワーク６に接続されている。イベント記録手段１０は、イベント情報を入力するためのイベント入力部１３と入力した情報を表示させる表示部１２である画面１１を備える。保育者（記録者）が画像記録手段２０、コメント記録手段３０、イベント記録手段１０をそれぞれ所有している。コメント記録手段３０は、表示部（ディスプレイ）３２と、コメント入力部３３であるキーボードとを備える。

図２を基に、図１で示した情報処理システム１を構成するイベント記録手段１０、画像記録手段２０、コメント記録手段３０、情報記憶手段４０についてそれぞれ説明する。

イベント記録手段１０は、イベント情報を入力するための装置であり、例えば、携帯型パソコンのようなものである。イベント記録手段１０は、イベント入力部１３と、表示部１２と、記憶部１４と、時計部１５と、制御部１６、通信部１７と、位置取得部１８とを備える。ここで、イベント情報とは、イベントの種類を選択した選択日時（作成時刻）、イベントを選択した記録者（作成者）、イベントの種類を選択した記録位置（作成位置）、イベントの種類（イベント種類）等である。記録者は、イベント入力部１３を用いて、イベントの種と記録者とを入力する。イベントの種類は、「お散歩」、「お昼ご飯」、「お昼寝」、「おやつ」など予め定められており、前述のイベントの種類の情報は記憶部１４に記憶されている。記録者は画面１１に表示された複数のイベントのうち１つを選択する。選択したイベント情報に対応する情報はイベント記憶手段１０に記憶される。また、記録者は、画面１１に表示されている予め記憶された記録者の名前の一覧から記録者自身の名前を選択する。選択された記録者名は記録者情報としてイベント記録手段１０に記憶される。イベント記録手段１０に記憶される記録位置（作成位置）は、イベントの種類と記録者が決定されたときの位置取得部１８で取得された位置情報（緯度・経度情報）と、選択日時（作成時刻）を時計部１５によって取得された時刻とにより取得する。取得された位置情報（作成位置）と取得された日時（作成時刻）、イベントの種類、記録者（作成者）は、一群の情報となって、イベント記録手段１０の記憶部１４に一時的に記憶される。イベント記録手段１０の制御部１６は、通信部１７の状態を監視し、ネットワーク６を介して、画像情報を情報記憶手段４０に出力する。情報記憶手段４０は送られてきたイベント情報を記憶部４４に記憶させる。（図3参照。イベント情報の詳細は後述する。）

なお、位置取得部１８は、GPS（Global Positioning System）のように現在地が取得できるものであればよく、現在位置（作成位置）と作成時刻とは、例えば、表示部１２に決定キーが表示され、記録者によって決定キーが押された、イベント情報入力の決定とされるタイミングで取得するようにしてもよい。記録者（作成者）それぞれがイベント記録手段１０を所有しているときは、それぞれの機器のＩＤを前記イベント情報に付加し、情報記憶手段４０はIDを含めてイベント情報を記憶し、そのＩＤより記録者を区別するようにしてもよい。

なお、イベント記録手段１０の表示部１３（画面１１）は、例えば、タッチパネルになっており、画面１１上にボタンやアイコンを表示することで、記録者がイベントの種類を選択できるようになっている。また、画面１１上にキーボードを表示してもよく、記録者によるキーボードでの入力も可能である。また、イベント入力部１３は、マイクを備え、音声入力によるものでもよい。その場合には、記録者からの入力音声を音声認識により判別し、イベントの種類と一致する単語を検出したときに、イベント情報を記憶部１４に一時的に記録し、情報記憶手段４０に送信するようにしてもよい。

次に画像記録手段２０は、デジタルカメラであり、撮像部２１と、時計部２５と、制御部２６と、通信部２６と、記憶部２４と、表示部２２と、入力部２３とを備える。撮像部２１によって、撮影された画像とともにそれぞれ撮像部２１、時計部２５、入力部２３、位置取得部２８から、画像が撮影された撮影時刻（作成時刻）、撮影者（記録者、作成者）、記録位置（画像が撮影された位置）の情報を取得する。

保育者（記録者、作成者）は画像記録手段２０（カメラ装置）を利用して画像の記録を行う。撮影された画像は、画像認識ソフト等によって解析され、撮影された画像に写っていると認識された人と記憶部２４に記憶されている人物との特徴点が一致した人物の人物名が上記情報とともに画像記録情報として記憶部２４に一時的に記憶される。制御部２６は、通信部２７の状態を確認して、ネットワーク６を介して、画像記録情報を情報記憶手段４０に送信する。情報記憶手段４０は送られてきた画像記録情報を記憶部４４に記憶させる。

なお、映像記録手段２０は、ビデオカメラでもよく、所定期間毎に自動で撮影された画像とともに画像記録情報を記憶するようにしてもよい。同様の動作をするデジタルカメラでもよい。また、作成者が記録されている動画から任意に画像を切り出してもよく、その場合、切り出された画像または動画の一部が選択された際に、画像認識ソフトにより人物が検出され、画像記録情報が作成され、画像記録情報が記憶されるようにしたり、また、画像解析によって映像に人物に認識にされたときに画像記録情報を作成することも可能である。表示部２２は、撮影した画像を表示したり、入力部２３によって入力された情報などを表示することで作成者に画像や入力された情報などを確認させることができるディスプレイである。

また、画像記録手段２０の制御部２６は、撮像部２１を画像のフレーム内に人物が存在する場合に画像を撮影させるように制御させることも可能であり、効率的に画像を取得することができる。

保育者（記録者、作成者）は、コメント記録手段３０を用いて保育中の特記事項やの所感等を文章で入力し、コメント記録手段３０に記録する。コメント記録手段３０は、キーボードなどのコメント入力部３３と、ディスプレイなどの表示部３２と、メモリなどの記憶部３４と、ネットワーク６を介しデータのやり取りを行う通信部３７と、時計部３５と、制御部３６とを備える。

コメント記録手段３０は、記録者によって入力されたコメントとともに記録された日時の情報（作成日時）を時計部３５により取得し、同時にコメントが入力されたときのコメント記録手段３０の位置情報を示す作成位置（緯度・経度の値）を位置取得部３８から取得する。また、コメントの作成者（記録者）もコメントとともに取得する。以上のコメント内容、作成者、作成日時、作成位置をコメント情報として、コメント記録手段３０は記憶部３４に一時的に記憶する。制御部３６は、通信部３７の状態を監視し、ネットワーク６を介して、コメント情報を情報記憶手段４０に出力する。情報記憶手段４０は送られてきたコメント情報を記憶部４４に記憶させる。（コメント情報の詳細については図５を参照）。

コメントは、記録者が、キーボード等により入力する形式でもよいし、ボイスレコーダのように、コメント入力部３３がマイクを備え、音声入力により、記録を行うものでもよい。また、入力された音声は音声認識により、テキストとして保存することも可能である。保育者や児童の会話をすべての会話を記録しておき、テキスト化し記憶しておいてもよい。

情報記憶手段４０は、カレンダー４５と、制御部４６と、記憶部４４と通信部４７とを備える。情報記憶手段４０は、処理部を備えたサーバのようなものであり、取得した情報の記録、管理、再構築、分析を行い、その結果をネットワーク６で接続された他の装置（イベント記録手段１０、画像記録手段２０、コメント記録手段３０等）に出力する。
記憶部４４は、ハードディスク、半導体記憶媒体等の不揮発性の記録媒体である。制御部４６は記憶部４４や通信部４７を制御したり、データの分析、解析等を行う。
本実施例では情報記憶手段４０は、関連度算出部、画像関連度算出部、グループ設定部、表示範囲設定部、画像数決定部、重要度決定部、画像配置部と出力部として働く。

次に、図３〜５を用いて、それぞれのデータの説明をする。
図３に示す、イベント情報１００は、前述のようにイベント記録手段１０で作成され、情報記憶手段４０に送信され、情報記憶手段４０内の記憶部４４のイベント情報１００に格納されている。イベント情報１００は、ファイル名１０１と、作成日時１０２と、作成者１０３と、記録位置１０４と、イベント種類１０５とを含み、１つのファイル名が付与された１データ群は、図３に示されたイベント情報１００の１行に対応し、ファイル名：イベント００１の１データ群は１行に対応する。情報記憶手段４０が記録手段１０からイベント情報を受信するたびに、イベント情報１００の行が追加される。

図４に示す、画像記録情報２００は、ファイル名２０１、作成日時２０２、作成者２０３、写っている人２０４と、記録位置２０５とにより構成されており、１つのデータ群（１行に相当）は、１つの画像ファイルに対して１行割当てられている。すなわち、ファイル名：画像００１の画像記録情報はファイル名：画像００１の１行である。

図５に示す、コメント情報３００は、ファイル名３０１、作成日時３０２、作成者３０３、コメントの内容３０４と、作成位置３０５とにより構成されており、前述のようにコメント記録手段３０で作成され、情報記憶手段４０に送信され、情報記憶手段４０内の記憶部４４のコメント情報３００に格納されている。図５に示されたコメント情報３００の１行に対応し、ファイル名：コメント００１のデータ群はファイル名：コメント００１の１行に対応する。情報記憶手段４０がコメント記録手段３０からイベント情報を受信するたびに、コメント情報３００の行が追加される。

次に図６にアルバム作成のフローを示す。はじめにアルバム作成期間を決定する（ステップＳ１０）、次にアルバムの掲載する中心人物を決定し（ステップＳ１１）、作成するアルバムの総ページ数を決定する（ステップＳ１２）。次に画像・イベント情報・コメント情報グルーピングし（ステップＳ１３）、ステップＳ１３にてグルーピングされた画像数に基づきグループごとのアルバムのページを割り当てを決定する（ステップＳ１４）、ステップＳ１４にて、割り当てられたアルバムの各ページに画像とコメントのレイアウトを決定し、表示などの出力を行う（ステップＳ１５）。

次に各ステップの説明をする。ステップＳ１０のアルバム作成期間の決定は、アルバム作成者が行う。例えば、コメント記録手段３０の表示部（ディスプレイ）３２に表示されたアイコンをアルバム作成者が押すと、アルバム作成指示制御信号がコメント記録手段３０からネットワーク６を通じ情報記憶手段４０へ送信される。前述のアルバム作成指示制御信号を受信した情報記憶手段４０は、図７に示すような、アルバム作成期間の設定の表示情報をコメント記録手段３０に送信する。情報記憶手段４０がコメント記録手段３０にアルバム作成期間の設定の表示情報を表示させるような制御信号を送信してもよいし、コメント記録手段３０自身がアルバム作成期間の設定の表示画面を表示させるようにしてもよい。コメント記録手段３０は受信したアルバム作成期間の設定の表示情報に基づき、制御部３５からの表示指示により表示部３４に図７のような表示を行う。表示部３４には、図７に示すように、「アルバムの日付を指定してください」との指示が表示され、さらにカレンダー形式の日付ボタン７０が配置される。日付ボタン７０はそれぞれの日付に対応したボタンの集合であって、画像やコメント、イベントの情報が無い日はユーザが選択できないように×印を表示し、さらにボタンが選択できない設定となっている。アルバム作成者は日付を選択することで、アルバムの作成する日付を選択する。日付の選択は、１日のみ選択させるようにしてもよいし、複数の日付を選択できるようにしてもよい。また、選択した日付は色を変えるなどの表示をすることが可能である。アルバム作成の期間は日付によるものではなく、月単位で選択することも可能である。

図７のアルバム作成期間決定の表示例には、日付ボタン７０のほかに、カレンダーの月送りをする月送りアイコン７１や、表示画面を次へ送る、進むアイコン７２や前の表示画面に移行する指示を受け付ける戻るアイコン７３がある。

次に、対象となる人物の選定をする画面例を図８に示す。ステップではステップＳ１１にあたる。表示画面には「アルバムの主体となる子どもを指定してください」との指示が表示され、アルバム作成者が、対象となる人物を選択できるようになっている。人物リスト８１が表示されており、リストが表示枠内に収まらないとき、人物リスト８１をスクロールさせるためのスクロールバー８０があり、矢印の上の記号周辺を選択するとリストの上部にある子どもの名前が表示され、矢印記号の下を選択すると表示されているリストより下にある子どもの名前が表示される。複数の人物を選択することも可能であり、またクラス単位など、予め人物名が登録されたグループを選択できる表示を設けてもよい。

図８の人物リスト８１の一番下の欄には“選択せず”とのアイコンもあり、このアイコンを選択した場合には特定の人物を選択するような処理を行わないでアルバムを作成することとなる。さらに、図７と同様に、次ページに進む、進むアイコン８２や前の表示画面に戻る指示を受け付ける戻るアイコン８３がある。

図７の進むボタンを選択すると、図９のような「選択された内容でアルバムを作成します。」との表示が表示画面上にされ、アルバム作成者は、はいボタン９１か、いいえボタン９２を選択する。前に入力した内容の確認や、変更を行う場合には、戻るボタン９３で、前の表示画面に戻ることができる。

アルバム作成者が、はいボタン９１を入力すると、ステップＳ１２のアルバムページ数の決定へ移行する。
アルバムのページは上述のアルバム作成期間に基づいて、自動的に決定される。例えば、１０日間で５ページなどである。

次に、ステップＳ１３の画像・イベント情報・コメント情報のグルーピングを説明する。図１０にステップＳ１３の詳細フローを示す。ステップＳ２０から順に画像データとイベントデータの対応付け、ステップＳ２１の画像データとコメントデータの対応付け、ステップＳ２２の画像データのグルーピングという順番になっている。

それぞれ、各ステップの詳細を述べる。
ステップＳ２０の画像データとイベントデータの対応付けは、イベントデータと各画像との関連度を算出する。以下、関連度の算出方法を示す。

●画像データとイベントデータの関連付け
ステップＳ１０で選択された期間に撮影された画像データと、ステップＳ１０で選択された期間に作成されたイベントデータとで、それぞれ下記１．〜６．の項目での関連度を算出し、算出した関連度を合計することで画像とイベントそれぞれの関連度が算出される。

１．作成時刻
イベントデータの作成時間と画像が作成された時間から、関連度を求める。それぞれの画像データに対し、同時刻のものを１００点とし、作成時間が１分すれるごとに１点減点する。例えば、画像００１のイベント００１に対する関連度は、図３と図４より、５５分のずれがあるので、本項目の関連度は４５点となる。また、１００分以上の差がある場合には、０点となる。

２．画像内容とイベントの関連性
画像の内容とイベント種類から、関連度を算出する。画像の内容は、画像解析から、例えば、撮影された画像が屋外で撮影されたものか、室内で撮影されたものかを判別する。判別方法としては、例えば、室内なら、壁や床が撮影画像にあるかどうかから判別し、屋外は、空や光の強度を参照して、屋外と判断する。屋内で撮影された画像か屋外で撮影された画像かは、他に輝度や、画像を複数のエリアに分割して色相を検出して屋内か屋外が判断する方法を用いてもよく、開示された技術を利用すればよい。ここで画像ごとに屋内撮影された画像か屋外で撮影された画像かが判断され、さらに、イベントのコメント情報から、室内で起きたイベントか、屋外のイベントか、どちらか判別できないイベントかを判別する。例えば、お散歩なら屋外、お昼ご飯なら屋内、お昼寝なら屋内、怪我ならどちらでもない等とする。屋外か屋内は、イベント入力時に選択する形でもよいし、情報記憶手段４０で、ネットワークを介して、イベントの文字情報に応じて判別するようにしてもよい。

そこで、画像とイベント種類の屋内・屋外が一致した場合には３０点の加点をし、一致しない場合には加点はしない。また、イベント種類が屋内・屋外のどちらでもないとされた場合も加点は行わない。例えば、画像００１は屋内と判別され、コメント００１は屋外と判断されるので、点数の加点はない。

３．作成距離
イベントデータの作成時間と画像が作成された位置の差から、関連度を求める。同一位置のものを１００点とし、作成位置の差が１ｍ離れるごとに１点減点する。作成位置の差は、記録位置の緯度経度情報から算出する。画像００１のコメント００１に対する本項目の関連度は、図３と図４の記録位置情報より算出して、例えば、２０ｍのずれがあるので、本項目の関連度は１００点−２０点で８０点となる。

４．関連度の算出
前述した通り、各項目の関連度を算出し、合計することで画像とイベントそれぞれの関連度を算出する。画像００１の関連度は、４５点＋０点＋８０点で１２５点となる。それぞれの画像データに対し同様のことを行う。図１１に示すように、各画像に対して、イベント名１１０の関連度１１１が算出される。画像００１と画像００２は位置（撮影場所）がほぼ同一で、時間の若干の違いであるので、それぞれのイベントに対する関連度の値が似た値になっている。

５．画像データに対するイベントデータの関係性
各画像において、上述でも求めた関連度がある閾値以上となったコメント情報をそれぞれの画像に対して記憶しておく。例えば、閾値を１００とした場合には、データ構造は図示しないが、図１１より、画像００１はイベント００１、００２、００３が関連付けられ、画像００２はイベント００１、００２、００３が関連付けられ記憶される。

６．イベントデータに対する画像データの関連性
最終的に、上述で算出した関連度がある閾値一定以上であるもので、それぞれのイベントに対して、最も高い関連度を有する画像を関連付け、図１３に図示した、イベントー画像関連付けデータ１３０を作成する。イベントー画像関連付けデータ１３０のファイル名１３１、作成日時１３２、作成者１３３、イベント種類１３４は、図３のイベント情報１００のファイル名１０１、作成日時１０２、作成者１０３、イベント種類１０５から、それぞれ対応するデータを取得し、作成される。閾値以下の画像データしかない場合には、関連付けを行わない。

ステップＳ２１の画像データとコメントデータの対応付けは、各コメントデータと各画像との関連度を算出する。以下、関連度の算出方法を示す。
●画像データとコメントデータの関連付け
ステップＳ１０で選択された期間に撮影された画像データと、ステップＳ１０で選択された期間に作成されたコメントデータとで、以下の１．〜７．の項目の関連度を算出し、合計することで画像とイベントそれぞれの関連度を算出する。

１．作成時刻
画像データとイベントデータの関連度算出と同様に、コメントデータの作成時間と画像データの作成時刻から、関連度を求める。それぞれの画像データに対して、同時刻に作成されたものを５０点とし、作成時間が１分すれるごとに１点減点する。例えば、画像００１のコメント００１に対する関連度は、図４と図５より、５３分のずれがあるので、本項目の関連度は０点となる。５０分以上の差がある場合には０点となるためである。

２．画像に写っている人とコメント内容の関連性
図４の画像記録情報２００には、写っている人２０４という情報がある。ここに記載されている人物の名前が、コメント内にあるか否かで判別する。一致する名前がある場合には５０点、一致する名前がない場合には０点となる。画像００１のコメント００１に対する関連度は、０点となる。

３．画像内容とコメントの関連性
この項目も画像データとイベントデータの関連度算出と同様に、画像の内容とコメント内容が、撮影された画像、コメントの内容が屋外か、屋内のものかを判別し、判定する。画像の判定方法は、前述の判定方法を利用し、コメント内容３０５に記憶されているテキスト情報から屋内に関連するキーワードがあるか、屋外に関連するキーワードがあるか、両方に関連するものがないかで区別する。画像とコメント内容３０５の屋内または屋外である点が一致した場合には３０点の加点をし、一致しない場合には加点はしない。また、コメント内容３０５が屋内・屋外のどちらでもないとされた場合も加点は行わない。例えば、画像００１は屋内と判別され、コメント００１は屋外と判断されるので、点数の加点はなく０点となる。

４．作成位置間の距離
この項目も画像データとコメントデータの関連度算出と同様に、コメントデータの作成位置と画像が作成された位置の差から、関連度を求める。同一位置のものを５０点とし、作成位置の差が１ｍ離れるごとに１点減点する。作成位置の差は、記録位置の緯度経度情報から算出する。画像００１のコメント００１に対する本項目の関連度は、図４と図５の記録位置情報より算出して、例えば、画像００１に対するコメント００１の距離の差は２ｍあるので、本項目の関連度は５０点−２点で４８点となる。

５．関連度の算出
前述した通り、各項目の関連度を算出し、合計することで画像とイベントそれぞれの関連度を算出する。画像００１の関連度は、０点＋０点＋０点＋４８点で４８点となる。それぞれの画像データに対し同様のことを行う。図１１に示すように、各画像に対して、各コメント名１２０の関連度１２１が算出される。画像００１と画像００２は位置（撮影場所）がほぼ同一で、時間の若干の違いであるので、それぞれのコメントに対する関連度の値が近い値になっている。

６．画像データに対するコメントの関係性
各画像において、上述でも求めた関連度がある閾値以上となったコメント情報をそれぞれの画像に対して記憶させる。例えば、閾値を５０点とした場合には、図１２に示すように画像００１はコメント００４、００５が関連付けられ、画像００２にはコメント００４、００５が関連付けられ記憶される。

７．コメントデータに対する画像データの関係性
最終的に、上述で算出した関連度がある閾値一定以上であるもので、それぞれのコメントに対して、最も高い関連度を有する画像を関連付け、図１４に図示した、コメントー画像関連付けデータ１４０を作成する。コメントー画像関連付けデータ１４０のファイル名１４１、作成日時１４２、作成者１４３とコメント内容１４４とは、図５のコメント情報３００のファイル名３０１、作成日時３０２、作成者３０４と、コメント内容３０５とから、それぞれ対応するデータを取得し、作成される。閾値以下の画像データしかない場合には、関連付けは行わない。

次に図１０、ステップＳ２２の画像データのグルーピングについて説明する。画像同士の関連付けである。図１５に画像関連データ１５０を示す。左側から通し番号１５１、画像の組み合わせを示す画像組合せ１５２、時刻の関連度を示す１５３、人物間の関連度１５４、作成位置での関連度１５５、イベントごとの関連度１５６、コメントの関連度を示す１５７、そして関連度の合計（画像同士の関連度を示す）１５８がある。

●画像データのグルーピング
画像同士の関連度は、まず画像の組合せを作成する。画像の作成日時順に並べ、１番目と２番目、２番目と３番目、３番目と４番目、‥と最後まで組合せを作成する。画像データのグルーピングは、以下の１．〜７．の項目を経て行われる。

１．作成時刻の差
画像同士の作成時刻の差を算出する。画像の作成時刻が同時の場合を１００点とし、作成時間の差が１分ごとにマイナス１点とする。画像関連度１５０のNo.１の時刻の関連度は、３分の差があるので、１００点−３点となり９７点となる。画像関連度１５０の時刻の関連度は時刻１５３の列に記入される。

２．画像に写っている人物の関連性
画像同士で写っている人物の一致度から関連度を算出する。１ペア１０点、２ペア１５点、３ペアで２０点、‥と加算する。ただし９ペア以上の場合は５０点とする（最高得点は５０点となる）。No.１の人物の関連性（人物１５４）は図４の画像記録情報２００の写っている人２０４を参照にすると０点である。

３．作成位置間の距離
画像同士の作成された位置の差から、関連度を求める。同一位置のものを５０点とし、作成位置の差が１ｍ離れるごとに１点減点する。作成位置の差は、コメントー画像の関連度、イベントー画像の関連度を算出した時と同様に、記録位置の緯度経度情報から算出する。画像００１のコメント００１に対する本項目の関連度は、図４の記録位置情報より算出して、例えば、No.1の距離の差は０ｍなので、本項目の関連度は５０点−０点で５０点となる。

４．画像と対応付けられたイベント情報の関連性
画像間で一致するイベント名が１つあるごとに３０点を加点する。一致するイベント名がない場合には０点となる。

５．画像と対応付けられたコメント情報の関連性
画像間で一致するコメント名が１つあるごとに３０点を加点する。一致するコメント名がない場合には、０点となる。

６．関連度を求める
１．〜５．で求められた関連度を全て加算し、画像の組合せごとの関連度をもとめる。

７．関連度からの撮影画像のグループ分け
各画像は作成日時順に並べられているので、関連度の合計１５８が２００点以下である箇所は、その画像間でグループが異なると判断する。各グループの上から順にグループごとにグループ名（１〜の通し番号）をそれぞれの画像に付与する。画像それぞれにグループ名を付与した情報が画像―グループ情報１６０である。グループ名以外の情報は画像記録情報２００から取得する。今回の例では１〜５グループの５グループとなる。
以上で、図１０のステップＳ２２のフローが終了する。

図６に戻り、ステップＳ１４の各グループにページを割り当て、ステップＳ１５の画像とコメントのレイアウトを決定する動作について説明する。各グループに割り当てられるページ数は、グループにある画像の数に比例して多くなるように設定される。グループにおける、画像の数を示すデータ構造は図示しないが、図１６の画像―グループ情報１６０から取得することが可能である。それぞれのグループの画像の数は、グループ１は３枚、グループ２は３枚、グループ３は３枚、グループ４は２枚、グループ５は４枚となっているので、ステップＳ１２で決定したアルバムの総ページ数が５ページとすると、グループ１は１ページ、グループ２は１ページ、グループ３は１ページ、グループ４は０ページ、グループ５は２ページとなる。

それぞれのページに対する、画像とコメントの割り振りは、図１７のフローを基に説明する。まず、ステップＳ１７０では、各グループでの配置される画像の数を算出する。すなわち、各グループでの掲載画像数を決定する。各グループに割り当てられたページ数に１ページあたりの掲載画像数を累積した値が掲載画像数となる。１ページ毎のレイアウトは、情報記憶手段４０の制御部４６が、記憶部４４にあるデザイン情報５００を参照して決定する。例えば、レイアウトは図１８、図１９に示すように、画像８０１とコメント８０２が入るものや、アイコン（絵）８０５などが挿入されたものである。レイアウトは、前述したように制御部４６によってランダムに決められるものでもよく、またユーザがアイコンのありなし等を選択するようにしてもよい。図１８、図１９はそれぞれ見開きの２ページ分の表示画像８００を表示している。表示画像８００中央の斜線から右側が１ページ、左側が１ページとなっている。

次にステップＳ１７１の画像の重要度を算出する。重要度はそれぞれグループごとに決定する。
以下画像の重要度の算出法の例を示す。１．〜５．の項目で行う。

１．アルバム対象人物の顔の大きさによる重要度
画像内に存在する図６のステップＳ１１で選択されたアルバム対象人物の顔の大きさにより重要度を決定する。図２０に示すように、画像枠６１０のうち対象人物６０５を検出枠６０６で囲う。画像枠の縦Ｙのうち、対象人物６０５の検出枠６０６の縦ｙがｙ/Ｙにより、重要度が決定される。例えば０．３以上であれば重要度は、１００×（ｙ/Ｙ）で算出され、０．３以下の場合には重要度は０とする。また、検出枠６０６の面積と画像の面積との面積比を先ほどの比の部分に用いて、重要度を算出することも可能である。

２．アルバム対象人物の顔の位置による重要度
図２1に示すように画像枠６１０の中心６００から画像枠６１０の頂点までの距離をＸとし、検出枠６０６で検出された対象人物６０５の検出枠６０６の中心から画像枠６１０の中心６００までの距離をｘとしたときのｘ/Ｘの値に応じて、重要度を設定する。例えば０．２以上であれば重要度は、１００×（ｘ/Ｘ）とし、０．２以下の場合には重要度は０とする。

３．人数による重要度
画像内に存在する顔の数を測定し、数が多いほど高い重要度を付ける。１人あたり、例えば５点を加算し、最高値は２５点とする等、どんなに人数が多くても際限なく重要度が大きくならないようにする。

４．表情による重要度
画像内に存在するアルバム対象人物の表情を識別し、笑顔と判断された場合には重要度を１０点加点する。また泣き顔にも重要度を１０点加点する。あるいは、笑顔の人物の人数を数え、１人あたり、例えば５点を加算する。この項目でも最高値は２５点とする等、どんなに人数が多くても際限なく重要度が大きくならないようにする。

５．イベント情報に関連付けられた画像を利用した重要度
前述のステップステップＳ２１にて、各グループで関連付けられたイベントがある場合には、イベントのイベント情報１３４に関連した画像の重要度を上がるようにする。例えば、グループ１にはイベント情報に関連付けられた画像がないので、この加算はおこなわれないが、グループ２では、画像００４にイベント情報のファイル名００１が関連付けられている。ファイル名００１のイベント種類は「お散歩」であるので、画像が屋外のものである場合には重要度の１０点を加点することを行う。
以上のように、それぞれの画像に応じて重要度を算出する。

グループ内の画像それぞれ、上記のように算出された重要度を用いて、重要度の高い案件から順に配置する画像を選択する（図１７のステップＳ１７２）。
グループ１であれば、１ページで、図１８の右側のページだとすると、画像は２枚なので、画像枠８０１には、重要度から画像００１と画像００３が選択される。画像００１と画像００３に割り当てられているコメント、イベント情報はないため、図１８のイベント欄８０３とコメント欄８０２は空欄となる。それぞれ、ページに応じて、画像を重要度によって選択していく。コメントとイベント情報は図１３、図１４のように対応画像がある場合には、コメント欄８０２、イベント欄８０３に記載していく。

また、イベントやコメントに対応したアイコン８０５がある場合には、記憶部４４で記憶されていたアイコン８０５も配置する（図１９参照）。アイコン８０５の取得にはネットワーク６を介して、取得するようにしてもよい。アイコン（絵）８０５の内容は、そのアイコンに最も近い画像８０１に関連付けられたイベント内容や、そのアイコンに最も近い画像８０１を含むグループに属する画像群にもっとも多く関連付けられたイベントの内容に応じて決定する。例えば、画像８０１に「お昼寝」のイベントが関連付けられている場合、アイコン（絵）８０５として、子どもが寝ているイラストを選択する。

また、先にグループに属する画像群にもっとも多く関連付けられたイベントの内容に応じてアイコンを選択し、その選択されたアイコンに対応するイベント、例えば、昼寝の場合には、寝顔が写っている画像に重要度を加点するなど、重要度算出方法を変更することで画像の選択をすることも可能である。

また、上述の重要度の計算の際には、例えば、笑顔での点数加算も笑顔の割合に応じて点数を変化させるなどの様々な点数の設定方法の設定は可能であり、また、上述の重要度算出条件すべてを利用する、一部分の条件を利用しないなどといった設定をすることによって重要度算出方法を設定することが可能である。

また、コメントやイベント情報の表示の方法は、図１８、１９で示した表示形態に限らず、コメント、画像、イベント、アイコンのそれぞれの配置、デザインは変更可能である。画像の上にコメントやイベント、アイコンを重畳させたり、画像を切り取ったりするなどの加工も可能である。

上述のように画像、コメント情報、イベント情報を情報記憶手段４０の制御部４６で配置した画像配置情報を通信部４７通じてネットワーク６を利用して、コメント記録手段３０の表示部３２やイベント記録手段１０の表示部１２、画像記録手段２０の表示部２２で表示させるようにする。その場合には、それぞれ、コメント記録手段３０は、通信部３７から取得した情報を表示部３２に表示させるように制御部３６が制御し、イベント記録手段１０の表示部１２で通信部１７が取得した情報を表示させるように、制御部１６が制御する。また、画像記録手段２０の表示部２２でも表示させる場合には、通信部２７から情報を取得し、表示部２２で表示させるように制御部２６が制御する。画像配置情報とは、画像やイベント情報、コメント情報が配置された表示画面を１つの画像としたデータでもよいし、配置画面の背景データと配置する画像、イベント情報及びコメント情報などとその背景データと画像、イベント情報及びコメント情報との位置の関係性を示したデータで構成させていてもよい。

通信部４７から送信された画像配置情報は、所望のどんな機器でも取得できるようにしてもよく、ネットワークを通じて、例えば、もしくは、図示しないプリンタなどに情報を出力して、印刷し、閲覧できるようにする。また、他の図示しないＰＣなどの端末機に情報を送信するようにしてもよい。その際には、セキュリティー上暗号などをかけて、送信することが好ましい。

（本実施の形態による効果）
以上のことにより、
撮影した画像を撮影画像に関連した情報に基づいて選択し、自動的にアルバムを作成することができる。また作成したアルバムを表示、印刷することができる。
また、アルバムに掲載される写真を選択するために、画像とは別に記録されたコメントの情報を用いて、より重要と思われる画像を選択することができる。

＜その他の実施の形態＞
イベント記録手段１０、画像記録手段２０、コメント記録手段３０は同一の機器でもよい。図２２に、イベント記録手段１０、画像記録手段２０、コメント記録手段３０を備えている機器の場合の表示例を示す。画像記録手段２０を起動させるときには撮影アイコン７００を、イベント記録手段１０またはコメント記録手段３０を起動させる場合にはコメント入力アイコン７０１を、またアルバムの閲覧をする場合には、アルバム閲覧アイコン７０３をそれぞれ選択する。情報記憶手段４０もイベント記録手段１０、画像記録手段２０、コメント記録手段３０のいずれか、もしくはすべてを備える機器であるとしたとき、、情報記憶手段４０の働きはそれぞれの制御部、記憶部が行ってもよい。

関連度算出部、画像関連度算出部、グループ設定部、表示範囲設定部、画像数決定部、重要度決定部、画像配置部、出力部は、いずれの機器が備えてもよく、情報記憶手段４０に限定されるものではない。他の機器で一部を担う場合には、それぞれの制御部、記憶部を利用し、データはネットワーク６上を利用してやり取りすることで本発明を実施することが可能である。

実施例１では、保育環境での実施例で説明したが、様々な環境のアルバム作成にも利用できる。例えば、旅行の記録に用いる場合には、実施例に記載したイベント情報の内容を「食事」、「観行地到着」、「ホテル到着」等に変更し、画像の重要度を算出するために「対象人物の顔」に関するものから、「人物が写りこんでいない写真」などに変更することによって、同等の効果を得ることができる。

また、ペット預かり施設で用いる場合には、イベント情報の内容を「お散歩」、「ごはん」、「トリミング」等に変更し、画像の重要度算出の際には「ペットの顔の位置・大きさ」等に置き換えることで、同等の効果を得ることができる。その他にも、工業プラント点検報告書作成支援のために用いることもできる。この場合には、イベント情報を「正常」、「異常」、「検査」などにして、「異常」のイベントと関連付けられた画像や、コメントに異常のレベルを記述し、レベルの高いコメントと関連付けられた画像の重要度を上げることで、重要な異常を抽出した報告書を作成することができる。

なお、本発明は、各実施形態および各変形例を矛盾しない限度で任意に組み合わせたもの、さらに本発明の要旨を変更しない範囲で各実施形態、各変形例、及びそれらを組み合わせたものに変更を加えたものを含む。また、本発明は、各実施形態、各変形例、及びそれらを組み合わせたものに係る方法に含まれるステップをコンピュータに実行させるプログラムとして実現されてもよい。さらに、本発明は、そのようなプログラムがコンピュータに読み取り可能に記録された記憶媒体として実現されてもよい。

１ 画像情報処理システム
６ ネットワーク
１０ イベント記録手段
２０ 画像記録手段
３０ コメント記録手段
４０ 情報記憶手段
４６ 制御手段
１００ イベント情報
２００ 画像記録情報
３００ コメント情報
５００ デザイン情報

Claims (1)

1. 撮影手段によって撮影された画像と、ユーザによって入力されたコメント情報又はイベント情報の少なくとも一方とを記憶する記憶する記憶部と、
   各々の前記画像と前記イベント情報又はコメント情報のすくなくとも一方との関連度を算出する関連度算出部と、
   前記撮影手段によって撮影された画像毎に前記関連度算出部で算出された関連度を基に前記画像同士の関連度である画像関連度を算出する画像関連度算出部と、
   前記画像関連度を基に前記撮影された画像をグループ分けするグループ設定部と、
   前記グループごとの画像の数に応じて表示する表示範囲を設定する表示範囲設定部と、
   前記表示範囲内に配置される表示画像数を決定する画像数決定部と、
   前記グループ内の画像ごとに重要度を決定する重要度決定部と、
   前記画像数決定部において決定された表示画像数に対応する画像は前記重要度の高い画像を優先的に配置することを特徴とする画像配置部と、
   前記画像配置部で配置した配置情報を出力する出力部と、を有する画像情報処理システム。

Images