JP2016004362A - 情報付与方法及び情報付与装置 - Google Patents

Abstract

【課題】画像へ付加情報を付与する際に利用者に生じる負担を軽減する情報付与方法及び装置を提供する。
【解決手段】利用者が撮像する第１画像とほぼ同時に、第１画像とは異なる方向の第２画像を撮像し、第２画像から対象物を検出し、検出した対象物の特徴量を抽出し、抽出した特徴量から利用者情報を取得し、取得した利用者情報を利用者に確認して、確認結果のフィードバックを得るとともに、フィードバックにより特徴量データベース２０２を更新するとともに、確認した利用者情報を第１画像に付加情報として付与する。
【選択図】図１

Description

本発明は、画像に対して付加情報を付与する技術に関する。

従来から、カメラ等で撮像した画像を分類、整理、検索等するために、画像の付加情報が利用されている。画像の付加情報には、手動追加情報、位置情報及び人物情報がある。

手動追加情報は、利用者の手作業によって画像に付与される情報である。利用者は、撮像した画像を直接観察する作業、被写体や撮像場所を判別する作業、画像へ付加情報をタグとして付与する作業等を手動で行う。利用者は、個人の趣味趣向に合わせて付加情報を画像へ付与し、細かく分類し管理する。
位置情報は、撮像が行われた場所を表す。位置情報は、例えばＧＰＳ（Global Positioning System）センサによって取得される。このようなＧＰＳセンサは、例えばカメラに備えられてもよい。この場合、ＧＰＳセンサによって取得された位置情報は、撮像された画像へ直接付与されてもよい（例えば非特許文献１参照）。

人物情報は、画像中に撮像されている人物に関する情報である。人物情報は、例えば顔認識技術を用いて自動で判別されてもよい（例えば非特許文献２参照）。
非特許文献１又は非特許文献２に記載された技術が用いられた場合、利用者は、手動で多くの作業を行うことなく、画像に対して付与された付加情報を利用できる。

玉田大輔、中西英之、「ＧＰＳ・カメラ付き携帯電話を用いたユーザ生成型写真地図構築実験」、ＨＣＩ（ヒューマンコンピュータインタラクション）研究会報告、情報処理学会、２００７年、num. 99、p. 39―46 Paul Viola, and Michael J. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features.", In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2001.

しかしながら、手動追加情報を多くの画像に付与する場合には、利用者は多くの作業を行う必要があった。すなわち、手動追加情報を画像に付与する際には、利用者に作業の面で大きな負担が生じるという問題があった。
また、位置情報を自動的に画像に付与するためには、ＧＰＳセンサを備えたカメラを用意する必要があった。したがって、利用者にコストの面で大きな負担が生じるという問題があった。
そのため、利用者に大きな負担を生じさせることなく利用できる付加情報は、人物情報に限られていた。

上記事情に鑑み、本発明は、画像へ付加情報を付与する際に利用者に生じる負担を軽減することを可能とする技術を提供することを目的としている。

本発明の一態様は、利用者が撮像する第１画像とほぼ同時に、前記第１画像とは異なる方向の第２画像を撮像する撮像ステップと、前記第２画像に基づいて、前記第２画像に関する情報を取得する取得ステップと、前記第２画像に関する情報を付加情報として前記第１画像に付与する付与ステップと、を有する情報付与方法である。

本発明の一態様は、利用者が撮像する第１画像とほぼ同時に、前記第１画像とは異なる方向の第２画像を撮像する撮像部と、前記第２画像に基づいて、前記第２画像に関する情報を取得する取得部と、前記第２画像に関する情報を付加情報として前記第１画像に付与する付与部と、を有する情報付与装置である。

本発明により、画像へ付加情報を付与する際に利用者に生じる負担を軽減することが可能となる。

本発明の一実施形態の画像処理システムのシステム構成を示すブロック図である。 端末１００の概観の具体例を示す図である。 利用者が端末１００を利用して画像を撮像する様子を示す図である。 図３の状況で撮像された第１画像及び第２画像の具体例を示す図である。 第一解析処理が実装された場合の処理の流れを表すシーケンス図である。 第二解析処理又は第三解析処理が実装された場合の処理の流れを表すシーケンス図である。 本発明の一実施形態の画像処理システムのシステム構成を示すブロック図である。 本発明の一実施形態の画像処理システムのシステム構成を示すブロック図である。

図１は、本発明の一実施形態の画像処理システムのシステム構成を示すブロック図である。画像処理システムは、端末１００、処理サーバ２００及び画像データベース３００を備える。端末１００と、処理サーバ２００及び画像データベース３００とは、ネットワークを介して相互に通信可能に接続されている。

端末１００は、例えば携帯電話機、ＰＤＡ（Personal Digital Assistant）、スマートフォン、タブレット、パーソナルコンピュータ等のカメラ機能を備えた通信可能な情報端末装置である。端末１００は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備える。端末１００は、プログラムを実行することによって、第１撮像部１０１、第２撮像部１０２、画像取得部１０３、制御部１０４、通信部１０５、表示部１０６及び入力部１０７を備える装置として機能する。

第１撮像部１０１は、レンズや撮像素子等を備えたカメラを用いて構成される。第１撮像部１０１は、利用者の撮像動作に応じて画像を撮像する。第１撮像部１０１は、撮像した画像を画像取得部１０３へ出力する。

第２撮像部１０２は、レンズや撮像素子等を備えたカメラを用いて構成される。第２撮像部１０２は、第１撮像部１０１とは異なる方向の画像を撮像する。第２撮像部１０２は、利用者の撮像動作に応じて、第１撮像部１０１が画像を撮像するのとほぼ同時に画像を撮像する。第２撮像部１０２は、利用者及び利用者の背景を含む画像を撮像する。第２撮像部１０２は、撮像した画像を画像取得部１０３へ出力する。

画像取得部１０３は、第１撮像部１０１が撮像した画像に対して画像処理を行い、画像データ（以下、「第１画像」という。）を取得する。画像処理とは、例えば暗電流補正や画像圧縮などの処理である。画像取得部１０３は、第２撮像部１０２が撮像した画像に対して画像処理を行い、画像データ（以下、「第２画像」という。）を取得する。画像取得部１０３は、第１画像及び第２画像を制御部１０４へ送信する。

制御部１０４は、第１画像及び第２画像を画像取得部１０３から取得する。制御部１０４は、第２画像を処理サーバ２００へ送信する。制御部１０４は、第２画像に基づいて取得された情報を処理サーバ２００から受信する。制御部１０４は、受信された情報を付加情報として第１画像に付与する。制御部１０４は、付加情報をメタデータとして画像へ直接付与してもよい。例えば、第１画像がＥＸＩＦ（Exchangeable Image File Format）情報を保存することが可能な場合、制御部１０４は、付加情報をＥＸＩＦ情報として第１画像へ付与してもよい。ＥＸＩＦ情報を保存することが可能な画像データの具体例として、ＴＩＦＦ（Tagged Image File Format）、ＪＰＥＧ（Joint Photographic Experts Group）がある。

通信部１０５は、処理サーバ２００及び画像データベース３００と通信する。処理サーバ２００及び画像データベース３００との通信の一部又は全部は、無線通信で行われてもよいし、有線通信で行われてもよい。

表示部１０６は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の画像表示装置である。表示部１０６は、画像表示装置を端末１００に接続するためのインタフェースであってもよい。この場合、表示部１０６は、画像を表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。

入力部１０７は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置を用いて構成される。入力部１０７は、利用者が操作指示を端末１００に入力する際に利用者によって操作される。操作指示とは、例えば画像の撮像の指示である。入力部１０７は、入力装置を端末１００に接続するためのインタフェースであってもよい。この場合、入力部１０７は、入力装置において利用者の入力に応じ生成された入力信号を端末１００に入力する。

次に、処理サーバ２００の機能構成について説明する。処理サーバ２００は、端末１００に対してサービスを提供する情報処理装置である。処理サーバ２００は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備える。処理サーバ２００は、プログラムを実行することによって、通信部２０１、特徴量データベース２０２及び解析部２０３を備える装置として機能する。

通信部２０１は、端末１００と通信を行う。端末１００との通信の一部又は全部は、無線通信で行われてもよいし、有線通信で行われてもよい。

特徴量データベース２０２は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。特徴量データベース２０２は、画像から取得される特徴量と、その画像に関する情報とが対応付けられたテーブルを予め記憶している。

解析部２０３は、端末１００から第２画像を受信する。解析部２０３は、第２画像の解析処理を行う。解析処理は、画像から対象物を検出する処理（以下、「対象物検出処理」という。）と、検出された対象物を分析する処理（以下、「対象物分析処理」という。）とを含む。対象物とは、例えば人物の全体又は一部（例えば顔部分）、ランドマーク（特徴的な構造物）又は背景である。

以下、解析部２０３が行う解析処理の３つの具体例（第一解析処理、第二解析処理及び第三解析処理）について説明する。なお、解析処理において特徴点が抽出される際には、以下の参考文献１に記載されているＳＵＲＦの技術が用いられてもよい。
参考文献１：Herbert Bay, et al., “Speeded-up robust features (SURF)”, Computer vision ECCV2006, p.404-417, 2006.

（第一解析処理）
第一解析処理では、対象物は人物の顔部分である。第一解析処理が行われる場合、特徴量データベース２０２には、顔の特徴量を示す情報と、その顔の人物を表す識別情報（以下、「利用者情報」という。）とが対応付けられて登録されている。
解析部２０３は、対象物検出処理において、第２画像から人物の顔部分を検出する。解析部２０３は、画像から人物の顔部分を検出する手法として、haar-likeの方法（例えば非特許文献２参照）を用いてもよい。
解析部２０３は、対象物分析処理において、検出された顔の特徴量を取得する。解析部２０３は、特徴量データベース２０２を参照し、取得された特徴量に対応付けられた利用者情報を取得する。

（第二解析処理）
第二解析処理では、対象物は人物の顔部分である。解析部２０３は、対象物検出処理において、第２画像から人物の顔部分を検出する。解析部２０３は、対象物分析処理において、検出された顔部分の表情に基づいて感情を解析する。画像の顔部分から感情を分析する処理は、既存の技術を用いて行われる。

（第三解析処理）
第三解析処理では、対象物はランドマーク又は背景である。解析部２０３は、対象物検出処理において、第２画像からランドマーク部分又は背景部分を検出する。解析部２０３は、対象物分析処理において、検出されたランドマーク部分又は背景部分に基づいて、撮像場所に関する情報を取得する。撮像場所に関する情報を取得する処理は、既存の技術を用いて行われる。例えば、東京タワーやスカイツリー等のようなランドマークが検出された場合、解析部２０３は、検出されたランドマークの名称（東京タワー、スカイツリー）を撮像場所に関する情報として取得してもよいし、検出されたランドマークが位置する土地名（芝、押上、東京、日本）を撮像場所に関する情報として取得してもよい。例えば、海や山などの背景が検出された場合、解析部２０３は、検出された背景を示す情報（海、山）を撮像場所に関する情報として取得してもよい。

画像データベース３００は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。画像データベース３００は、端末１００によって撮像された画像を記憶する。

図２は、端末１００の概観の具体例を示す図である。
第１撮像部１０１と第２撮像部１０２とは、それぞれ異なる方向の画像を撮像するように配置される。図２の例では、第１撮像部１０１と第２撮像部１０２とは、１８０度異なる方向を撮像するように配置されている。表示部１０６には、第１撮像部１０１又は第２撮像部１０２によって撮像される画像を示す画面（プレビュー画面）が表示される。利用者は、一般的に、プレビュー画面を見ながら撮像を行う。そのため、第２撮像部１０２によって撮像される第２画像には、利用者の画像が含まれることが多い。その一方で、第１撮像部１０１によって撮像される第１画像には、利用者が撮像しようとする画像が含まれることが多い。

図３は、利用者が端末１００を利用して画像を撮像する様子を示す図である。利用者６０１は、端末１００を操作して、被写体６０２を撮像する。図３の場合、利用者６０１は、端末１００の表示部１０６に表示された画像（第１撮像部１０１のプレビュー画面の画像）を確認しながら撮像する。そのため、第２画像には、利用者６０１の顔の画像や、利用者６０１が位置する場所の画像が含まれる。

図４は、図３の状況で撮像された第１画像及び第２画像の具体例を示す図である。図４（Ａ）は、第１画像の具体例を示す。図４（Ｂ）は、第２画像の具体例を示す。第１画像には、被写体６０２の顔部分の画像が含まれている。第２画像には、利用者６０１の顔部分の画像が含まれている。

図５は、第一解析処理が実装された場合の処理の流れを表すシーケンス図である。
まず、端末１００が、利用者の操作に応じて第１画像及び第２画像を撮像する（ステップＳ１０１）。上述したように、端末１００は、第１画像及び第２画像をほぼ同時に撮像する。端末１００の制御部１０４は、通信部１０５を介して、第２画像を処理サーバ２００へ送信する（ステップＳ１０２）。

処理サーバ２００の解析部２０３は、第２画像を受信する。解析部２０３は、第２画像に対して第一解析処理を行う。解析部２０３は、対象物検出処理において、第２画像から人物の顔部分の画像を検出する（ステップＳ１０３）。解析部２０３は、対象物分析処理において、検出された顔部分から特徴量を抽出する（ステップＳ１０４）。解析部２０３は、抽出された特徴量に基づいて利用者情報を取得する（ステップＳ１０５）。解析部２０３は、第２画像の解析結果（利用者情報）を端末１００へ送信する（ステップＳ１０６）。

制御部１０４は、処理サーバ２００から受信された利用者情報が正しいか否かを利用者に確認する（ステップＳ１０７）。例えば、制御部１０４は、受信された利用者情報を表示部１０６に表示する。利用者は、端末１００の入力部１０７を操作して、表示された利用者情報が正しいか否かを入力する。なお、利用者情報が受信されなかった場合、制御部１０４は、利用者情報の入力を利用者に要求してもよい。

制御部１０４は、利用者によって確認された利用者情報を処理サーバ２００へ送信することによって、確認結果をフィードバックする（ステップＳ１０８）。制御部１０４は、利用者情報が利用者によって入力された場合、入力された利用者情報を処理サーバ２００へ送信してもよい。
解析部２０３は、端末１００から受信された確認結果に基づいて特徴量データベース２０２を更新する（ステップＳ１０９）。
なお、図５において、上記のステップＳ１０７からステップＳ１０９までの処理は省略されてもよい。

制御部１０４は、利用者情報を付加情報として第１画像に付与する（ステップＳ１１０）。制御部１０４は、付加情報が付与された第１画像を画像データベース３００へ送信する（ステップＳ１１１）。

画像データベース３００は、端末１００から受信された第１画像を記憶する（ステップＳ１１２）。

図６は、第二解析処理又は第三解析処理が実装された場合の処理の流れを表すシーケンス図である。図６において、図５と同じ処理については同じ符号を付している。
まず、第二解析処理が実装された場合の処理の流れについて説明する。
まず、端末１００が、利用者の操作に応じて第１画像及び第２画像を撮像する（ステップＳ１０１）。上述したように、端末１００は、第１画像及び第２画像をほぼ同時に撮像する。端末１００の制御部１０４は、通信部１０５を介して、第２画像を処理サーバ２００へ送信する（ステップＳ１０２）。
処理サーバ２００の解析部２０３は、第２画像を受信する。解析部２０３は、第２画像に対して第二解析処理を行う。解析部２０３は、対象物検出処理において、第２画像から人物の顔部分の画像を検出する（ステップＳ２０１）。解析部２０３は、対象物分析処理において、検出された顔部分から特徴量を抽出する（ステップＳ２０２）。解析部２０３は、抽出された特徴量に基づいて利用者の感情を表す情報を取得する（ステップＳ２０３）。解析部２０３は、第２画像の解析結果（感情を表す情報）を端末１００へ送信する（ステップＳ２０４）。

制御部１０４は、処理サーバ２００から受信された情報を第１画像に付加情報として付与する（ステップＳ２０５）。制御部１０４は、付加情報が付与された第１画像を画像データベース３００へ送信する（ステップＳ１１１）。
画像データベース３００は、端末１００から受信された第１画像を記憶する（ステップＳ１１２）。

次に、第三解析処理が実装された場合の処理の流れについて説明する。
まず、端末１００が、利用者の操作に応じて第１画像及び第２画像を撮像する（ステップＳ１０１）。上述したように、端末１００は、第１画像及び第２画像をほぼ同時に撮像する。端末１００の制御部１０４は、通信部１０５を介して、第２画像を処理サーバ２００へ送信する（ステップＳ１０２）。
処理サーバ２００の解析部２０３は、第２画像を受信する。解析部２０３は、第２画像に対して第三解析処理を行う。解析部２０３は、対象物検出処理において、第２画像からランドマーク部分又は背景部分を検出する（ステップＳ２０１）。解析部２０３は、対象物分析処理において、検出されたランドマーク部分又は背景部分から特徴量を抽出する。抽出される特徴量は、例えばランドマークの形状や模様を表す情報であってもよいし、背景の色や色の分布を表す情報であってもよい（ステップＳ２０２）。解析部２０３は、抽出された特徴量に基づいて、撮影場所に関する情報を取得する（ステップＳ２０３）。解析部２０３は、第２画像の解析結果（撮像場所に関する情報）を端末１００へ送信する（ステップＳ２０４）。

制御部１０４は、処理サーバ２００から受信された情報を第１画像に付加情報として付与する（ステップＳ２０５）。制御部１０４は、付加情報が付与された第１画像を画像データベース３００へ送信する（ステップＳ１１１）。
画像データベース３００は、端末１００から受信された第１画像を記憶する（ステップＳ１１２）。

このように構成された画像処理システムでは、第１画像とは異なる方向を撮像することによって第２画像が得られる。第２画像には、例えば利用者（撮像を行う者）の顔や、利用者が位置する場所の風景が含まれる。そして、第２画像に基づいて得られる情報が第１画像に付加情報として付与される。そのため、利用者に大きな負担を生じさせることなく第１画像に付加情報を付与することが可能となる。
より具体的には以下のとおりである。上述の画像処理システムでは、利用者は、通常の画像撮像の操作を行うだけで、付加情報を第１画像へ付与することができる。そのため、利用者は、付加情報を画像に付与するための特殊な作業を行う必要がない。また、利用者は、ＧＰＳセンサを備えたカメラを用意する必要がない。

上述した実施形態における端末１００及び処理サーバ２００をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

＜変形例＞
図１に示した実施形態において、特徴量データベース２０２は、処理サーバ２００に備えられていたが、別の情報処理装置に構築されていてもよい。図７は、本発明の一実施形態の画像処理システムのシステム構成を示すブロック図である。図７において、画像処理システムは、端末１００、処理サーバ２００ａ、画像データベース３００及び特徴量データベース４００を備える。処理サーバ２００ａと特徴量データベース４００とはネットワークを介して互いに通信可能である。

処理サーバ２００ａは、特徴量データベース２０２を備えない点を除けば、処理サーバ２００と同様の構成である。
特徴量データベース４００は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。特徴量データベース４００は、処理サーバ２００が備える特徴量データベース２０２と同様の構成である。

図１に示した実施形態において、処理サーバ２００及び画像データベース３００は端末１００とは異なる装置に構築されていたが、端末１００に構築されていてもよい。図８は、本発明の一実施形態の画像処理システムのシステム構成を示すブロック図である。図８において、画像処理システムは、端末１００ａを備える。

端末１００ａは、通信部１０５を必要としない点、制御部１０４に代えて制御部１０４ａを備える点、特徴量データベース１０８、解析部１０９及び画像データベース１１０をさらに備える点、において端末１００と異なる。制御部１０４ａは、通信部を介することなく、解析部１０９に第２画像の解析処理を依頼する。制御部１０４ａは、通信部を介することなく、付加情報が付与された第１画像を画像データベース１１０に記憶させる。

第１撮像部１０１及び第２撮像部１０２が画像を同時に撮像するのが困難な場合には、第１撮像部１０１が画像を撮像した後に、第２撮像部が逐次的に画像を撮像してもよい。例えば、第１撮像部１０１又は第２撮像部１０２のカメラのセンサが高解像度である場合、撮像された画像のデータサイズは大きい。この場合、端末１００は、撮像画像データを転送するために広い帯域（すなわち、早い通信速度）を必要とする。端末１００のデータ転送の帯域が撮像画像のデータサイズに対して十分に広くない場合、端末１００は、第１撮像部１０１及び第２撮像部１０２の画像を同時に転送することが困難である。したがって、端末１００は、第１撮像部１０１及び第２撮像部１０２で同時に画像を撮像することが困難である。このような場合などは、上述したように必ずしも同時に撮像がなされる必要はない。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１００…端末， ２００…処理サーバ， ３００…画像データベース， ４００…特徴量データベース， １０１…第１撮像部， １０２…第２撮像部， １０３…画像取得部， １０４…制御部， １０５…通信部， １０６…表示部， １０７…入力部， １０８…特徴量データベース， １０９…解析部， １１０…画像データベース， ２０１…通信部， ２０２…特徴量データベース， ２０３…解析部， ６０１…利用者， ６０２…被写体

Claims (2)

1. 利用者が撮像する第１画像とほぼ同時に、前記第１画像とは異なる方向の第２画像を撮像する撮像ステップと、
   前記第２画像に基づいて、前記第２画像に関する情報を取得する取得ステップと、
   前記第２画像に関する情報を付加情報として前記第１画像に付与する付与ステップと、
   を有する情報付与方法。
2. 利用者が撮像する第１画像とほぼ同時に、前記第１画像とは異なる方向の第２画像を撮像する撮像部と、
   前記第２画像に基づいて、前記第２画像に関する情報を取得する取得部と、
   前記第２画像に関する情報を付加情報として前記第１画像に付与する付与部と、
   を有する情報付与装置。

Images