JP2013207356A - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2013207356A
JP2013207356A JP2012071331A JP2012071331A JP2013207356A JP 2013207356 A JP2013207356 A JP 2013207356A JP 2012071331 A JP2012071331 A JP 2012071331A JP 2012071331 A JP2012071331 A JP 2012071331A JP 2013207356 A JP2013207356 A JP 2013207356A
Authority
JP
Japan
Prior art keywords
user
image
composition
information processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012071331A
Other languages
English (en)
Inventor
Ryo Fukazawa
遼 深澤
Shunichi Kasahara
俊一 笠原
Shu Shigeta
脩 繁田
Seiji Suzuki
誠司 鈴木
Maki Mori
麻紀 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012071331A priority Critical patent/JP2013207356A/ja
Priority to PCT/JP2013/001868 priority patent/WO2013145639A1/en
Priority to EP19173080.3A priority patent/EP3557386B1/en
Priority to IN7841DEN2014 priority patent/IN2014DN07841A/en
Priority to BR112014023288A priority patent/BR112014023288A2/pt
Priority to EP13714003.4A priority patent/EP2831702B1/en
Priority to CN201380015427.2A priority patent/CN104185830A/zh
Priority to EP17171374.6A priority patent/EP3239814B1/en
Priority to US14/386,120 priority patent/US10303936B2/en
Publication of JP2013207356A publication Critical patent/JP2013207356A/ja
Priority to US16/390,485 priority patent/US10713480B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/63—Static or dynamic means for assisting the user to position a body part for biometric acquisition by static guides
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C11/00—Arrangements, systems or apparatus for checking, e.g. the occurrence of a condition, not provided for elsewhere

Abstract

【課題】ユーザにとってより利便性が高い表示画像を決定する。
【解決手段】撮像画像を取得する画像取得部と、前記撮像画像をもとにしたユーザの認識結果と前記ユーザの目的地を示す情報とに基づいて構図を判定する構図判定部と、前記構図判定部により判定された前記構図に基づいて表示画像を決定する画像決定部と、を備える、情報処理装置が提供される。
【選択図】図１

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。
近年、撮像方向を制御する技術が開発されている。例えば、被写体に所定パターンの点滅信号を発光する発光体を取り付け、この所定パターンの点滅信号を検出した場合に、検出結果に基づいて被写体の位置を特定し、被写体の位置を用いて撮像方向を制御する技術が開示されている（例えば、特許文献１参照）。この技術によれば、被写体が撮像画像内に収まる構図となるように撮像画像が生成される。
発光体を被写体に取り付ける技術だけではなく、被写体が撮像画像内に収まる構図となるように撮像画像を生成する技術には、様々な技術が存在する。
特開２００４−１５３６７４号公報
しかしながら、携帯端末のユーザが撮像される場合、ユーザが撮像画像内に収まる構図とするだけでは構図として十分ではない場合も想定される。例えば、ユーザが目的地に向かって移動する場合、目的地の位置も考慮された上で構図が判定されれば、ユーザにとって利便性が高い表示画像が決定されることが期待される。したがって、ユーザにとってより利便性が高い表示画像を決定するための技術が実現されることが望ましい。
本開示によれば、撮像画像を取得する画像取得部と、前記撮像画像をもとにしたユーザの認識結果と前記ユーザの目的地を示す情報とに基づいて構図を判定する構図判定部と、前記構図判定部により判定された前記構図に基づいて表示画像を決定する画像決定部と、を備える、情報処理装置が提供される。
また、本開示によれば、撮像画像を取得することと、前記撮像画像をもとにしたユーザの認識結果と前記ユーザの目的地を示す情報とに基づいて構図を判定することと、前記構図に基づいて表示画像を決定することと、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを、撮像画像を取得する画像取得部と、前記撮像画像をもとにしたユーザの認識結果と前記ユーザの目的地を示す情報とに基づいて構図を判定する構図判定部と、前記構図判定部により判定された前記構図に基づいて表示画像を決定する画像決定部と、を備える情報処理装置として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、ユーザにとってより利便性が高い表示画像を決定することが可能である。
本実施形態の概要を説明するための図である。 本実施形態に係る情報処理システムの構成を示す図である。 本実施形態に係る情報処理装置の機能構成例を示すブロック図である。 情報処理装置が有するユーザ特定機能の概要を示す図である。 ユーザ特定に失敗した場合における携帯端末の表示例を示す図である。 ユーザ特定に成功した場合における携帯端末の表示例を示す図である。 ユーザ特定に失敗した場合における携帯端末の表示例を示す図である。 ユーザ特定に失敗した場合における携帯端末の表示例を示す図である。 ユーザ特定に失敗した場合における携帯端末の表示例を示す図である。 情報処理装置が有する構図判定機能の概要を示す図である。 第１のモード設定時における表示画像について説明するための図である。 第２のモード設定時における表示画像について説明するための図である。 表示画像の決定手法のバリエーションについて説明するための図である。 決定された表示画像の一例を示す図である。 情報処理装置による構図判定動作の流れを示すフローチャートである。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更機能の一例を示す図である。 情報処理装置による表現変更動作の流れを示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．ユーザ特定機能
２．構図判定機能
３．表現変更機能
４．むすび
本実施形態に係る情報処理装置が有する機能は、ユーザ特定機能、構図判定機能および表現変更機能に大別される。まず、各機能について説明する前に、各機能の前提となる条件について説明する。
図１は、本実施形態の概要を説明するための図である。図１に示すように、携帯端末２０を有するユーザＵが実空間に存在している。ユーザＵは実空間内のどこに存在していてもよい。また、携帯端末２０には画像を表示する機能が設けられており、ユーザＵは携帯端末２０により表示された画面を閲覧することが可能である。ユーザＵは、携帯端末２０とは別に設けられている撮像装置３０により撮像される。撮像装置３０が設けられる位置は特に限定されないが、例えば、監視カメラのように建物内に取り付けられていてもよいし、乗り物などの移動体に取り付けられていてもよい。また、撮像装置３０の種類は特に限定されないが、例えば、赤外線カメラなどであってもよい。
図２は、本実施形態に係る情報処理システムの構成を示す図である。図２に示すように、情報処理システム１は、情報処理装置１０と携帯端末２０と撮像装置３０とを備えている。図２には、情報処理装置１０と携帯端末２０とがネットワーク４０を介して接続されている例が示されているが、ネットワーク４０に接続される携帯端末２０は１つでなくてもよい。例えば、携帯端末２０が複数存在し、複数の携帯端末２０の各々がネットワーク４０に接続されていてもよい。
また、図２に示したように、情報処理装置１０と撮像装置３０とも接続されている。図２に示した例では、１つの撮像装置３０が情報処理装置１０に接続されているが、撮像装置３０は１つでなくてもよい。例えば、撮像装置３０が複数存在し、複数の撮像装置３０の各々が情報処理装置１０に接続されていてもよい。
また、図２に示した例では、情報処理装置１０は、携帯端末２０および撮像装置３０と別体に構成されているが、携帯端末２０に組み込まれていてもよいし、撮像装置３０に組み込まれていてもよい。撮像装置３０により撮像された撮像画像は情報処理装置１０を介して携帯端末２０に提供され、携帯端末２０は撮像画像を表示することが可能である。情報処理装置１０は、撮像装置３０から提供される撮像画像を用いて、ユーザ特定機能、構図判定機能および表現変更機能を発揮することができる。
図３は、本実施形態に係る情報処理装置１０の機能構成例を示すブロック図である。図３に示したように、情報処理装置１０は、処理制御部１００、表示制御部１６０および記憶部５０を備える。また、処理制御部１００は、画像取得部１１１、パラメータ取得部１１２、候補抽出部１１３、特定部１１４および認証部１１５を備える。画像取得部１１１、パラメータ取得部１１２、候補抽出部１１３、特定部１１４および認証部１１５は、主に、情報処理装置１０が有するユーザ特定機能に関わるブロックである。
また、処理制御部１００は、認識部１２１、条件判定部１２２、情報付加部１２３、モード設定部１２４、構図判定部１２５および画像決定部１２６を備える。処理制御部１００は、認識部１２１、条件判定部１２２、情報付加部１２３、モード設定部１２４、構図判定部１２５および画像決定部１２６は、主に、情報処理装置１０が有する構図判定機能に関わるブロックである。
また、処理制御部１００は、変更検出部１３１および表現変更部１３２を備える。変更検出部１３１および表現変更部１３２は、主に、情報処理装置１０が有する表現変更機能に関わるブロックである。
処理制御部１００および表示制御部１６０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのプロセッサに相当する。処理制御部１００および表示制御部１６０は、記憶部５０または他の記憶媒体に記憶されるプログラムを実行することにより、処理制御部１００および表示制御部１６０が有する様々な機能を発揮する。
記憶部５０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、処理制御部１００および表示制御部１６０による処理のためのプログラムおよびデータを記憶する。例えば、記憶部５０は、物体認識のために使用される特徴量辞書を記憶する。さらに、記憶部５０は、物体認識の結果として生成される認識結果を記憶することもできる。図３に示した例では、記憶部５０が情報処理装置１０に組み込まれているが、記憶部５０と情報処理装置１０とは別体に構成されてもよい。
以上、各機能の前提について説明した。以下では、これらの各機能について順を追って説明する。
＜１．ユーザ特定機能＞
まず、情報処理装置１０が有するユーザ特定機能について説明する。図４は、情報処理装置１０が有するユーザ特定機能の概要を示す図である。まず、画像取得部１１１は、撮像装置３０により撮像された撮像画像を取得する。図４に示した例では、撮像画像の例として、図１に示された実空間が撮像された撮像画像Ｉｍｇが画像取得部１１１により取得されている。画像取得部１１１により取得された撮像画像は、携帯端末２０により表示されるように表示制御部１６０により制御される。
ユーザ特定機能によれば、画像取得部１１１により取得された撮像画像に映っている被写体からユーザが特定される。ユーザ特定の目的は特に限定されないが、ここでは、情報処理装置１０により何らかのネットワークサービスが提供されており、ユーザＵが携帯端末２０を介してネットワークサービスにログインするためにユーザの特定がなされることを想定している。
ネットワークサービスの種類も特に限定されないが、ここでは、ネットワークサービスへのログインが完了している携帯端末を用いて、ユーザ自身がメッセージの書き込みを行ったりユーザ自身や他のユーザが書き込んだメッセージを閲覧したりすることができるサービスを想定している。ユーザの特定がなされるタイミングは特に限定されないが、例えば、ユーザによってユーザ特定を要求するための操作が携帯端末２０に対してなされたときであってもよい。ユーザ特定を要求するための操作は、ネットワークサービスへのログインを要求するための操作であってもよい。
撮像画像に映っている被写体からユーザを特定するため、パラメータ取得部１１２は、特定すべきユーザに関するパラメータを取得する。パラメータ取得部１１２によりパラメータが取得されるタイミングは特に限定されないが、例えば、ユーザが有する携帯端末２０からあらかじめ取得されてもよいし、ユーザの特定がなされる際に携帯端末２０から取得されてもよい。
パラメータ取得部１１２により取得されるパラメータの種類は特に限定されない。例えば、図４に示すように、パラメータ取得部１１２は、ユーザの顔画像をパラメータＰ１として取得してもよいし、ユーザの動きを示すセンサデータをパラメータＰ２として取得してもよい。ユーザの顔画像を撮像する装置は特に限定されない。ユーザの顔画像は、例えば、携帯端末２０により撮像された顔画像であってもよいし、他の装置によって撮像された顔画像であってもよい。
また、ユーザの動きを検出するセンサは特に限定されない。ユーザの動きを検出するセンサは、加速度センサであってもよいし、ＧＰＳ信号の受信センサであってもよいし、Ｗｉ−ｆｉ基地局から送信される電波の受信センサであってもよい。また、ユーザの動きを検出するセンサは、携帯端末２０に組み込まれていてもよいし、ユーザの身体に取り付けられていてもよい。
特定部１１４によるユーザの特定がなされる前に、候補抽出部１１３によりユーザの候補の特定がなされてもよい（ステップＳ１１）。例えば、携帯端末２０に入力されるユーザ操作（例えば、タッチパネルへのタッチ操作）により携帯端末２０に表示されている撮像画像上の座標が指定された場合、パラメータ取得部１１２はその座標を取得し、候補抽出部１１３は、その座標により選択される被写体（例えば、その座標に存在する被写体）をユーザの候補として特定してもよい。ユーザの候補を特定しておくことによりユーザの特定に要する負荷が軽減される。
特定部１１４は、パラメータ取得部１１２により取得されたパラメータに基づいて撮像画像からユーザの特定を試みる（ステップＳ１２）。例えば、特定部１１４は、パラメータ取得部１１２によりユーザの顔画像がパラメータＰ１として取得された場合には、画像取得部１１１により取得された撮像画像に映る被写体の顔領域とユーザの顔画像との照合に基づいて抽出される被写体をユーザとして特定すればよい。例えば、特定部１１４は、ユーザの顔画像と閾値を超える類似度の顔領域を有する被写体をユーザとして特定すればよい。
また、例えば、特定部１１４は、パラメータ取得部１１２によりユーザの動きを示すセンサデータがパラメータＰ２として取得された場合には、画像取得部１１１により取得された撮像画像から検出される被写体の動きとセンサデータとの照合に基づいて抽出される被写体をユーザとして特定すればよい。例えば、特定部１１４は、撮像画像におけるユーザの動きと閾値を超える類似度のセンサデータが検出された被写体をユーザとして特定すればよい。なお、ユーザの候補が特定されている場合には、特定部１１４は、ユーザの候補からパラメータに基づいてユーザを特定すればよい。
特定部１１４によりユーザの特定が試みられた結果、ユーザが特定されない状況も想定される。例えば、類似度が閾値を超えない場合などがそのような状況に該当する。したがって、表示制御部１６０は、特定部１１４によりユーザが特定されない場合、ユーザの特定に必要なユーザの動作を示す情報が携帯端末２０に表示されるように携帯端末２０を制御する。表示制御部１６０の制御に従って、携帯端末２０にはユーザの動作を示す情報が表示される（ステップＳ１３）。
図５は、ユーザ特定に失敗した場合における携帯端末２０の表示例を示す図である。例えば、表示制御部１６０は、特定部１１４によりユーザが特定されない場合、撮像装置側に顔を向けることを促す情報が携帯端末２０に表示されるように携帯端末２０を制御してもよい。図５には、撮像装置３０が監視カメラである場合を想定し、表示制御部１６０は、「監視カメラの方に顔を向けてください」というメッセージＭ１が携帯端末２０に表示されるように携帯端末２０を制御している例が示されている。
図４に戻って説明を続ける。特定部１１４によりユーザが特定された場合、ステップＳ１５に移行される前に、認証部１１５は、特定部１１４により特定された携帯端末２０に対する認証処理を行ってもよい（ステップＳ１４）。具体的には、認証部１１５は、例えば、図４に示したように、携帯端末２０に入力されるユーザ操作によりパスワードが入力された場合、入力されたパスワードとあらかじめ登録されているパスワードとが一致するか否かにより認証の成否を決めてもよい。認証が成功した場合にはステップＳ１５に移行されるが、認証が失敗した場合にはステップＳ１５に移行されずに再度認証処理が行われてもよい。
ステップＳ１５に移行された場合、例えば、ネットワークサービスへのログインを完了させ（ステップＳ１５）、表示制御部１６０は、携帯端末２０により撮像画像および付加情報が表示されるように携帯端末２０を制御する。表示制御部１６０の制御に従って、携帯端末２０には撮像画像および付加情報が表示される（ステップＳ１６）。付加情報は特に限定されないが、例えば、ユーザ自身や他のユーザが書き込んだメッセージであってもよい。
図６は、ユーザ特定に成功した場合における携帯端末２０の表示例を示す図である。例えば、表示制御部１６０は、特定部１１４によりユーザが特定された場合、撮像画像および付加情報が表示されるように携帯端末２０を制御する。図６には、表示制御部１６０が、付加情報として他のユーザが書き込んだメッセージが表示されるように携帯端末２０を制御している例が示されている。
なお、撮像装置側に顔を向けることを促す情報は、図５に示した例に限定されない。図７は、ユーザ特定に失敗した場合における携帯端末２０の表示例を示す図である。表示制御部１６０は、候補抽出部１１３により抽出されたユーザの候補の位置とあらかじめ設定された撮像装置３０の位置とに基づいて、ユーザの特定に必要なユーザの動作を示す情報が携帯端末２０に表示されるように携帯端末２０を制御してもよい。
例えば、図７に示すように、表示制御部１６０は、ユーザの候補の位置を基準として、ユーザの候補の向いている方向への直線および撮像装置３０の存在する方向への直線が携帯端末２０に表示されるように携帯端末２０を制御してもよい。また、図７に示すように、表示制御部１６０は、ユーザの候補の向いている方向への直線から撮像装置３０の存在する方向への直線への回転方向を示す矢印が携帯端末２０に表示されるように携帯端末２０を制御してもよい。また、図７に示すように、表示制御部１６０は、ユーザから見た場合の回転方向を示すメッセージとして「Ｔｕｒｎ Ｌｅｆｔ」というメッセージＭ２が携帯端末２０に表示されるように携帯端末２０を制御してもよい。
また、特定部１１４によりユーザが特定されない場合、ユーザを特定する手法が切り換えられてもよい。図８は、ユーザ特定に失敗した場合における携帯端末２０の表示例を示す図である。表示制御部１６０は、特定部１１４によりユーザが特定されない場合、他の特定手法によりユーザを特定する旨を示す情報が携帯端末２０に表示されるように制御してもよい。例えば、表示制御部１６０は、他の特定手法によりユーザを特定する旨を示す情報として「ユーザを特定する手法を切り換えます」というメッセージＭ３が携帯端末２０に表示されるように携帯端末２０を制御してもよい。特定部１１４は、他の特定手法により抽出される被写体をユーザとして特定すればよい。
例えば、特定部１１４は、撮像画像に映る被写体の顔領域とユーザの顔画像との照合に基づいて抽出される被写体をユーザとして特定するように試みたとする。この場合に、ユーザが特定されなかった場合には、特定部１１４は、撮像画像から検出される被写体の動きとセンサデータとの照合に基づいて抽出される被写体をユーザとして特定するように試みてもよい。また、逆の順序でユーザ特定が試みられてもよい。
また、特定部１１４によりユーザが特定されない場合、撮像画像に映る他の被写体とユーザとの動きの違いが明確になるようにユーザを促してもよい。このように促すことにより、特定部１１４は、規定されている正常な範囲を逸脱した動きの被写体が撮像画像から検出された場合に、その被写体をユーザと特定することができる。
図９は、ユーザ特定に失敗した場合における携帯端末２０の表示例を示す図である。例えば、表示制御部１６０は、特定部１１４によりユーザが特定されない場合、携帯端末２０を動かすことを促す情報がユーザの特定に必要なユーザの動作を示す情報として携帯端末２０に表示されるように携帯端末２０を制御してもよい。例えば、図９に示したように、表示制御部１６０は、携帯端末２０を動かすことを促す情報として「携帯端末を動かして下さい」というメッセージＭ４が携帯端末２０に表示されるように携帯端末２０を制御してもよい。
以上に説明したように、情報処理装置１０が有するユーザ特定機能によれば、携帯端末のユーザに関するパラメータに基づいて撮像画像からユーザを特定することが試みられ、表示制御部１６０は、ユーザが特定されない場合、ユーザの特定に必要なユーザの動作を示す情報が携帯端末２０に表示されるように制御される。このような制御により、撮像画像からユーザが容易に特定されることが期待される。
＜２．構図判定機能＞
続いて、情報処理装置１０が有する構図判定機能について説明する。図１０は、情報処理装置１０が有する構図判定機能の概要を示す図である。上記したように、撮像装置３０により撮像画像が撮像されると、撮像画像がユーザの携帯端末２０に表示される。ユーザは携帯端末２０に表示された撮像画像を閲覧することが可能である。ここでは、ユーザが撮像画像を閲覧しながら目的地に向かう場面を想定し、このようなユーザが閲覧する撮像画像として好ましい構図の判定について説明する。
まず、ユーザの目的地を示す情報が設定される。ユーザの目的地を示す情報は、携帯端末２０に入力されるユーザ操作により入力されてもよいし、携帯端末２０により実行されるアプリケーションにより設定されてもよい。ユーザの目的地を示す情報は、例えば、実空間における位置で表現される。ユーザの目的地を示す情報は、情報処理装置１０により取得される。構図判定部１２５は、画像取得部１１１により取得された撮像画像をもとにしたユーザの認識結果とユーザの目的地を示す情報とに基づいて構図を判定する。構図は、画像における物体の理想的な位置（あるいは物体の理想的な向き）を示す図である。
ユーザの認識結果は、ユーザの進行方向とユーザの実空間における位置とを少なくとも含んでいる。例えば、ユーザの認識結果は、認識部１２１により取得される。すなわち、認識部１２１は、撮像画像をもとにしてユーザを認識することにより認識結果を得る。図１０に示した例では、ユーザの実空間における位置がＰｕとして示され、ユーザの進行方向がＶ１として示され、ユーザの位置Ｐｕを基準としたユーザの目的地の方向がＶ２として示されている。
例えば、構図判定部１２５は、認識結果としてユーザの位置が認識された場合、ユーザの位置を基準としたユーザの目的地の方向に基づいて構図を判定すればよい。例えば、図１０に示した例では、構図判定部１２５は、ユーザの位置Ｐｕを基準としたユーザの目的地の方向Ｖ２に基づいて構図を判定すればよい。構図判定部１２５は、例えば、Ｖ２に基づいて構図を判定する場合には、ユーザの位置Ｐｕを基準としてＶ２と逆方向の領域よりもユーザの位置Ｐｕを基準としてＶ２の方向の領域が広く収まるような画像を構図として判定すればよい。図１０には、このようにして判定される構図の例がＫ２として示されている。点Ｃ２は、構図Ｋ２の中央の点を示している。
また、構図判定部１２５は、例えば、認識結果としてユーザの進行方向が認識された場合、ユーザの進行方向に基づいて構図を判定すればよい。例えば、図１０に示した例では、構図判定部１２５は、ユーザの進行方向Ｖ１に基づいて構図を判定すればよい。構図判定部１２５は、例えば、Ｖ１に基づいて構図を判定する場合には、ユーザの位置Ｐｕを基準としてＶ１と逆方向の領域よりもユーザの位置Ｐｕを基準としてＶ１の方向の領域が広く収まるような画像を構図として判定すればよい。図１０には、このようにして判定される構図の例がＫ１として示されている。点Ｃ１は、構図Ｋ１の中央の点を示している。
構図判定部１２５は、画一的にユーザの進行方向Ｖ１に基づいて構図を判定してもよいし、画一的にユーザの位置Ｐｕを基準としたユーザの目的地の方向Ｖ２に基づいて構図を判定してもよいが、各々の判定手法のいずれかの手法を選択的に用いてもよい。すなわち、ユーザの進行方向Ｖ１に基づいて構図を判定するモードを第１のモードとし、ユーザの位置Ｐｕを基準としたユーザの目的地の方向Ｖ２に基づいて構図を判定するモードを第２のモードとした場合、モード設定部１２４は、この２つのモードのいずれかを設定してもよい。その場合、構図判定部１２５は、モード設定部１２４により設定されたモードに従って構図を判定してもよい。モードは、携帯端末２０に入力されるユーザ操作に基づいて設定されてもよいし、携帯端末２０により実行されるアプリケーションにより設定されてもよい。
画像決定部１２６は、構図判定部１２５により判定された構図に基づいて表示画像を決定する。画像決定部１２６は、例えば、構図判定部１２５により判定された構図に合致する画像を表示画像として決定してもよいし、選択可能な範囲内において構図判定部１２５により判定された構図に最も近い画像を表示画像として決定してもよい。表示制御部１６０は、画像決定部１２６により決定された表示画像が携帯端末２０に表示されるように携帯端末２０を制御する。
図１１は、第１のモード設定時における表示画像について説明するための図である。例えば、図１０に示したような撮像画像Ｉｍｇが取得され、モード設定部１２４により第１のモードが設定されている場合、ユーザの進行方向Ｖ１に基づいて構図Ｋ１が判定される。この場合、図１１に示すように、例えば、画像決定部１２６は、この構図Ｋ１に合致する画像を表示画像Ｄ１として決定してもよい。なお、構図判定部１２５は、ユーザが中央に存在する構図を判定してもよいが、図１１に示すように、ユーザが中央から所定距離ｄ１だけ離れた位置に存在する構図を判定してもよい。
なお、現在の撮像条件が判定されてもよい。すなわち、条件判定部１２２は、ユーザを撮像するための条件が整っているか否かを判定し、情報付加部１２３は、条件判定部１２２により条件が整っていないと判定された場合には、表示画像に対して条件が整っていない旨を示す情報を付加してもよい。例えば、条件判定部１２２により撮像可能領域が判定された場合には、情報付加部１２３は、撮像可能領域の限界を示すオブジェクトを表示画像に付加してもよい。
また、条件判定部１２２によりユーザの位置Ｐｕを基準としたユーザの進行方向Ｖ１に撮像可能領域の限界が判定された場合に、情報付加部１２３は、撮像可能領域の限界を示すオブジェクトを表示画像に付加してもよい。図１１には、ユーザの位置Ｐｕを基準としたユーザの進行方向Ｖ１に撮像可能領域の限界が判定されたため、撮像可能領域の限界を示すオブジェクトがＡ１として表示画像Ｄ１に付加されている。あるいは、条件判定部１２２によりユーザの位置Ｐｕと撮像可能領域の限界との距離が閾値よりも小さくなった場合に、情報付加部１２３は、撮像可能領域の限界を示すオブジェクトを表示画像に付加してもよい。
また、条件判定部１２２により撮像画像の輝度が閾値よりも小さくなった場合に、情報付加部１２３は、撮像条件の悪化を示すオブジェクトを表示画像に付加してもよい。このような処理により、進行方向を変更するようにユーザを促すことができるが、ユーザに提供される情報は、付加されるオブジェクトに限定されない。例えば、情報付加部１２３は、携帯端末２０が振動するように制御してもよいし、携帯端末２０からアラーム音が発せられるように制御してもよい。
図１２は、第２のモード設定時における表示画像について説明するための図である。例えば、図１０に示したような撮像画像Ｉｍｇが取得され、モード設定部１２４により第２のモードが設定されている場合、ユーザの位置Ｐｕを基準としたユーザの目的地の方向Ｖ２に基づいて構図Ｋ２が判定される。この場合、図１２に示すように、例えば、画像決定部１２６は、この構図Ｋ２に合致する画像を表示画像Ｄ２として決定してもよい。なお、構図判定部１２５は、ユーザが中央に存在する構図を判定してもよいが、図１２に示すように、ユーザが中央から所定距離ｄ２だけ離れた位置に存在する構図を判定してもよい。
以上においては、画像決定部１２６が、構図判定部１２５により判定された構図に基づいて、撮像装置３０により撮像された撮像画像の一部領域を切り出すことにより表示画像を決定する手法を用いることにした。撮像装置３０が固定カメラ１台であれば、このような手法しか採りえないが、撮像装置３０が、向き変更カメラである場合や、画角変更カメラである場合、撮像装置３０が複数台ある場合には、他の手法を採用することもできる。
ここで、固定カメラとは、撮像方向の変更や画角の変更が不可能なカメラを意味している。向き変更カメラは、可動カメラを意味しており、パン機能を有しているカメラでもよいし、チルト機能を有しているカメラでもよい。画角変更カメラは、画角を変更することが可能なカメラを意味している。図１３は、表示画像の決定手法のバリエーションについて説明するための図である。図１３に示すように、撮像装置３０が固定カメラである場合には、画像決定部１２６は、撮像画像から選択される領域を表示画像として決定するという手法を採る。
また、図１３に示すように、撮像装置３０が向き変更カメラである場合には、画像決定部１２６は、撮像画像を提供する撮像装置３０の撮像方向を決定し、決定した撮像方向により撮像される撮像画像を表示画像として決定する。例えば、画像決定部１２６は、構図判定部１２５により判定された構図に基づいて、撮像装置３０の撮像方向を決定する。より詳細には、画像決定部１２６は、構図判定部１２５により判定された構図に最も近い画像を撮像できる方向を、撮像装置３０の撮像方向として決定すればよい。
また、図１３に示すように、撮像装置３０が画角変更カメラである場合には、画像決定部１２６は、撮像画像を提供する撮像装置３０の画角を決定し、決定した画角により撮像される撮像画像を表示画像として決定する。例えば、画像決定部１２６は、構図判定部１２５により判定された構図に基づいて、撮像装置３０の画角を決定する。より詳細には、画像決定部１２６は、構図判定部１２５により判定された構図に最も近い画像を撮像できる画角を、撮像装置３０の画角として決定すればよい。
また、図１３に示すように、画像取得部１１１により複数の撮像装置３０の各々から提供される撮像画像が取得された場合、画像決定部１２６は、複数の撮像装置３０の各々から提供される撮像画像の中から選択される撮像画像を表示画像として決定する。例えば、画像決定部１２６は、構図判定部１２５により判定された構図に基づいて、複数の撮像装置３０の各々から提供される撮像画像の中から選択される撮像画像を表示画像として決定する。より詳細には、画像決定部１２６は、構図判定部１２５により判定された構図に最も近い撮像画像を、複数の撮像装置３０の各々から提供される撮像画像の中から選択し、選択した撮像画像を表示画像として決定すればよい。
なお、上記した例では、構図判定部１２５により判定された構図に最も近い画像を表示画像として用いることにしたが、構図との差分が閾値を超えてしまう画像しか取得されない場合には、表示画像が決定されないようにすることもできる。このような場合には、画像決定部１２６は、構図判定部１２５により判定された構図に基づいて表示画像を決定できない場合も想定される。したがって、かかる場合、画像決定部１２６は、構図以外の検出データに基づいて表示画像を決定してもよい。
検出データは特に限定されない。例えば、画像決定部１２６は、上記したようなセンサデータに基づいて特定部１１４により特定されたユーザの位置に最も近い位置を撮像した画像を表示画像として決定することもできる。また、画像決定部１２６は、映っている人物の数が最も少ない画像を表示画像として決定してもよいし、映っている人物の密度が最も小さい画像を表示画像として決定してもよい。さらに、画像決定部１２６は、最も広い範囲が撮像された画像を表示画像として決定してもよいし、最もよく利用される撮像画像を表示画像として決定してもよい。
また、撮像装置３０が存在しない場合などには、画像取得部１１１により撮像画像が取得されない場合も想定される。かかる場合、画像決定部１２６は、撮像画像以外のデータに基づいて検出されるユーザの位置とユーザの目的地を示す情報とに応じた画像を表示画像として決定してもよい。
例えば、ＧＰＳ信号の受信センサにより受信された信号に基づいてユーザの位置情報が取得された場合には、画像決定部１２６は、その位置情報とユーザの目的地を示す情報とを用いて、Ｗｅｂページなどから画像を検索してもよい。画像は、描画された地図であってもよいし、撮像された写真であってもよい。また、画像決定部１２６は、検索により複数の画像を取得した場合には、複数の画像を合成することにより生成される新たな画像を表示画像として決定してもよい。
図１４は、決定された表示画像の一例を示す図である。図１４に示すように、表示制御部１６０は、表示画像Ｄ２に、ユーザの位置Ｐｕを基準としたユーザの目的地までの距離を示すオブジェクトＯｂｊ１、目的地までの距離および目的地に到着する予定時刻を示すオブジェクトＯｂｊ２などを付加してもよい。
また、図１４に示すように、表示制御部１６０は、表示画像Ｄ２に、方角を示すオブジェクトＯｂｊ３、ユーザの位置Ｐｕを基準としたユーザの目的地の方向を示すオブジェクトＯｂｊ４などを付加してもよい。また、図１４に示すように、表示制御部１６０は、表示画像Ｄ２に、ユーザの位置Ｐｕを基準としたユーザの目的地の方向を示すオブジェクトＯｂｊ５をユーザの位置Ｐｕに付加してもよいし、ユーザの位置Ｐｕを示すオブジェクトＯｂｊ６をユーザの位置に付加してもよい。
続いて、情報処理装置１０による構図判定動作の流れについて説明する。図１５は、情報処理装置１０による構図判定動作の流れを示すフローチャートである。図１５に示すように、画像取得部１１１により撮像画像が取得されない場合には（ステップＳ２１で「Ｎｏ」）、認識部１２１は、撮像画像以外のデータからユーザを認識して（ステップＳ２２）、ステップＳ２６に動作が移行される。
一方、画像取得部１１１により撮像画像が取得された場合には（ステップＳ２１で「Ｙｅｓ」）、認識部１２１は、撮像画像からユーザを認識して（ステップＳ２３）、条件判定部１２２は、撮像するための条件が整っているか否かを判定する（ステップＳ２４）。条件判定部１２２により撮像するための条件が整っていると判定された場合には（ステップＳ２４で「Ｙｅｓ」）、ステップＳ２６に動作が移行される。一方、条件判定部１２２により撮像するための条件が整っていないと判定された場合には（ステップＳ２４で「Ｎｏ」）、情報付加部１２３は、条件が整っていない旨を示す情報を撮像画像に付加し（ステップＳ２５）、ステップＳ２６に動作が移行される。
ステップＳ２６に動作が移行された場合、モード設定部１２４は、第１のモードおよび第２のモードのいずれかを設定し（ステップＳ２６）、構図判定部１２５は、認識部１２１による認識結果に基づいて、モード設定部１２４により設定されたモードに従って、構図を判定する（ステップＳ２７）。続いて、画像決定部１２６は、構図判定部１２５により判定された構図に基づいて表示画像を決定することを試みる（ステップＳ２８）。
ここで、画像決定部１２６により表示画像が決定された場合には（ステップＳ２９で「Ｙｅｓ」）、ステップＳ３１に動作が移行される。一方、画像決定部１２６により表示画像が決定されない場合には（ステップＳ２９で「Ｎｏ」）、画像決定部１２６は、構図以外の検出データに基づいて表示画像を決定し（ステップＳ３０）、ステップＳ３１に動作が移行される。表示制御部１６０は、画像決定部１２６により決定された表示画像が携帯端末２０に表示されるように携帯端末２０を制御し（ステップＳ３１）、動作が終了される。
以上に説明したように、情報処理装置１０が有する構図判定機能によれば、撮像画像をもとにしたユーザの認識結果とユーザの目的地を示す情報とに基づいた構図が判定される。また、このように判定された構図に基づいて表示画像が決定される。このような制御により、ユーザにとってより利便性が高い表示画像が決定されることが期待される。
＜３．表現変更機能＞
続いて、情報処理装置１０が有する表現変更機能について説明する。上記したように、情報処理装置１０により何らかのネットワークサービスが提供されており、ユーザＵが携帯端末２０を介してネットワークサービスにログインすると、携帯端末２０に対してネットワークサービスが提供されていることを想定している。
ネットワークサービスへのログインは、ユーザＵに限らず、他のユーザも行うことができる。すなわち、撮像画像に映る人物（以下では、「被写体」とも言う。）は、ネットワークサービスを享受する可能性がある。そこで、以下では、撮像画像に映っている被写体のネットワークサービスにおける状態の変更を容易に把握する機能について説明する。なお、撮像画像に映る被写体は、ユーザが特定される手法と同様の手法により、認識部１２１により認識され得る。
変更検出部１３１は、画像取得部１１１により取得された撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出する。ネットワークサービスにおける状態は、特に限定されないが、例えば、被写体の携帯端末がネットワークサービスにログインしているか否かを示す情報であってもよい。すなわち、表現変更部１３２は、被写体の携帯端末がネットワークサービスにログインした旨が変更検出部１３１により検出された場合に、撮像画像に映っている被写体の表現を変更してもよい。
また、ネットワークサービスにおける状態は、ログインされている状態で特定の処理が行ったか否かを示す情報であってもよい。すなわち、表現変更部１３２は、被写体の携帯端末のネットワークサービスにおける動作が所定の条件を満たした旨が変更検出部１３１により検出された場合に、撮像画像に映っている被写体の表現を変更してもよい。所定の条件は、特に限定されないが、例えば、メッセージの書き込みを行ったという条件であってもよく、所定時間以内にメッセージの書き込みを行ったという条件であってもよい。
表現変更部１３２は、変更検出部１３１により状態の変更が検出された場合に、撮像画像に映っている被写体の表現を変更する。表現変更部１３２により撮像画像に映っている被写体の領域はどのように把握されてもよいが、例えば、被写体が映る前後の撮像画像において差分が生じた場合に、その差分領域が被写体の領域として把握されてもよい。被写体の表現をどのように変更するかについても特に限定されない。
さらに、表現変更部１３２は、特定部１１４によりユーザが特定された場合には、撮像画像に映っているユーザを強調することによりユーザの表現を変更してもよい。ユーザをどのように強調するかについても特に限定されない。表示制御部１６０は、表現変更部１３２により表現が変更されて得られる表示画像が携帯端末２０に表示されるように携帯端末２０を制御する。
ユーザの強調の手法について以下に図面を参照しながら説明する。図１６は、情報処理装置１０による表現変更機能の一例を示す図である。図１６に示すように、表現変更部１３２は、撮像画像におけるユーザＵ以外の被写体の鮮明度を低下させることによりユーザＵを強調してもよい。
図１７は、情報処理装置１０による表現変更機能の一例を示す図である。図１７に示すように、表現変更部１３２は、撮像画像におけるユーザＵの輪郭Ｌ１を強調することによりユーザＵを強調してもよい。例えば、撮像画像におけるユーザＵの輪郭Ｌ１を太くすることによりユーザＵの強調がなされてもよい。
図１８は、情報処理装置１０による表現変更機能の一例を示す図である。図１８に示すように、表現変更部１３２は、撮像画像におけるユーザＵ以外の被写体の画素値を変更することによりユーザＵを強調してもよい。例えば、撮像画像におけるユーザＵ以外の被写体の輝度を低下させることによりユーザＵを強調してもよい。
図１９は、情報処理装置１０による表現変更機能の一例を示す図である。図１９に示すように、表現変更部１３２は、撮像画像におけるユーザＵに対するズームイン表示によりユーザＵを強調してもよい。また、図１９に示すように、表現変更部１３２は、ズームイン表示を行った後、ユーザＵに対するズームアウト表示を行ってもよい。
図２０は、情報処理装置１０による表現変更機能の一例を示す図である。表現変更部１３２は、撮像画像におけるユーザの位置またはユーザの周辺の位置にオブジェクトを表示することによりユーザを強調してもよい。ユーザの周辺の範囲は、あらかじめ規定されていてもよい。図２０に示した例では、表現変更部１３２は、撮像画像におけるユーザの周辺の位置にオブジェクトＯｂｊ８，Ｏｂｊ９を付加することによりユーザＵを強調している。
また、ユーザＵの強調度合いは、一定であってもよいし、状況に応じて変化されてもよい。例えば、表現変更部１３２は、撮像画像におけるユーザのサイズに応じてユーザの強調度合いを変化させてもよい。図２１は、情報処理装置１０による表現変更機能の一例を示す図である。例えば、表現変更部１３２は、撮像画像におけるユーザのサイズが小さいほどユーザの強調度合いを強めてもよい。
図２１に示した例では、撮像装置３０からユーザＵの位置が遠いほど、撮像画像におけるユーザＵのサイズが小さくなっている。そのため、表現変更部１３２は、サイズの小さいユーザＵの輪郭Ｌ０を、サイズの大きいユーザＵの輪郭Ｌ１よりも太くすることにより、サイズの小さいユーザＵの強調度合いを強めている。このように、撮像画像におけるユーザのサイズが小さいほどユーザの強調度合いが強められることにより、撮像画像においてユーザを見つけやすくなる。
また、撮像画像においてユーザＵが他の物体に隠れてしまう場合もある。そこで、例えば、表現変更部１３２は、撮像画像においてユーザの一部または全部が他の物体により隠れて映っている場合に、ユーザの強調の手法を変化させてもよい。図２２は、情報処理装置１０による表現変更機能の一例を示す図である。図２２に示すように、撮像画像においてユーザＵの一部が他の被写体に隠れてしまっている。そこで、表現変更部１３２は、撮像画像におけるユーザＵの周辺の位置にオブジェクトＯｂｊ１０を付加することにより、ユーザＵの強調の手法を変化させている。ユーザＵの周辺の範囲は、あらかじめ規定されていてもよい。
続いて、情報処理装置１０による表現変更動作の流れについて説明する。図２３は、情報処理装置１０による表現変更動作の流れを示すフローチャートである。図２３に示すように、画像取得部１１１により撮像画像が取得されない場合には（ステップＳ４１で「Ｎｏ」）、動作が終了される。一方、画像取得部１１１により撮像画像が取得された場合には（ステップＳ４１で「Ｙｅｓ」）、認識部１２１により撮像画像から被写体が認識される（ステップＳ４２）。続いて、変更検出部１３１は、被写体のネットワークサービスにおける状態の変更を検出したか否かを判定する（ステップＳ４３）。
変更検出部１３１により被写体のネットワークサービスにおける状態の変更が検出されない場合には（ステップＳ４３で「Ｎｏ」）、動作が終了されるが、変更検出部１３１により被写体のネットワークサービスにおける状態の変更が検出された場合には（ステップＳ４３で「Ｙｅｓ」）、表現変更部１３２は、被写体の表現を変更する（ステップＳ４４）。表示制御部１６０は、表現変更部１３２により表現が変更されて得られる表示画像の表示を制御し（ステップＳ４５）、動作が終了される。
以上に説明したように、情報処理装置１０が有する表現変更機能によれば、撮像画像から認識された被写体のネットワークサービスにおける状態の変更が検出される。また、状態の変更が検出された場合に、撮像画像に映っている被写体の表現が変更される。このような制御によれば、撮像画像に映っている被写体のネットワークサービスにおける状態の変更が容易に把握されることが期待される。
＜４．むすび＞
以上説明したように、本実施形態に係る情報処理装置１０のユーザ特定機能によれば、撮像画像を取得する画像取得部１１１と、携帯端末２０のユーザに関するパラメータを取得するパラメータ取得部１１２と、パラメータに基づいて撮像画像からユーザを特定する特定部１１４と、特定部１１４によりユーザが特定されない場合、ユーザの特定に必要なユーザの動作を示す情報が携帯端末２０に表示されるように制御する表示制御部１６０と、を備える、情報処理装置１０が提供される。
かかる構成によれば、特定部１１４によりユーザが特定されない場合、ユーザの特定に必要なユーザの動作を示す情報が携帯端末２０により表示され、この情報を閲覧したユーザは、撮像画像からユーザが特定されるように動作することが可能となる。したがって、撮像画像からユーザが容易に特定されることが期待される。
また、本実施形態に係る情報処理装置１０の構図判定機能によれば、撮像画像を取得する画像取得部１１１と、撮像画像をもとにしたユーザの認識結果とユーザの目的地を示す情報とに基づいて構図を判定する構図判定部１２５と、構図判定部１２５により判定された構図に基づいて表示画像を決定する画像決定部１２６と、を備える、情報処理装置１０が提供される。
かかる構成によれば、撮像画像をもとにしたユーザの認識結果とユーザの目的地を示す情報とに基づいて構図が判定され、この構図に基づいて表示画像が決定される。例えば、構図判定部１２５により、ユーザの位置を示す情報と目的地を示す情報とに基づいて構図が判定される。したがって、ユーザにとってより利便性が高い表示画像が決定されることが期待される。
また、本実施形態に係る情報処理装置１０の表現変更機能によれば、撮像画像を取得する画像取得部１１１と、撮像画像から認識された被写体のネットワークサービスにおける状態の変更を検出する変更検出部１３１と、変更検出部１３１により状態の変更が検出された場合に、撮像画像に映っている被写体の表現を変更する表現変更部１３２と、を備える、情報処理装置１０が提供される。
かかる構成によれば、被写体のネットワークサービスにおける状態の変更が検出された場合に、撮像画像に映っている被写体の表現が変更される。この撮像画像を閲覧したユーザは、撮像画像から被写体のネットワークサービスにおける状態の変更を容易に把握することが可能となる。
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、例えば、上記では、処理制御部１００および表示制御部１６０のすべてを情報処理装置１０が有する例を主に説明したが、かかるブロックの一部または全部は、情報処理装置１０の代わりに他の装置が有していてもよい。例えば、処理制御部１００および表示制御部１６０の一部をサーバが有し、その他の部分を携帯端末２０が有してもよい。このように、本開示の技術は、クラウドコンピューティングにも適用することが可能である。
また、本明細書の情報処理装置１０の動作における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理装置１０の動作における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、情報処理装置１０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した情報処理装置１０の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像画像を取得する画像取得部と、
前記撮像画像をもとにしたユーザの認識結果と前記ユーザの目的地を示す情報とに基づいて構図を判定する構図判定部と、
前記構図判定部により判定された前記構図に基づいて表示画像を決定する画像決定部と、
を備える、情報処理装置。
（２）
前記情報処理装置は、
前記画像決定部により決定された前記表示画像が携帯端末に表示されるように制御する表示制御部をさらに備える、
前記（１）に記載の情報処理装置。
（３）
前記構図判定部は、前記認識結果としてユーザの位置が認識された場合、前記ユーザの位置を基準とした前記ユーザの目的地の方向に基づいて前記構図を判定する、
前記（１）または（２）に記載の情報処理装置。
（４）
前記情報処理装置は、
前記ユーザの進行方向に基づいて前記構図を判定する第１のモードと前記ユーザの位置を基準とした前記ユーザの目的地の方向に基づいて前記構図を判定する第２のモードとのいずれかを設定するモード設定部をさらに備え、
前記構図判定部は、
前記モード設定部により設定されたモードに従って前記構図を判定する、
前記（１）または（２）に記載の情報処理装置。
（５）
前記構図判定部は、前記認識結果としてユーザの位置が認識された場合、前記ユーザが中央または中央から所定距離だけ離れた位置に存在する前記構図を判定する、
前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記画像決定部は、前記画像取得部により複数の撮像装置の各々から提供される撮像画像が取得された場合、前記複数の撮像装置の各々から提供される撮像画像の中から選択される撮像画像を前記表示画像として決定する、
前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記画像決定部は、撮像画像を提供する撮像装置の撮像方向を決定し、決定した撮像方向により撮像される撮像画像を前記表示画像として決定する、
前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（８）
前記画像決定部は、撮像画像を提供する撮像装置の画角を決定し、決定した画角により撮像される撮像画像を前記表示画像として決定する、
前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（９）
前記画像決定部は、前記撮像画像から選択される領域を前記表示画像として決定する、
前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（１０）
前記画像決定部は、前記構図判定部により判定された前記構図に基づいて前記表示画像を決定できなかった場合、前記構図以外の検出データに基づいて前記表示画像を決定する、
前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（１１）
前記画像決定部は、前記画像取得部により前記撮像画像が取得されなかった場合、前記撮像画像以外のデータに基づいて検出されるユーザの位置と前記ユーザの目的地を示す情報とに応じた画像を前記表示画像として決定する、
前記（１）または（２）に記載の情報処理装置。
（１２）
前記情報処理装置は、
前記撮像画像をもとにしてユーザを認識することにより前記認識結果を得る認識部をさらに備える、
前記（１）〜（１０）のいずれか一項に記載の情報処理装置。
（１３）
前記情報処理装置は、
前記ユーザを撮像するための条件が整っているか否かを判定する条件判定部と、
前記条件判定部により条件が整っていないと判定された場合には、前記表示画像に対して条件が整っていない旨を示す情報を付加する情報付加部と、
をさらに備える、前記（１）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
撮像画像を取得することと、
前記撮像画像をもとにしたユーザの認識結果と前記ユーザの目的地を示す情報とに基づいて構図を判定することと、
前記構図に基づいて表示画像を決定することと、
を含む、情報処理方法。
（１５）
コンピュータを、
撮像画像を取得する画像取得部と、
前記撮像画像をもとにしたユーザの認識結果と前記ユーザの目的地を示す情報とに基づいて構図を判定する構図判定部と、
前記構図判定部により判定された前記構図に基づいて表示画像を決定する画像決定部と、
を備える情報処理装置として機能させるためのプログラム。
１ 情報処理システム
１０ 情報処理装置
２０ 携帯端末
３０ 撮像装置
４０ ネットワーク
５０ 記憶部
１００ 処理制御部
１１１ 画像取得部
１１２ パラメータ取得部
１１３ 候補抽出部
１１４ 特定部
１１５ 認証部
１２１ 認識部
１２２ 条件判定部
１２３ 情報付加部
１２４ モード設定部
１２５ 構図判定部
１２６ 画像決定部
１３１ 変更検出部
１３２ 表現変更部
１６０ 表示制御部

Claims (15)

  1. 撮像画像を取得する画像取得部と、
    前記撮像画像をもとにしたユーザの認識結果と前記ユーザの目的地を示す情報とに基づいて構図を判定する構図判定部と、
    前記構図判定部により判定された前記構図に基づいて表示画像を決定する画像決定部と、
    を備える、情報処理装置。
  2. 前記情報処理装置は、
    前記画像決定部により決定された前記表示画像が携帯端末に表示されるように制御する表示制御部をさらに備える、
    請求項１に記載の情報処理装置。
  3. 前記構図判定部は、前記認識結果としてユーザの位置が認識された場合、前記ユーザの位置を基準とした前記ユーザの目的地の方向に基づいて前記構図を判定する、
    請求項１に記載の情報処理装置。
  4. 前記情報処理装置は、
    前記ユーザの進行方向に基づいて前記構図を判定する第１のモードと前記ユーザの位置を基準とした前記ユーザの目的地の方向に基づいて前記構図を判定する第２のモードとのいずれかを設定するモード設定部をさらに備え、
    前記構図判定部は、
    前記モード設定部により設定されたモードに従って前記構図を判定する、
    請求項１に記載の情報処理装置。
  5. 前記構図判定部は、前記認識結果としてユーザの位置が認識された場合、前記ユーザが中央または中央から所定距離だけ離れた位置に存在する前記構図を判定する、
    請求項１に記載の情報処理装置。
  6. 前記画像決定部は、前記画像取得部により複数の撮像装置の各々から提供される撮像画像が取得された場合、前記複数の撮像装置の各々から提供される撮像画像の中から選択される撮像画像を前記表示画像として決定する、
    請求項１に記載の情報処理装置。
  7. 前記画像決定部は、撮像画像を提供する撮像装置の撮像方向を決定し、決定した撮像方向により撮像される撮像画像を前記表示画像として決定する、
    請求項１に記載の情報処理装置。
  8. 前記画像決定部は、撮像画像を提供する撮像装置の画角を決定し、決定した画角により撮像される撮像画像を前記表示画像として決定する、
    請求項１に記載の情報処理装置。
  9. 前記画像決定部は、前記撮像画像から選択される領域を前記表示画像として決定する、
    請求項１に記載の情報処理装置。
  10. 前記画像決定部は、前記構図判定部により判定された前記構図に基づいて前記表示画像を決定できなかった場合、前記構図以外の検出データに基づいて前記表示画像を決定する、
    請求項１に記載の情報処理装置。
  11. 前記画像決定部は、前記画像取得部により前記撮像画像が取得されなかった場合、前記撮像画像以外のデータに基づいて検出されるユーザの位置と前記ユーザの目的地を示す情報とに応じた画像を前記表示画像として決定する、
    請求項１に記載の情報処理装置。
  12. 前記情報処理装置は、
    前記撮像画像をもとにしてユーザを認識することにより前記認識結果を得る認識部をさらに備える、
    請求項１に記載の情報処理装置。
  13. 前記情報処理装置は、
    前記ユーザを撮像するための条件が整っているか否かを判定する条件判定部と、
    前記条件判定部により条件が整っていないと判定された場合には、前記表示画像に対して条件が整っていない旨を示す情報を付加する情報付加部と、
    をさらに備える、請求項１に記載の情報処理装置。
  14. 撮像画像を取得することと、
    前記撮像画像をもとにしたユーザの認識結果と前記ユーザの目的地を示す情報とに基づいて構図を判定することと、
    前記構図に基づいて表示画像を決定することと、
    を含む、情報処理方法。
  15. コンピュータを、
    撮像画像を取得する画像取得部と、
    前記撮像画像をもとにしたユーザの認識結果と前記ユーザの目的地を示す情報とに基づいて構図を判定する構図判定部と、
    前記構図判定部により判定された前記構図に基づいて表示画像を決定する画像決定部と、
    を備える情報処理装置として機能させるためのプログラム。


JP2012071331A 2012-03-27 2012-03-27 情報処理装置、情報処理方法およびプログラム Pending JP2013207356A (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP2012071331A JP2013207356A (ja) 2012-03-27 2012-03-27 情報処理装置、情報処理方法およびプログラム
EP13714003.4A EP2831702B1 (en) 2012-03-27 2013-03-19 Information processing device, information processing method and program
EP19173080.3A EP3557386B1 (en) 2012-03-27 2013-03-19 Information processing device and information processing method
IN7841DEN2014 IN2014DN07841A (ja) 2012-03-27 2013-03-19
BR112014023288A BR112014023288A2 (pt) 2012-03-27 2013-03-19 dispositivo e sistema de processamento de informação, e, método para processamento de informação
PCT/JP2013/001868 WO2013145639A1 (en) 2012-03-27 2013-03-19 Information processing device, information processing method and program
CN201380015427.2A CN104185830A (zh) 2012-03-27 2013-03-19 信息处理装置、信息处理方法和程序
EP17171374.6A EP3239814B1 (en) 2012-03-27 2013-03-19 Information processing device, information processing method and program
US14/386,120 US10303936B2 (en) 2012-03-27 2013-03-19 Information processing device to recognize subject from captured image
US16/390,485 US10713480B2 (en) 2012-03-27 2019-04-22 Information processing device and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012071331A JP2013207356A (ja) 2012-03-27 2012-03-27 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2013207356A true JP2013207356A (ja) 2013-10-07

Family

ID=48045626

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012071331A Pending JP2013207356A (ja) 2012-03-27 2012-03-27 情報処理装置、情報処理方法およびプログラム

Country Status (7)

Country Link
US (2) US10303936B2 (ja)
EP (3) EP3239814B1 (ja)
JP (1) JP2013207356A (ja)
CN (1) CN104185830A (ja)
BR (1) BR112014023288A2 (ja)
IN (1) IN2014DN07841A (ja)
WO (1) WO2013145639A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017099037A1 (ja) * 2015-12-09 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2022136115A (ja) * 2018-03-29 2022-09-15 日本電気株式会社 ビデオ会議システム、ビデオ会議方法、およびプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD742418S1 (en) * 2012-11-13 2015-11-03 Wartsila Finland Oy Propulsion control system for ship with a display

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002107161A (ja) * 2000-10-03 2002-04-10 Matsushita Electric Ind Co Ltd 移動体用進路誘導装置
JP3908137B2 (ja) * 2002-09-18 2007-04-25 株式会社日立製作所 情報表示方法及びシステム
JP2004153674A (ja) 2002-10-31 2004-05-27 Sony Corp カメラ装置
AU2005278003B8 (en) * 2004-06-21 2011-06-23 Google Llc Single image based multi-biometric system and method
DE102007033391A1 (de) 2007-07-18 2009-01-22 Robert Bosch Gmbh Informationsvorrichtung, Verfahren zur Information und/oder Navigation von einer Person sowie Computerprogramm
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
JP5614014B2 (ja) * 2009-09-04 2014-10-29 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
KR101888082B1 (ko) * 2011-09-27 2018-09-10 엘지전자 주식회사 영상표시장치 및 그 동작방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017099037A1 (ja) * 2015-12-09 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2022136115A (ja) * 2018-03-29 2022-09-15 日本電気株式会社 ビデオ会議システム、ビデオ会議方法、およびプログラム
JP7400886B2 (ja) 2018-03-29 2023-12-19 日本電気株式会社 ビデオ会議システム、ビデオ会議方法、およびプログラム

Also Published As

Publication number Publication date
CN104185830A (zh) 2014-12-03
IN2014DN07841A (ja) 2015-04-24
EP3239814B1 (en) 2019-05-08
US10713480B2 (en) 2020-07-14
US20190244019A1 (en) 2019-08-08
EP3557386A1 (en) 2019-10-23
EP3239814A1 (en) 2017-11-01
EP3557386B1 (en) 2020-09-09
US10303936B2 (en) 2019-05-28
EP2831702A1 (en) 2015-02-04
BR112014023288A2 (pt) 2019-09-24
US20150062355A1 (en) 2015-03-05
EP2831702B1 (en) 2017-05-17
WO2013145639A1 (en) 2013-10-03

Similar Documents

Publication Publication Date Title
US9928422B2 (en) User terminal apparatus and IRIS recognition method thereof
US9940521B2 (en) Visibility enhancement devices, systems, and methods
US20140078164A1 (en) Unauthorized viewer detection system and method
KR20220144890A (ko) 다중 사용자 환경에서 손 제스처를 사용하여 디바이스를 제어하기 위한 방법 및 시스템
US9898090B2 (en) Apparatus, method and recording medium for controlling user interface using input image
US11222231B2 (en) Target matching method and apparatus, electronic device, and storage medium
WO2015003606A1 (en) Method and apparatus for recognizing pornographic image
JP6044633B2 (ja) 情報処理装置、情報処理方法およびプログラム
US10713480B2 (en) Information processing device and information processing method
CN109104573B (zh) 一种确定对焦点的方法及终端设备
JP2024045460A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP6064995B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN110232417B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
JPWO2014156257A1 (ja) 表示制御装置、表示制御方法および記録媒体
KR101289243B1 (ko) 영상 통화 서비스 방법, 이를 위한 장치 및 시스템
JP2016021716A (ja) 追尾装置及びその制御方法
KR20110099845A (ko) 화상 통화 시스템에서 전방향 화자 인식을 위한 장치 및 방법
CN115761867A (zh) 基于人脸图像的身份检测方法、装置、介质及设备
JP5920448B2 (ja) 撮像装置、プログラム
WO2014093293A1 (en) Unauthorized viewer detection system and method
KR20180068128A (ko) 이동단말기 및 그 제어방법
JP2014013603A (ja) 撮像装置