JP2016015009A - 情報処理システム、情報処理端末、および情報処理方法 - Google Patents

情報処理システム、情報処理端末、および情報処理方法 Download PDF

Info

Publication number
JP2016015009A
JP2016015009A JP2014136553A JP2014136553A JP2016015009A JP 2016015009 A JP2016015009 A JP 2016015009A JP 2014136553 A JP2014136553 A JP 2014136553A JP 2014136553 A JP2014136553 A JP 2014136553A JP 2016015009 A JP2016015009 A JP 2016015009A
Authority
JP
Japan
Prior art keywords
user
information processing
message
information
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014136553A
Other languages
English (en)
Inventor
征志 中田
Seishi Nakada
征志 中田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014136553A priority Critical patent/JP2016015009A/ja
Priority to PCT/JP2015/061759 priority patent/WO2016002306A1/ja
Priority to US15/312,268 priority patent/US10546402B2/en
Publication of JP2016015009A publication Critical patent/JP2016015009A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. SMS or e-mail
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/10—Details of telephonic subscriber devices including a GPS signal receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Abstract

【課題】メッセージを入力した際のユーザの状況をメッセージと併せて他のユーザに伝達することが可能な情報処理システムを提供する。
【解決手段】複数のユーザがそれぞれ入力したメッセージを取得するメッセージ取得部と、撮像装置を用いて、前記メッセージを入力したユーザに関連した情報を取得する関連情報取得部と、前記ユーザに関連した情報に基づいて、入力された前記メッセージを伝達するための情報処理を制御する制御部と、を備える、情報処理システム。
【選択図】図１

Description

本開示は、情報処理システム、情報処理端末、および情報処理方法に関する。
近年、地理的に離れた場所にいる２人以上のユーザ間におけるコミュニケーション手段として、電子メール、ショートメッセージサービス（ＳＭＳ：ｓｈｏｒｔ ｍｅｓｓａｇｅ ｓｅｒｖｉｃｅ）およびチャットなどのメッセージングシステムが広く普及している。
ユーザは、このようなコミュニケーション手段を用いることによって、時間や場所を問わずにテキスト等のメッセージを送受信することができる。
ここで、特許文献１には、加速度センサやジャイロセンサ等に基づいてユーザの行動を認識し、認識した該ユーザの行動を表す行動情報と、ユーザの現在位置情報とを表示することによりユーザの状態を伝達する技術が開示されている。
特開２００９−１１８５１３号公報
しかし、特許文献１に開示された技術では、ユーザは、他のユーザの現在の位置や行動を確認することはできるものの、該ユーザの状態の変遷について知ることは困難であった。すなわち、特許文献１に開示された技術では、メッセージが送受信されるメッセージングシステムにおいて、メッセージが入力された際にユーザがどのような状況であったのかをメッセージごとに知ることは困難であった。
そこで、本開示では、メッセージが入力された際のユーザの状況に関する情報を該メッセージに付与することにより、メッセージと併せてユーザの状況を伝達することが可能な、新規かつ改良された情報処理システム、情報処理端末、および情報処理方法を提案する。
本開示によれば、複数のユーザがそれぞれ入力したメッセージを取得するメッセージ取得部と、撮像装置を用いて、前記メッセージを入力したユーザに関連した情報を取得する関連情報取得部と、前記ユーザに関連した情報に基づいて、入力された前記メッセージを伝達するための情報処理を制御する制御部と、を備える、情報処理システムが提供される。
また、本開示によれば、ユーザが入力したメッセージを取得するメッセージ取得部と、撮像装置を用いて、前記ユーザに関連した情報を取得する関連情報取得部と、前記ユーザに関連した情報と、入力された前記メッセージとを紐付けて送信する制御部と、を備える、情報処理端末が提供される。
また、本開示によれば、複数のユーザがそれぞれ入力したメッセージを取得することと、撮像装置を用いて、前記メッセージを入力したユーザに関連した情報を取得することと、前記ユーザに関連した情報に基づいて、入力された前記メッセージを伝達するための情報処理を制御することと、含む、情報処理方法が提供される。
本開示によれば、メッセージを入力したユーザに関連した情報を取得し、該ユーザに関連した情報に基づいて、メッセージを伝達するための情報処理を制御することができる。
以上説明したように本開示によれば、メッセージを入力した際のユーザの状況をメッセージと併せて他のユーザに伝達することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示に係る情報処理システムの構成の一例を示した説明図である。 本開示の第１の実施形態に係る情報処理システムの内部構成を示したブロック図である。 同実施形態に係る制御部が生成する表示の一例を示した説明図である。 同実施形態に係る制御部が生成する表示の一例を示した説明図である。 同実施形態に係る情報処理システムの動作例を示したフローチャート図である。 図３Ｂの表示の変形例を示す説明図である。 同実施形態に係る情報処理システムの動作の変形例を示したフローチャート図である。 本開示の第２の実施形態に係る情報処理システムの内部構成を示したブロック図である。 同実施形態に係る制御部が生成する表示の一例を示した説明図である。 同実施形態に係る制御部が生成する表示の一例を示した説明図である。 同実施形態に係る情報処理システムの動作例を示したフローチャート図である。 本開示の第３の実施形態に係る情報処理システムの内部構成を示したブロック図である。 同実施形態に係る制御部が生成する表示の一例を示した説明図である。 同実施形態に係る制御部が生成する表示の一例を示した説明図である。 同実施形態に係る制御部が生成する表示の一例を示した説明図である。 同実施形態に係る情報処理システムの動作例を示したフローチャート図である。 第４の実施形態に係る情報処理システムが生成する表示の一例を示した説明図である。 同実施形態に係る情報処理システムの動作例を示したフローチャート図である。 本開示の第５の実施形態に係る情報処理システムの概略を示した説明図である。 同実施形態に係る情報処理システムの内部構成を示したブロック図である。 同実施形態に係る制御部が生成する表示の一例を示した説明図である。 同実施形態に係る制御部が生成する表示の一例を示した説明図である。 同実施形態に係る情報処理システムの動作例を示したフローチャート図である。 本開示の各実施形態に係る情報処理装置７のハードウェア構成を説明した説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．本開示に係る情報処理システムの概略構成
２．第１の実施形態
２．１．情報処理システムの構成例
２．２．情報処理システムの動作例
２．３．情報処理システムの動作の変形例
３．第２の実施形態
３．１．情報処理システムの構成例
３．２．情報処理システムの動作例
４．第３の実施形態
４．１．情報処理システムの構成例
４．２．情報処理システムの動作例
５．第４の実施形態
５．１．情報処理システムの動作例
６．第５の実施形態
６．１．情報処理システムの構成例
６．２．情報処理システムの動作例
７．ハードウェア構成例
＜１．本開示に係る情報処理システムの概略構成＞
まず、図１を参照して、本開示に係る情報処理システムの概略構成について説明する。図１は、本開示に係る情報処理システムの構成の一例を示した説明図である。
図１に示すように、本開示に係る情報処理システムは、ネットワーク３を介して接続された複数の情報処理端末１と、情報処理サーバ２とを備える。また、複数の情報処理端末１および情報処理サーバ２は、ネットワーク３を介して相互に通信している。
ここで、本開示に係る情報処理システムは、例えば、テキストメッセージを送受信することにより、地理的に離れた場所にいる２人以上のユーザ同士がコミュニケーションすることを可能にする情報処理システムである。具体的には、本開示に係る情報処理システムは、電子メール、ショートメッセージサービス、インスタントメッセンジャー、およびチャットなどのメッセージングシステムであってもよい。
本開示に係る情報処理システムは、ユーザによって情報処理端末１に入力されたメッセージを取得し、さらに情報処理端末１が備える撮像装置などの各種センサを用いて、メッセージを入力したユーザに関連した情報を取得する。また、本開示に係る情報処理システムは、取得した該ユーザに関連した情報に基づいて、メッセージを伝達するための情報処理を制御する。この構成によれば、本開示に係る情報処理システムは、メッセージと併せてメッセージが入力された際のユーザの状況についても伝達することが可能である。
情報処理端末１は、ユーザによってメッセージが入力される情報処理装置である。また、情報処理端末１は、撮像装置などの各種センサを備え、入力されたメッセージと、各種センサにより取得したユーザに関連した情報とを情報処理サーバ２に送信する。情報処理端末１は、例えば、携帯電話、スマートフォンまたはタブレット端末などの持ち運び可能な情報処理端末であってもよい。なお、本開示において、ネットワーク３に接続する情報処理端末１の個数は、複数であればよく、特に限定されるものではない。
情報処理サーバ２は、ユーザに関連した情報を情報処理端末１から受信し、該ユーザに関連した情報に基づいて、情報処理端末１に入力されたメッセージを伝達するための情報処理を制御する。具体的には、情報処理サーバ２は、情報処理端末１に入力されたメッセージと、該メッセージを入力したユーザに関連した情報とを取得し、ユーザに関連した情報に基づいてメッセージを伝達するための表示を生成し、各情報処理端末１へ送信する。ここで、情報処理サーバ２が実行する情報処理の詳細については、以下の第１〜第５の実施形態においてそれぞれ後述する。なお、情報処理サーバ２が実行する情報処理のうちの一部または全部は、各情報処理端末１にて実行されてもよい。
ネットワーク３は、各情報処理端末１と、情報処理サーバ２との間の通信を可能にする通信網である。ネットワーク３は、例えば、インターネット、衛星通信網、電話回線網などの公衆回線網、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、またはＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などであってもよい。
以下では、上述した本開示に係る情報処理システムの具体的な構成について、第１〜第５の実施形態に分けて詳述する。
＜２．第１の実施形態＞
まず、図２〜図６を参照して、本開示の第１の実施形態に係る情報処理システムについて説明する。本開示の第１の実施形態に係る情報処理システムは、撮像装置を有する情報処理端末１Ａを備え、入力されたメッセージと、該撮像装置にて撮像された画像とを関連付けて配置した表示を生成する。これにより、本開示の第１の実施形態に係る情報処理システムは、メッセージが入力された際のユーザの状況をメッセージと併せて伝達することができる。
具体的には、情報処理システムは、ユーザがメッセージを入力、送信する際の所定の入力操作に基づいて、撮像装置にて撮像し、画像を取得する。また、情報処理システムは、入力されたメッセージと、撮像装置により取得された画像とを関連付けて配置した表示を生成し、情報処理端末１Ａに送信する。この情報処理システムによれば、メッセージを送信するユーザは、メッセージと併せて、メッセージを入力した際の周囲の様子を撮像画像にて伝達することができる。
なお、撮像装置により撮像された画像は、映り込んだ人のプライバシーを考慮して、メッセージを入力した際の周囲の雰囲気が伝達できる程度まで視認性を低下させるぼかし処理が施されてもよい。また、撮像装置が情報処理端末１の表示部と同一面側に備えられている場合、撮像装置が撮像する画像は、ユーザの顔を含んでもよい。一方、撮像装置が情報処理端末１の表示部と異なる面側に備えられている場合、撮像装置が撮像する画像は、ユーザの顔を含まなくてもよい。
［２．１．情報処理システムの構成例］
まず、図２を参照して、本開示の第１の実施形態に係る情報処理システムの具体的な構成について説明する。図２は、本開示の第１の実施形態に係る情報処理システムの内部構成を示したブロック図である。
図２に示すように、本開示の第１の実施形態に係る情報処理システムは、情報処理端末１Ａと、情報処理サーバ２Ａとを備える。また、情報処理端末１Ａおよび情報処理サーバ２Ａは、ネットワーク３を介して接続されている。
また、情報処理端末１Ａは、端末通信部１０１と、入力部１０３と、表示部１０５と、撮像装置１０７と、ぼかし制御部１０９とを備え、情報処理サーバ２Ａは、サーバ通信部２０１と、メッセージ取得部２０３と、関連情報取得部２０５と、制御部２０７とを備える。なお、ネットワーク３については、図１にて説明したとおりであるので、ここでの説明は省略する。
（情報処理端末の構成）
端末通信部１０１は、情報処理サーバ２Ａとの通信を行う。具体的には、端末通信部１０１は、制御部２０７が生成した表示を情報処理サーバ２Ａから受信し、入力部１０３に入力されたメッセージ、撮像装置１０７が撮像した画像を情報処理サーバ２Ａに送信する。例えば、端末通信部１０１は、ネットワーク３に接続するための通信デバイス等で構成された通信インターフェースであってもよい。また、端末通信部１０１は、無線または有線により電話回線網に接続可能な通信装置であってもよく、有線ＬＡＮまたは無線ＬＡＮ対応通信装置であってもよいし、有線による通信を行うワイヤー通信装置であってもよい。
入力部１０３は、ユーザによりメッセージを入力することが可能な入力装置である。具体的には、入力部１０３は、キーボード、ボタン、およびマイクロフォンなどのユーザが文字情報を入力することが可能な入力機構と、ユーザの入力に基づいて入力信号を生成する入力制御回路などから構成される。また、入力部１０３は、ソフトウェアキーボードなどにより文字情報を入力することが可能な入力装置であってもよい。
表示部１０５は、情報処理端末１Ａまたは情報処理サーバ２Ａが生成した画像を表示する表示装置である。例えば、表示部１０５は、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｓｐｌａｙ）装置などであってもよい。
撮像装置１０７は、撮像レンズおよび撮像素子等を備え、被写体の画像を取得する。具体的には、撮像装置１０７は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサまたはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサなどで構成される撮像素子により、撮像レンズを介して入射する被写体からの光を光電変換し、画像信号に変換する。なお、撮像装置１０７は、情報処理端末１Ａにおいて表示部１０５と同一面に備えられていてもよく、表示部１０５と異なる面に備えられていてもよい。また、撮像装置１０７は、情報処理端末１Ａとは別の情報処理装置（例えば、メガネ型端末などのウェアラブル端末）に備えられ、情報処理端末１Ａと通信を行うことにより、本開示に係る情報処理システムの機能を実行するものであってもよい。
なお、撮像装置１０７は、デフォーカス処理によって後述するぼかし処理を施すためには、ピント位置を像面位相差検出方式により検出する撮像装置であることが好ましい。ここで、像面位相差検出方式は、撮像レンズから入射した光を２つに分けて専用センサへ導き、結像した２つの像の間隔からジャストフォーカスからのピント位置の方向およびずれ量を判断するフォーカス検出方式である。また、像面位相差検出方式は、入射した光が導かれる専用センサが撮像素子と同一面（像面）にあることを特徴とする。このような像面位相差検出方式では、被写体に対するジャストフォーカスからのピント位置の方向およびずれ量を検出することができる。そのため、撮像装置１０７は、ジャストフォーカスからのピント位置のずれ量を適切に制御することにより、適切なぼかし量のデフォーカス処理を施した画像を取得することができる。また、像面位相差検出方式は、他のフォーカス検出方式（例えば、コントラスト検出方式）に対して、より高速でのピント位置検出が可能である。そのため、撮像装置１０７は、高い即時性にて画像を撮像することができる。
ここで、撮像装置１０７は、ユーザによってメッセージが入力され、該メッセージの送信が指示された時点で自動的に撮像を行い、画像を取得してもよい。この構成によれば、情報処理端末１Ａは、ユーザに対して特別な操作を要求することなく自動的に撮像装置１０７にて撮像した画像を取得することができる。
また、撮像装置１０７は、ユーザによって所定の文字列が入力された時点で自動的に撮像を行い、画像を取得してもよい。この構成によれば、情報処理端末１Ａは、ユーザに対してメッセージを入力しながら撮像装置１０７に撮像の指示を出すことを可能にする。なお、ユーザが撮像を指示するための所定の文字列は、一般的なメッセージにおいて出現頻度が低い文字列であることが好ましく、例えば、「＃＃」、「＠＠＠」などであってもよい。また、撮像を指示する所定の文字列は、撮像終了後、メッセージ入力欄から自動的に削除されることが好ましい。
さらに、撮像装置１０７は、ユーザから撮像を指示された時点で撮像を行い、画像を取得してもよい。この構成によれば、情報処理端末１Ａは、ユーザに対して任意のタイミングで撮像することを可能にする。
ぼかし制御部１０９は、撮像装置１０７が撮像した画像に対して施されるぼかし処理を制御する。具体的には、ぼかし制御部１０９は、撮像装置１０７が撮像した画像に移りこんだ人のプライバシー保護のために、撮像された画像に対して視認性を低下させる画像処理を施す。例えば、ぼかし制御部１０９は、撮像装置１０７が撮像した画像に対して、低解像度化処理、低コントラスト化処理、または二値化処理などを施すことにより、視認性を低下させた画像を生成してもよい。なお、ぼかし制御部１０９が、撮像装置１０７によって撮像された画像に対して実行するぼかし処理は、画像の視認性を低下させる画像処理であれば、上記の処理に限定されず、公知の様々な画像処理であってもよい。
また、ぼかし制御部１０９は、撮像装置１０７に対してデフォーカス状態で撮像させることにより、撮像された画像に対してぼかし処理を施してもよい。具体的には、ぼかし制御部１０９は、撮像装置１０７の像面位相差検出方式によりジャストフォーカスからのピント位置のずれ量（デフォーカス量）が所定の量になるようにピント位置を調整し、デフォーカス状態にて撮像装置１０７に対して撮像させる。この構成によれば、ぼかし制御部１０９は、撮像された画像に対して画像処理をする必要がなくなるため、消費電力量を削減することができる。
なお、ぼかし制御部１０９によるぼかし処理の程度は、撮像された画像がぼけ過ぎず、鮮明過ぎず、ユーザがいる状況の雰囲気のみを伝えられる程度が好ましい。また、ぼかし制御部１０９によるぼかし処理の程度は、ユーザによって指定されたぼかし量であってもよい。
ここで、デフォーカス処理によるぼかし処理は、デフォーカス量が大きくなると急激に像の視認性が低下する。そのため、仮にデフォーカス量が大きすぎる場合、撮像装置１０７により得られた画像において、全く像が得られない可能性がある。したがって、撮像装置１０７は、ジャストフォーカスからのピント位置のずれ量および方向を検出可能であり、正確なピント位置の調整が可能な像面位相差検出方式のピント位置検出機能を備え、正確なピント位置調整を行うことが好ましい。なお、ぼかし制御部１０９が調整する撮像装置１０７のデフォーカス量は、ユーザによって指定されたぼかし量に対応するデフォーカス量であってもよいことは言うまでもない。
（情報処理サーバの構成）
サーバ通信部２０１は、情報処理端末１Ａと通信を行う。具体的には、サーバ通信部２０１は、入力部１０３に入力されたメッセージ、撮像装置１０７が撮像した画像を情報処理端末１Ａから受信し、制御部２０７が生成した表示を情報処理端末１Ａに送信する。例えば、サーバ通信部２０１は、ネットワーク３に接続するための通信デバイス等で構成された通信インターフェースであってもよい。また、サーバ通信部２０１は、無線または有線により電話回線網に接続可能な通信装置であってもよく、有線ＬＡＮまたは無線ＬＡＮ対応通信装置であってもよいし、有線による通信を行うワイヤー通信装置であってもよい。
メッセージ取得部２０３は、それぞれの情報処理端末１Ａにて入力されたメッセージを取得する。具体的には、メッセージ取得部２０３は、ネットワーク３を介して、それぞれの情報処理端末１Ａにて入力されたメッセージを取得する。
関連情報取得部２０５は、それぞれの情報処理端末１Ａにて取得されたユーザに関連した情報を取得する。具体的には、関連情報取得部２０５は、それぞれの情報処理端末１Ａから、メッセージが入力された際に撮像された画像を取得する。すなわち、本開示の第１の実施形態において、ユーザに関連した情報とは、撮像装置１０７にて撮像された画像を意味する。
制御部２０７は、関連情報取得部２０５が取得したユーザに関連した情報に基づいて、取得したメッセージを伝達するための情報処理を制御する。具体的には、制御部２０７は、関連情報取得部２０５が取得した撮像画像と、メッセージ取得部２０３が取得したメッセージとを関連付けて配置した表示を生成する。より具体的には、制御部２０７は、関連情報取得部２０５が取得した撮像画像をメッセージ取得部２０３が取得したメッセージの背景として用いた表示を生成する。
また、制御部２０７は、撮像画像をメッセージの背景として用いた表示を生成する場合、関連情報取得部２０５が取得した撮像画像の色情報に基づいて、メッセージを表示する色を変更してもよい。例えば、メッセージを表示する色の明度と、背景に用いた画像の色の明度との差が小さく、背景に対してメッセージの文字色のコントラストが低い場合、メッセージが視認しづらい場合がある。このような場合、制御部２０７は、撮像画像の全体またはメッセージを表示する領域における色の平均明度を算出し、算出した平均明度と、メッセージを表示する文字色の明度との差が拡大するように、メッセージを表示する文字色を変更してもよい。
［２．２．情報処理システムの動作例］
続いて、図３Ａ〜図５を参照して、本開示の第１の実施形態に係る情報処理システムの動作例について説明する。図３Ａおよび３Ｂは、制御部２０７が生成する表示の一例を示した説明図であり、図４は、本開示の第１の実施形態に係る情報処理システムの動作例を示したフローチャート図である。また、図５は、図３Ｂの表示の変形例を示す説明図である。
以下では、図３Ａおよび図３Ｂにて示す制御部２０７によって生成された表示を参照しながら、図４に示したフローチャートに沿って情報処理システムの動作を説明する。
図３Ａに示した表示４００には、第１のユーザによって送信された「今日どうする？」というメッセージ４０２が表示されている。これに対して、第２のユーザによりメッセージ入力欄４０４に「飯田橋に２０時待ち合わせでいい？」というメッセージが入力される（Ｓ１００）。続いて、第２のユーザにより送信ボタン４０５が押下された場合、撮像装置１０７は、画像を撮像する（Ｓ１０２）。次に、ぼかし制御部１０９は、撮像装置１０７により撮像された画像に対してぼかし処理を施す（Ｓ１０４）。
続いて、制御部２０７は、入力されたメッセージと、ぼかし処理が施された画像とが関連付けられて配置された表示を生成する（Ｓ１０４）。具体的には、制御部２０７は、図３Ｂに示した表示４１０を生成する。図３Ｂに示した表示４１０には、第２のユーザが入力した「飯田橋に２０時待ち合わせでいい？」というメッセージ４１６が、第１のユーザによる「今日どうする？」というメッセージ４１２の下に表示されている。また、第２のユーザによるメッセージ４１６は、撮像装置１０７により撮像され、ぼかし処理が施された画像が背景に用いられている。
なお、Ｓ１０２において、撮像装置１０７が画像を撮像するタイミングは、上記に限定されず、撮像を指示するボタンが押下された時や、所定の文字列が入力された時であってもよい。
したがって、本開示の第１の実施形態に係る情報処理システムは、入力されたメッセージと関連付けて、該メッセージが入力された際に撮像された画像を表示することができる。そのため、本開示の第１の実施形態に係る情報処理システムによれば、撮像画像を用いて、メッセージが入力された際のユーザの状況をメッセージと併せて伝達することができる。
また、制御部２０７は、図５に示した表示４１０Ａを生成してもよい。図４に示した表示４１０Ａには、「飯田橋に２０時待ち合わせでいい？」というメッセージ４１６Ａが、「今日どうする？」というメッセージ４１２Ａの下に表示されており、メッセージ４１６Ａの文字色は、背景に用いた画像の色情報に基づいて変更されている。ここで、背景に用いた画像の色情報とは、例えば、背景に用いた画像全体の色の平均明度である。制御部２０７は、メッセージ４１６Ａの文字色と、画像全体の色の平均明度との差が拡大するようにメッセージ４１６Ａの文字色を制御することにより、メッセージ４１６Ａの視認性を向上させることができる。
［２．３．情報処理システムの動作の変形例］
さらに、図６を参照して、本開示の第１の実施形態に係る情報処理システムの動作の変形例について説明する。図６は、本開示の第１の実施形態に係る情報処理システムの動作の変形例を示したフローチャート図である。かかる変形例は、情報処理端末１Ａが備える撮像装置１０７が像面位相差検出方式によりピント位置を検出し、ぼかし制御部１０９がデフォーカス処理により撮像画像に対してぼかし処理を施す場合における情報処理システムの動作例である。
図６に示すように、まず、第２のユーザによりメッセージが入力される（Ｓ１０８）。次に、第２のユーザにより送信ボタン４０５が押下された場合、撮像装置１０７は、像面位相差検出方式により撮像対象との位相差を検出し、ピント位置を検出する（Ｓ１１０）。続いて、ぼかし制御部１０９は、ジャストフォーカス位置から所定の量だけデフォーカスするように撮像装置１０７のピント位置を調整する（Ｓ１１２）。その後、撮像装置１０７は、デフォーカス状態で画像を撮像する（Ｓ１１４）。続いて、制御部２０７は、入力されたメッセージと、デフォーカスによりぼかし処理が施された画像とを関連付けて配置した表示を生成する（Ｓ１１６）。
この変形例の動作によれば、本開示の第１の実施形態に係る情報処理システムは、画像処理を用いずに撮像装置１０７によって撮像された画像に対してぼかし処理を施すことができる。そのため、本開示の第１の実施形態に係る情報処理システムは、画像処理にかかる電力消費を削減することができる。
以上説明したように、本開示の第１の実施形態に係る情報処理システムは、ユーザによりメッセージが入力された際に撮像装置１０７により撮像された画像を入力されたメッセージと関連付けて配置した表示を生成することができる。そのため、メッセージを入力したユーザは、撮像画像により、メッセージを入力した際の周囲の様子をメッセージと併せて伝達することができる。
＜３．第２の実施形態＞
次に、図７〜図９を参照して、本開示の第２の実施形態に係る情報処理システムについて説明する。本開示の第２の実施形態に係る情報処理システムは、各種センサを有する情報処理端末１Ｂを備え、入力されたメッセージと、各種センサからのユーザに関連した情報に基づいた画像とを関連付けて配置した表示を生成する。これにより、本開示の第２の実施形態に係る情報処理システムは、メッセージが入力された際のユーザの状況をメッセージと併せて伝達することができる。
具体的には、情報処理システムは、ユーザがメッセージを入力、送信する際の所定の入力操作に基づいて、各種センサを用いて、ユーザに関連した情報を取得する。また、情報処理システムは、取得したユーザに関連した情報からユーザの状態を判断し、該ユーザの状態に対応した画像を取得する。さらに、情報処理システムは、入力されたメッセージと、該ユーザの状態に対応した画像とを関連付けて配置した表示を生成し、情報処理端末１Ｂに送信する。この情報処理システムによれば、メッセージを送信するユーザは、メッセージと併せて、メッセージを入力した際の自身の状態を多様な形態にて伝達することができる。
［３．１．情報処理システムの構成例］
まず、図７を参照して、本開示の第２の実施形態に係る情報処理システムの具体的な構成について説明する。図７は、本開示の第２の実施形態に係る情報処理システムの内部構成を示したブロック図である。
図７に示すように、本開示の第２の実施形態に係る情報処理システムは、情報処理端末１Ｂと、情報処理サーバ２Ｂとを備える。また、情報処理端末１Ｂおよび情報処理サーバ２Ｂは、ネットワーク３を介して接続されている。なお、ネットワーク３については、図１にて説明したとおりであるので、ここでの説明は省略する。
また、情報処理端末１Ｂは、端末通信部１１１と、入力部１１３と、表示部１１５と、センサ部１１７とを備え、情報処理サーバ２Ｂは、サーバ通信部２１１と、メッセージ取得部２１３と、関連情報取得部２１５と、制御部２１７と、画像記憶部２１９とを備える
（情報処理端末の構成）
端末通信部１１１、入力部１１３、および表示部１１５については、第１の実施形態にて説明した端末通信部１０１、入力部１０３、および表示部１０５と同様であるので、ここでの説明は省略する。
センサ部１１７は、各種センサを備え、ユーザに関連した情報を取得する。例えば、センサ部１１７は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサなどのユーザの位置情報を取得するセンサであってもよく、照度センサ、温度センサ、近接センサなどのユーザの周囲の環境に関する情報を取得するセンサであってもよい。また、各種センサは、心拍数センサ、血圧センサ等のユーザの身体に関する情報を取得するセンサであってもよい。さらに、センサ部１１７は、撮像装置を含んでもよい。
具体的には、センサ部１１７は、ＧＰＳセンサを備え、該ＧＰＳセンサによりユーザの位置情報を取得してもよい。また、センサ部１１７は、ネットワーク３との通信に用いられた基地局またはアクセスポイントの位置情報を取得するセンサを備えてもよく、該センサによりユーザの位置情報を取得してもよい。
また、例えば、センサ部１１７は、照度センサを備え、該照度センサによりユーザがいる環境の照度情報を取得してもよい。また、センサ部１１７は、温度センサを備え、該温度センサにより、ユーザがいる環境の温度情報を取得してもよい。さらに、センサ部１１７は、奥行きセンサ、近接センサ等を備え、該センサによりユーザの周囲の構造物に関する情報を取得してもよい。この構成によれば、ユーザがいる環境の照度情報、温度情報、および周囲の構造物に関する情報などを参照することにより、後述する制御部２１７は、ユーザがいる場所が屋内なのか、屋外なのか、地下なのか、地上なのかなど、位置情報からは判別できない詳細なユーザの環境について判断することが可能になる。
さらに、例えば、センサ部１１７は、心拍数センサ、血圧センサなどを備え、該センサによりユーザの身体に関する情報を取得してもよい。この構成によれば、ユーザの身体に関する情報を参照することにより、後述する制御部２１７は、ユーザが運動しているのか、走っているのか、座っているのかなど、ユーザの活動状況について判断することが可能になる。
なお、センサ部１１７は、上述した各種センサに限定されない。センサ部１１７は、公知の多様なセンサを備え、備えた多様なセンサにより多様な情報を取得してもよい。また、センサ部１１７は、情報処理端末１Ｂとは別の情報処理装置（例えば、メガネ型端末などのウェアラブル端末）に備えられていており、情報処理端末１Ｂと通信を行うことにより、本開示に係る情報処理システムの機能を実行するものであってもよい。
ここで、センサ部１１７がユーザに関連した情報を取得するタイミングは、第１の実施形態において撮像装置１０７が画像を取得するタイミングと同様であってもよい。具体的には、センサ部１１７は、ユーザによって入力されたメッセージの送信が指示された時に情報を取得してもよく、ユーザによって所定の文字列が入力された時に情報を取得してもよい。また、センサ部１１７は、ユーザから情報取得を指示された時に情報を取得してもよい。
（情報処理サーバの構成）
サーバ通信部２１１、およびメッセージ取得部２１３については、第１の実施形態にて説明したサーバ通信部２０１、およびメッセージ取得部２０３と同様であるので、ここでの説明は省略する。
関連情報取得部２１５は、それぞれの情報処理端末１Ｂにて取得されたユーザに関連した情報を取得する。具体的には、関連情報取得部２１５は、それぞれの情報処理端末１Ｂにてメッセージが入力された際に、センサ部１１７により取得されたユーザに関連する各種情報を取得する。すなわち、本開示の第２の実施形態において、ユーザに関連した情報とは、センサ部１１７により取得されたユーザに関連した各種情報を意味する。
制御部２１７は、関連情報取得部２１５が取得したユーザに関連した情報に基づいて、取得したメッセージを伝達するための情報処理を制御する。具体的には、制御部２１７は、関連情報取得部２１５が取得したユーザに関連した情報に基づいてユーザの状態を判断し、該ユーザの状態に対応した画像と、メッセージ取得部２１３が取得したメッセージとを関連付けて配置した表示を生成する。より具体的には、制御部２１７は、ユーザの状態に対応した画像をメッセージ取得部２１３が取得したメッセージの背景として用いた表示を生成する。
例えば、制御部２１７は、取得されたユーザの位置情報からユーザがいる場所を判断し、ユーザがいる場所に対応した画像をメッセージと関連付けて配置した表示を生成してもよい。また、制御部２１７は、所定の時間範囲におけるユーザの位置情報の変化からユーザの平均移動速度を算出し、ユーザの移動速度に対応した速度を表す画像をメッセージと関連付けて配置した表示を生成してもよい。また、制御部２１７は、ユーザがいる環境の照度情報、温度情報、および周囲の構造物に関する情報など（すなわち、ユーザの周囲の環境に関する情報）からユーザがいる場所を判断し、ユーザがいる場所に対応した画像をメッセージと関連付けて配置した表示を生成してもよい。さらに、制御部２１７は、ユーザの身体に関する情報からユーザの活動状況を判断し、ユーザの活動状況（すなわち、運動している、座っているなど）に対応した画像をメッセージと関連付けて配置した表示を生成してもよい。
また、制御部２１７は、さらにメッセージ取得部２１３が取得したメッセージに含まれる語句に基づいて、ユーザがいる位置、ユーザの活動状況などを判断してもよい。例えば、メッセージ取得部２１３が取得したメッセージに「図書館」などの建物を表す名詞、「飯田橋」などの地名を表す固有名詞が含まれる場合、制御部２１７は、これらの名詞が表す場所をユーザがいる位置と判断してもよい。
さらに、制御部２１７は、判断したユーザの状態に対応した語句がメッセージ取得部２１３により取得されたメッセージに含まれる場合、該ユーザの状態に対応した語句を強調した表示を生成してもよい。例えば、制御部２１７が位置情報からユーザのいる場所を「図書館」であると判断し、かつメッセージ取得部２１３により取得されたメッセージに「図書館」の語句が含まれる場合、制御部２１７は、「図書館」の語句を強調した表示を生成してもよい。
なお、制御部２１７は、第１の実施形態と同様に、ユーザの状態に対応した画像をメッセージの背景として用いた表示を生成する場合、ユーザの状態に対応した画像の色情報に基づいて、メッセージを表示する文字色を変更してもよい。
画像記憶部２１９は、制御部２１７メッセージと関連付けて配置するユーザの状態に対応した画像を記憶する。なお、図７に示す例では、画像記憶部２１９は、情報処理サーバ２Ｂに備えられるとしたが、本開示の技術はかかる例示に限定されない。例えば、画像記憶部２１９は、ネットワーク３に接続された他の情報処理装置が備えていてもよい。また、制御部２１７は、ネットワーク３に接続されたあらゆる記憶装置から検索して、ユーザの状態に対応した画像を取得してもよい。
［３．２．情報処理システムの動作例］
続いて、図８Ａ〜図９を参照して、本開示の第２の実施形態に係る情報処理システムの動作例について説明する。図８Ａおよび８Ｂは、制御部２１７が生成する表示の一例を示した説明図であり、図９は、本開示の第２の実施形態に係る情報処理システムの動作例を示したフローチャート図である。
以下では、図８Ａおよび図８Ｂにて示す制御部２１７によって生成された表示を参照しながら、図９に示したフローチャートに沿って情報処理システムの動作を説明する。
図８Ａに示した表示４２０には、第１のユーザによって送信された「今日どうする？」というメッセージ４２２が表示され、第２のユーザによって送信された「飯田橋に２０時待ち合わせでいい？」というメッセージ４２６が表示されている。これに対して、第１のユーザによりメッセージ入力欄４２４に「いいよ。今、図書館。」というメッセージが入力される（Ｓ２００）。続いて、第１のユーザにより送信ボタン４２５が押下された場合、センサ部１１７は、ユーザに関連した情報を取得する（Ｓ２０２）。次に、制御部２１７は、ユーザに関連した情報からユーザの状態を判断し（Ｓ２０４）、判断されたユーザの状態に対応した画像を画像記憶部２１９から取得する（Ｓ２０６）。
続いて、制御部２１７は、入力されたメッセージと、取得したユーザの状態に対応した画像とが関連付けられて配置された表示を生成する（Ｓ２０８）。具体的には、制御部２１７は、図８Ｂに示した表示４３０を生成する。図８Ｂに示した表示４３０には、第１のユーザが入力した「いいよ。今、図書館。」というメッセージ４３８が、第２のユーザによる「飯田橋に２０時待ち合わせでいい？」というメッセージ４２６の下に表示されている。また、第１のユーザが入力した「いいよ。今、図書館。」というメッセージ４３８において、第１のユーザがいる場所に対応した図書館の画像が背景として用いられている。なお、制御部２１７は、「いいよ。今、図書館。」というメッセージ４３８において、「図書館」を強調するように文字の表示を変更してもよい。
なお、Ｓ２０２において、センサ部１１７がユーザに関連した情報を取得するタイミングは、第１の実施形態と同様に上記に限定されず、情報取得を指示するボタンが押下された時や、所定の文字列が入力された時であってもよい。
以上説明したように、本開示の第２の実施形態に係る情報処理システムは、入力されたメッセージと関連付けて、該メッセージが入力された際に取得した情報から判断したユーザの状態に対応する画像を表示することができる。そのため、本開示の第２の実施形態に係る情報処理システムによれば、メッセージが入力された際のユーザの状況を、ユーザの状態に対応する画像によってメッセージと併せて伝達することができる。
＜４．第３の実施形態＞
続いて、図１０〜図１２を参照して、本開示の第３の実施形態に係る情報処理システムについて説明する。本開示の第３の実施形態に係る情報処理システムは、位置センサを有する情報処理端末１Ｃを備え、入力されたメッセージと、位置センサにより取得された各ユーザの位置情報から判断したユーザ間の距離とを関連付けて配置した表示を生成する。これにより、本開示の第３の実施形態に係る情報処理システムは、メッセージが入力された際のユーザ間の距離をメッセージと併せて伝達することができる。
具体的には、情報処理システムは、ユーザがメッセージを入力、送信する際の所定の入力操作に基づいて、位置センサによりユーザの位置情報を取得する。また、情報処理システムは、各ユーザの位置情報からユーザ間の距離を算出し、入力されたメッセージと、算出したユーザ間の距離とを関連付けて配置した表示を生成し、情報処理端末１Ｃに送信する。この情報処理システムによれば、ユーザは、メッセージと併せて、メッセージが入力された際の互いの距離を伝達することができる。
また、本開示の第３の実施形態に係る情報処理システムは、位置センサにより取得したユーザの位置情報に基づいてユーザ同士が集合する際に適切な場所を判断し、適切であると判断した場所を複数カ所、集合場所の候補地として表示してもよい。これによれば、本開示の第３の実施形態に係る情報処理システムは、ユーザに対して集合場所に適した場所を提案することができる。
［４．１．情報処理システムの構成例］
まず、図１０を参照して、本開示の第３の実施形態に係る情報処理システムの具体的な構成について説明する。図１０は、本開示の第３の実施形態に係る情報処理システムの内部構成を示したブロック図である。
図１０に示すように、本開示の第３の実施形態に係る情報処理システムは、情報処理端末１Ｃと、情報処理サーバ２Ｃとを備える。また、情報処理端末１Ｃおよび情報処理サーバ２Ｃは、ネットワーク３を介して接続されている。なお、ネットワーク３については、図１にて説明したとおりであるので、ここでの説明は省略する。
また、情報処理端末１Ｃは、端末通信部１２１と、入力部１２３と、表示部１２５と、位置センサ１２７とを備え、情報処理サーバ２Ｃは、サーバ通信部２２１と、メッセージ取得部２２３と、関連情報取得部２２５と、制御部２２７と、候補地記憶部２２９とを備える。
（情報処理端末の構成）
端末通信部１２１、入力部１２３、および表示部１２５については、第１の実施形態にて説明した端末通信部１０１、入力部１０３、および表示部１０５と同様であるので、ここでの説明は省略する。
位置センサ１２７は、ユーザの位置情報を取得するセンサである。具体的には、位置センサ１２７は、ＧＰＳによりユーザの位置情報を取得するＧＰＳセンサであってもよい。また、位置センサ１２７は、ネットワーク３との通信に用いられた基地局またはアクセスポイントの位置情報を取得するセンサであってもよく、基地局またはアクセスポイントの位置からユーザの位置情報を判断してもよい。
また、位置センサ１２７は、情報処理端末１Ｃとは別の情報処理装置（例えば、メガネ型端末などのウェアラブル端末）に備えられ、情報処理端末１Ｃと通信を行うことにより、本開示に係る情報処理システムの機能を実行するものであってもよい。
ここで、位置センサ１２７がユーザの位置情報を取得するタイミングは、第１の実施形態において撮像装置１０７が画像を取得するタイミングと同様であってもよい。具体的には、位置センサ１２７は、ユーザによって入力されたメッセージの送信が指示された時に位置情報を取得してもよく、ユーザによって所定の文字列が入力された時に位置情報を取得してもよい。また、位置センサ１２７は、ユーザから情報取得を指示された時に位置情報を取得してもよい。
（情報処理サーバの構成）
サーバ通信部２２１、およびメッセージ取得部２２３については、第１の実施形態にて説明したサーバ通信部２０１、およびメッセージ取得部２０３と同様であるので、ここでの説明は省略する。
関連情報取得部２２５は、それぞれの情報処理端末１Ｃにて取得されたユーザに関連した情報を取得する。具体的には、関連情報取得部２２５は、それぞれの情報処理端末１Ｃにてメッセージが入力された際に、位置センサ１２７により取得されたユーザの位置情報を取得する。すなわち、本開示の第２の実施形態において、ユーザに関連した情報とは、位置センサ１２７により取得されたユーザの位置情報を意味する。
制御部２２７は、関連情報取得部２２５が取得したユーザに関連した情報に基づいて、取得したメッセージを伝達するための情報処理を制御する。具体的には、制御部２２７は、関連情報取得部２２５が取得した各ユーザの位置情報に基づいてユーザ間の距離を算出し、該ユーザ間の距離情報と、メッセージ取得部２２３が取得したメッセージとを関連付けて配置した表示を生成する。
また、制御部２２７は、各ユーザの位置情報に基づいてユーザが集合する際に適切な場所を判断し、適切であると判断した場所を複数カ所、集合場所の候補地として示す表示を生成してもよい。例えば、制御部２２７は、各ユーザの位置の中間点に相当する場所を適切な集合場所であると判断し、集合場所の候補地として示す表示を生成してもよい。また、制御部２２７は、いずれかのユーザがいる場所を適切な集合場所であると判断し、集合場所の候補地として示す表示を生成してもよい。さらに、制御部２２７は、交通手段（例えば、鉄道、バスなどの公共交通網、道路等の交通経路など）を考慮し、いずれのユーザも容易に到達可能な場所を適切な集合場所であると判断し、集合場所の候補地として示す表示を生成してもよい。
さらに、制御部２２７は、集合場所となり得る場所に対して、あらかじめ優先度を設定して候補地記憶部２２９に記憶させておき、該優先度に基づいて、ユーザが集合する際に適切な場所を判断してもよい。具体的には、制御部２２７は、高い優先度が設定された場所を優先的に、集合に適切な場所であると判断し、集合場所の候補地として示す表示を生成してもよい。また、制御部２２７は、集合場所の候補地を複数表示する場合、高い優先度が設定された場所を強調する表示を生成してもよく、高い優先度が設定された場所を先頭などの目立つ位置に配置した表示を生成してもよい。この構成によれば、制御部２２７は、ユーザを誘導したい集合場所を優先的に提案する表示を生成することができる。
なお、集合場所となり得る場所に設定される優先度は、例えば、広告料を支払っている店舗等が高くなるように設定されてもよい。また、優先度は、例えば、知名度が高く目印になりやすい建造物が高くなるように設定されていてもよく、公共交通が集中する主要な駅等が高くなるように設定されていてもよい。
候補地記憶部２２９は、集合場所の候補地を記憶する。制御部２２７は、候補地記憶部２２９に記憶された集合場所の候補地の中から、各ユーザの位置情報に基づいてユーザが集合する際に適切な場所を判断する。また、候補地記憶部２２９は、集合場所の候補地それぞれについて、上述した優先度を記憶してもよい。
［４．２．情報処理システムの動作例］
次に、図１１Ａ〜図１２を参照して、本開示の第３の実施形態に係る情報処理システムの動作例について説明する。図１１Ａ〜１１Ｃは、制御部２２７が生成する表示の一例を示した説明図であり、図１２は、本開示の第３の実施形態に係る情報処理システムの動作例を示したフローチャート図である。
以下では、図１１Ａ〜１１Ｃにて示す制御部２２７によって生成された表示を参照しながら、図１２に示したフローチャートに沿って情報処理システムの動作を説明する。
図１１Ａに示した表示４４０には、第１のユーザによって送信された「東海道線が遅れている。。」というメッセージ４４２が表示され、第２のユーザによって送信された「車で迎えに行くよ！」というメッセージ４４６が表示されている。これに対して、第１のユーザによりメッセージ入力欄４４４に「待ち合わせはどこにする？」というメッセージが入力される（Ｓ３００）。続いて、第１のユーザにより送信ボタン４４５が押下された場合、位置センサ１２７は、ユーザの位置情報を取得する（Ｓ３０２）。
次に、制御部２２７は、各ユーザの位置情報からユーザ間の距離を算出し（Ｓ３０４）、入力されたメッセージと、算出したユーザ間の距離情報とが関連付けられて配置された表示を生成する（Ｓ３０６）。具体的には、制御部２２７は、図１１Ｂに示した表示４５０を生成する。図１１Ｂに示した表示４３０には、第１のユーザが入力した「待ち合わせはどこにする？」というメッセージ４５８が、第２のユーザによる「車で迎えに行くよ！」というメッセージ４５６の下に表示されている。また、第１のユーザが入力した「待ち合わせはどこにする？」というメッセージ４５８の下には、制御部２２７が算出した第１のユーザと第２のユーザとの距離である「距離：７ｋｍ」の距離表示４５９が表示されている。
なお、Ｓ３０２において、位置センサ１２７がユーザの位置情報を取得するタイミングは、第１の実施形態と同様に上記に限定されず、位置情報の取得を指示するボタンが押下された時や、所定の文字列が入力された時であってもよい。
続いて、制御部２２７は、第１のユーザおよび第２のユーザの位置情報に基づいて、候補地記憶部２２９に記憶された集合場所となり得る場所から、第１のユーザおよび第２のユーザが集合する際に適切な場所を判断する（Ｓ３０８）。
次に、制御部２２７は、集合場所として適切であると判断した場所を複数カ所、集合場所の候補地として示す表示を生成する（Ｓ３１０）。具体的には、制御部２２７は、図１１Ｃに示した表示４６０を生成する。図１１Ｃに示した表示４６０には、第１のユーザおよび第２のユーザの集合場所の候補地として、「カフェ新橋店」、「銀座ソニービル」、「東京駅」の３カ所が示されており、また、取得したユーザの位置情報が示す位置からの距離も併せて示されている。このうち、「カフェ新橋店」、「東京駅」はいずれかのユーザのいる場所であるため、集合場所として適切な場所であると制御部２２７に判断されている。また、「銀座ソニービル」は、それぞれのユーザがいる位置の中間点であるため、集合場所として適切な場所であると制御部２２７に判断されている。なお、制御部２２７は、集合場所の候補地の優先度に基づいて、「カフェ新橋店」、「銀座ソニービル」、「東京駅」の集合場所の候補地を示す表示の順序等を制御してもよい。
以上説明したように、本開示の第３の実施形態に係る情報処理システムは、入力されたメッセージと関連付けて、該メッセージが入力された際に取得したユーザの位置情報から算出したユーザ間の距離情報を表示することができる。そのため、本開示の第３の実施形態に係る情報処理システムによれば、ユーザは、メッセージが入力された際のユーザ間の位置関係をメッセージと併せて伝達することができる。
また、本開示の第３の実施形態に係る情報処理システムによれば、位置センサにより取得したユーザの位置情報に基づいて、ユーザ同士が集合する際に適切な場所を判断し、ユーザに対して集合場所の候補地を提案することもできる。
＜５．第４の実施形態＞
次に、図１３および１４を参照して、本開示の第４の実施形態に係る情報処理システムについて説明する。本開示の第４の実施形態に係る情報処理システムは、複数のセンサを有する情報処理端末を備え、メッセージの入力、送信の際に取得される情報をユーザによって選択することが可能な情報処理システムである。
具体的には、情報処理システムは、ユーザがメッセージを入力、送信する際に、いかなる情報を取得し、送信するのかをユーザに選択させる。また、情報処理システムは、ユーザによって選択された情報を取得し、入力されたメッセージと、該情報とを関連付けて配置した表示を生成し、情報処理端末に送信する。この情報処理システムによれば、ユーザは、メッセージと併せて、任意の情報によりメッセージが入力された際の自身の状態を伝達することができる。
なお、第４の実施形態に係る情報処理システムの具体的な構成については、第１〜第３の実施形態に係る情報処理システム、またはその組み合わせと同様であるので、ここでの説明は省略する。
［５．１．情報処理システムの動作例］
続いて、図１３および１４を参照して、第４の実施形態に係る情報処理システムの動作例について説明する。図１３は、第４の実施形態に係る情報処理システムが生成する表示の一例を示した説明図であり、図１４は、本開示の第４の実施形態に係る情報処理システムの動作例を示したフローチャート図である。
以下では、図１３にて示す情報処理システムによって生成された表示を参照しながら、図１４に示したフローチャートに沿って情報処理システムの動作を説明する。
図１３に示した表示４７０には、第１のユーザによって送信された「今日はどうする？」というメッセージ４７２が表示されている。これに対して、第２のユーザによりメッセージ入力欄４７４に「飯田橋に２０時待ち合わせでいい？」というメッセージが入力される（Ｓ４００）。続いて、第２のユーザにより送信ボタン４７５が押下された場合、情報処理システムは、取得する情報の選択表示４７３を生成する。ここで、選択表示４７３に対する第２のユーザの入力操作によって、メッセージと併せて送信する情報が選択され（Ｓ４０２）、情報処理システムは、ユーザにより選択されたユーザに関連した情報を取得する（Ｓ４０４）。さらに、情報処理システムは、取得したユーザに関連した情報と、入力されたメッセージとを関連付けて配置された表示を生成し、情報処理端末に表示させる。
例えば、図１３に示す選択表示４７３において、「メインカメラ」または「フロントカメラ」が選択された場合、情報処理システムは、第１の実施形態に係る情報処理システムの動作を実行してもよい。なお、「メインカメラ」とは、例えば、情報処理端末１Ａにおいて表示部１０５と異なる面側に備えられた撮像装置１０７であり、「フロントカメラ」とは、情報処理端末１Ａにおいて表示部１０５と同一面側に備えられた撮像装置１０７である。
また、図１３に示す選択表示４７３において、「照度」、「温度」、「現在位置」、または「心拍数」が選択された場合、情報処理システムは、第２の実施形態に係る情報処理システムの動作を実行してもよい。
さらに、図１３に示す選択表示４７３において、「距離」が選択された場合、情報処理システムは、第３の実施形態に係る情報処理システムの動作を実行してもよい。
加えて、図１３に示す選択表示４７３において、「オート」が選択された場合、情報処理システムは、ユーザに関連した情報のうち無作為に選択した情報を取得し、メッセージと併せて送信してもよい。
以上説明したように、本開示の第４の実施形態に係る情報処理システムは、ユーザがメッセージを入力、送信する際に、ユーザに関連した情報のうち、いずれの情報を取得し、送信するのかをユーザが選択することができる。そのため、本開示の第４の実施形態に係る情報処理システムによれば、ユーザは状況に応じて自身の状況を伝達するために適切な情報を選択し、メッセージと併せて伝達することができる。
＜６．第５の実施形態＞
次に、図１５〜図１８を参照して、本開示の第５の実施形態に係る情報処理システムについて説明する。
まず、図１５を参照して、本開示の第５の実施形態に係る情報処理システムの概略について説明する。図１５は、本開示の第５の実施形態に係る情報処理システムの概略を示した説明図である。
図１５に示すように、本開示の第５の実施形態に係る情報処理システムは、撮像装置を有する情報処理端末１Ｄを備え、該撮像装置によりユーザ５の特徴動作に関する情報を取得する。具体的には、本開示の第５の実施形態に係る情報処理システムは、ユーザ５がメッセージを入力、送信する際の特徴動作を撮像装置により検出し、ユーザ５が所定の特徴動作を行ったか否かに基づいて、入力されたメッセージを伝達するための情報処理を制御するものである。
ここで、ユーザの特徴動作とは、例えば、ユーザの表情、動作などである。情報処理システムは、例えば、ユーザ５が笑顔か否か、ユーザ５が悲しみの表情か否か、ユーザ５が怒りの表情か否か等のユーザ５の表情に基づいて、入力されたメッセージを伝達するための情報処理を制御してもよい。また、情報処理システムは、ユーザ５が所定の動作（例えば、ピースサインなど）をしているか否かに基づいて、入力されたメッセージを伝達するための情報処理を制御してもよい。
このような情報処理システムは、撮像装置により、メッセージを入力、送信する際のユーザの気分や感情が反映された特徴動作を認識することができるため、認識した特徴動作に基づいてメッセージを伝達するための情報処理を制御することができる。そのため、本開示の第５の実施形態に係る情報処理システムは、メッセージを入力、送信する際のユーザの気分や感情をより反映させてメッセージを伝達することができる。
［６．１．情報処理システムの構成例］
まず、図１６を参照して、本開示の第５の実施形態に係る情報処理システムの具体的な構成について説明する。図１６は、本開示の第５の実施形態に係る情報処理システムの内部構成を示したブロック図である。
図１６に示すように、本開示の第５の実施形態に係る情報処理システムは、情報処理端末１Ｄと、情報処理サーバ２Ｄとを備える。また、情報処理端末１Ｄおよび情報処理サーバ２Ｄは、ネットワーク３を介して接続されている。なお、ネットワーク３については、図１にて説明したとおりであるので、ここでの説明は省略する。
また、情報処理端末１Ｄは、端末通信部１３１と、入力部１３３と、表示部１３５と、撮像装置１３７と、特徴検出部１３９とを備え、情報処理サーバ２Ｄは、サーバ通信部２３１と、メッセージ取得部２３３と、関連情報取得部２３５と、制御部２３７と、特徴ポイント記憶部２３９とを備える。
（情報処理端末の構成）
端末通信部１３１、入力部１３３、および表示部１３５については、第１の実施形態にて説明した端末通信部１０１、入力部１０３、および表示部１０５と同様であるので、ここでの説明は省略する。
撮像装置１３７は、撮像レンズおよび撮像素子等を備え、被写体の画像を取得する。具体的には、撮像装置１３７は、ＣＭＯＳイメージセンサまたはＣＣＤイメージセンサなどで構成される撮像素子により、撮像レンズを介して入射する被写体からの光を光電変換し、画像信号に変換する。なお、撮像装置１３７は、メッセージを入力するユーザの特徴動作を検出するための画像を取得することができるように、情報処理端末１Ｄにおいて表示部１３５と同一面側に備えられることが好ましい。
特徴検出部１３９は、撮像装置１３７が取得したユーザの画像に基づいて、ユーザが特徴動作をしているか否かを検出する。具体的には、特徴検出部１３９は、撮像装置１３７が取得したユーザの画像と、あらかじめ設定された表情または動作などの特徴動作とを照らし合わせ、ユーザが特徴動作をしているか否かを判断する。
また、特徴検出部１３９は、ユーザが特徴動作をしていると判断した場合に、さらにユーザがしている特徴動作の程度または回数を評価してもよい。具体的には、特徴検出部１３９は、検出した特徴動作が笑顔等の表情である場合、ユーザの笑顔がどの程度の喜びを表しているかを評価してもよい。また、特徴検出部１３９は、検出した特徴動作が動作等である場合、ユーザが実行している動作があらかじめ設定された動作とどの程度一致しているかを評価してもよい。さらに、特徴検出部１３９は、検出した特徴動作が所定の特徴動作と一致した回数を評価してもよい。なお、特徴検出部１３９は、上記の特徴動作の程度を、例えば、１００点を満点とする数値にて評価してもよいし、複数の段階を有するランク分けにて評価してもよい。
なお、特徴検出部１３９は、図１６では、情報処理端末１Ｄに備えられているとして説明したが、本開示に係る技術は、上記に限定されない。例えば、特徴検出部１３９は、情報処理サーバ２Ｄに備えられてもよい。
ここで、特徴検出部１３９は、撮像装置１３７により取得されたユーザの画像からユーザが特徴動作をしているか否かを常時、判断していてもよい。また、特徴検出部１３９は、メッセージングシステムが実行されている間のみ、撮像装置１３７によりユーザの画像を取得し、ユーザが特徴動作をしているか否かを判断してもよい。さらに、特徴検出部１３９は、ユーザがメッセージを入力している間のみ、撮像装置１３７によりユーザの画像を取得し、ユーザが特徴動作をしているか否かを判断してもよい。ただし、特徴動作の誤検出を防ぐため、および情報処理にて消費する電力を削減するために、特徴検出部１３９は、ユーザがメッセージを入力している間のみ、撮像装置１３７によりユーザの画像を取得し、ユーザが特徴動作をしているか否かを判断することが好ましい。
（情報処理サーバの構成）
サーバ通信部２３１、およびメッセージ取得部２３３については、第１の実施形態にて説明したサーバ通信部２３１、およびメッセージ取得部２３３と同様であるので、ここでの説明は省略する。
関連情報取得部２３５は、情報処理端末１Ｄにて取得されたユーザに関連した情報を取得する。具体的には、関連情報取得部２２５は、情報処理端末１Ｄにてメッセージが入力、送信された際のユーザの特徴動作に関する情報を取得する。すなわち、本開示の第５の実施形態において、ユーザに関連した情報とは、特徴検出部１３９により検出されたユーザが特徴動作をしている否かを示す情報を意味する。また、上記のユーザに関連した情報は、ユーザがしている特徴動作の評価結果をさらに含んでもよい。
制御部２３７は、関連情報取得部２３５が取得したユーザの特徴動作に関する情報に基づいて、メッセージを伝達するための情報処理を制御する。具体的には、制御部２３７は、ユーザが所定の特徴動作をしている場合、特定の操作を入力することが可能なボタン等の表示を新たに生成してもよい。また、制御部２３７は、ユーザが所定の特徴動作をしている場合、表示されている画像を別の画像を変更した表示を生成してもよい。
より具体的には、制御部２３７は、ユーザが笑顔であることを検出した場合、笑顔であることを示す情報をメッセージと併せて送信することを指示する「ｓｍｉｌｅ送信ボタン」の表示を生成してもよい。なお、「ｓｍｉｌｅ送信ボタン」の表示は、メッセージのみを送信することを指示する「通常送信ボタン」の表示の替わりに生成されてもよく、「通常送信ボタン」の表示と並行して生成されてもよい。また、制御部２３７は、ユーザが笑顔であることを検出している間のみ「ｓｍｉｌｅ送信ボタン」の表示を生成してもよく、ユーザが笑顔であることを検出してからメッセージが送信されるまでの間、「ｓｍｉｌｅ送信ボタン」の表示を生成してもよい。
また、ユーザにより「ｓｍｉｌｅ送信ボタン」を用いてメッセージが送信された場合、制御部２３７は、メッセージを送信したユーザを表す表示（すなわち、ユーザを表すアイコン）を「ｓｍｉｌｅ送信」専用の他の表示に変更してもよい。例えば、制御部２３７は、「ｓｍｉｌｅ送信ボタン」を用いてメッセージが送信された場合、メッセージを送信したユーザを表す表示（アイコン）を該ユーザの笑顔の画像に変更してもよい。
さらに、ユーザにより「ｓｍｉｌｅ送信ボタン」を用いてメッセージが送信された場合、制御部２３７は、送信されたメッセージを含む表示の全体の背景を「ｓｍｉｌｅ送信」専用の背景に変更してもよい。また、ユーザにより「ｓｍｉｌｅ送信ボタン」を用いてメッセージが送信された場合、制御部２３７は、送信されたメッセージの背景を「ｓｍｉｌｅ送信」専用の背景に変更してもよい。
また、制御部２３７は、ユーザが所定の特徴動作をしているか否かに基づいて、ユーザが使用可能な機能を制御してもよい。具体的には、制御部２３７は、ユーザが所定の特徴動作をしていることを検出した場合に、ユーザに対して所定の機能を使用可能にしてもよい。また、逆に、制御部２３７は、ユーザが所定の特徴動作をしていることを検出した場合に、ユーザに対して所定の機能を使用不可にしてもよい。より具体的には、制御部２３７は、ユーザが笑顔であることを検出した場合に、ユーザに対して動画添付機能などを使用可能にしてもよい。また、制御部２３７は、ユーザが怒りの表情であることを検出した場合に、ユーザに対してメッセージ送信機能などを使用不可にしてもよい。
ここで、制御部２３７は、ユーザの特徴動作に対する程度または回数の評価結果をユーザと紐付け、該ユーザに紐付けられた評価結果が所定の条件を満たす場合に、メッセージを伝達するための情報処理を変更してもよい。なお、制御部２３７がユーザの特徴動作に対する程度の評価結果を紐付けるユーザは、メッセージが送信されたユーザ（すなわち、特徴動作をしたユーザとコミュニケーションしているユーザ）である。ただし、制御部２３７は、メッセージを送信したユーザ（すなわち、特徴動作をしたユーザ）に対して、ユーザの特徴動作に対する評価結果を紐付けてもよい。
例えば、ユーザの特徴動作に対する程度または回数が数値にて評価されている場合、制御部２３７は、メッセージが送信されたユーザに対して、該評価結果の数値をポイントとして付与してもよい。また、制御部２３７は、ユーザに付与されたポイントの累積値が閾値を超えた場合、該ユーザに対して新たなサービスや新たなコンテンツを提供してもよい。さらに、制御部２３７は、ユーザに付与されたポイントの累計値から所定の値を差し引くことと引き換えに、該ユーザに対して新たなサービスや新たなコンテンツを提供してもよい。
特徴ポイント記憶部２３９は、ユーザの特徴動作に対する程度または回数の評価結果と、ユーザとの紐付け関係を記憶する。具体的には、特徴ポイント記憶部２３９は、ユーザの特徴動作に対する評価結果と、メッセージが送信されたユーザ（すなわち、特徴動作をしたユーザとコミュニケーションしているユーザ）とを紐付けて記憶する。例えば、特徴ポイント記憶部２３９は、ユーザの特徴動作に対する評価が数値にて表現される場合、メッセージが伝達されたユーザに対して紐付けられた該評価結果の数値を付与されたポイントとして記憶する。また、特徴ポイント記憶部２３９は、ユーザに付与されたポイントを積算し、ユーザごとに付与されたポイントの累計値を記憶してもよい。
［６．２．情報処理システムの動作例］
次に、図１７Ａ〜図１８を参照して、本開示の第５の実施形態に係る情報処理システムの動作例について説明する。図１７Ａおよび図１７Ｂは、制御部２３７が生成する表示の一例を示した説明図であり、図１８は、本開示の第５の実施形態に係る情報処理システムの動作例を示したフローチャート図である。
以下では、図１７Ａおよび１７Ｂにて示す制御部２２７によって生成された表示を参照しながら、図１８に示したフローチャートに沿って情報処理システムの動作を説明する。なお、図１７Ａ〜図１８で示す本開示の第５の実施形態に係る情報処理システムの動作例は、ユーザの笑顔を検出し、ユーザが笑顔である場合にメッセージを伝達する情報処理を変更する動作例である。
図１７Ａに示した表示４８０には、第１のユーザによって送信された「今日どうする？」というメッセージ４８２が表示され、第２のユーザによって送信された「飯田橋に２０時待ち合わせでいい？」というメッセージ４８６が表示されている。これに対して、第１のユーザによりメッセージ入力欄４８４に「いいよ。今、図書館。」というメッセージが入力される（Ｓ５００）。ここで、撮像装置１３７は、随時、第１のユーザの撮像画像を取得し（Ｓ５０２）、特徴検出部１３９は、撮像装置１３７が取得したユーザの画像からユーザが笑顔であるか否か（すなわち、所定の特徴動作をしているか否か）を判断する（Ｓ５０４）。
特徴検出部１３９によりユーザが笑顔ではないと判断された場合（Ｓ５０６／Ｎｏ）、制御部２３７は、通常送信ボタン４８５の表示を生成する（Ｓ５０６）。具体的には、制御部２３７は、図１７Ａに示した表示４８０から「ｓｍｉｌｅ」送信ボタン４８５Ａを除いた表示を生成する。さらに、該通常送信ボタン４８５が押下された場合、制御部２３７は、入力されたメッセージと、第１のユーザを表す通常のアイコン４９２Ａとを関連付けて配置した表示を生成する。
一方、特徴検出部１３９によりユーザが笑顔であると判断された場合（Ｓ５０６／Ｙｅｓ）、制御部２３７は、通常送信ボタン４８５に加えて、「ｓｍｉｌｅ」送信ボタン４８５Ａを含む表示を生成する（Ｓ５１０）。
ここで、制御部２３７は、「ｓｍｉｌｅ」送信ボタン４８５Ａが押下されたか否かを判断する（Ｓ５１２）。ユーザにより「ｓｍｉｌｅ」送信ボタン４８５Ａが押下された場合（Ｓ５１２／Ｙｅｓ）、制御部２３７は、第１のユーザを表す笑顔アイコン４９８Ａと、入力されたメッセージとを関連付けて配置した表示を生成する。具体的には、制御部２３７は、図１７Ｂに示した表示４９０を生成する。図１７Ｂに示した表示４９０には、第１のユーザが入力した「いいよ。今、図書館。」というメッセージ４９８が、第２のユーザによる「飯田橋に２０時待ち合わせでいい？」というメッセージ４９６の下に表示されている。また、「いいよ。今、図書館。」というメッセージ４９８は、第１のユーザを表す笑顔アイコン４９８Ａからの吹き出しにて表示されている。この表示によれば、第１のユーザは、ユーザを表すアイコンの違いによって、笑顔にてメッセージを入力、送信したことをメッセージと併せて伝達することができる。
また、ユーザによりｓｍｉｌｅ送信ボタン４８５Ａが押下されなかった場合（Ｓ５１２／Ｎｏ）、制御部２３７は、該通常送信ボタン４８５が押下された場合と同様に、入力されたメッセージと、第１のユーザを表すアイコン４９２Ａとを関連付けて配置した表示を生成する（Ｓ５０８）。
なお、制御部２３７は、ユーザが笑顔の時のみ、ｓｍｉｌｅ送信ボタン４８５Ａを表示してもよいし、一度でも笑顔を検出すれば、該メッセージを送信するまではｓｍｉｌｅ送信ボタン４８５Ａを表示し続けてもよい。
以上説明したように、本開示の第５の実施形態に係る情報処理システムは、撮像装置１３７により取得した画像に基づいて、ユーザが所定の特徴動作をしているか否かを検出することができる。また、本開示の第５の実施形態に係る情報処理システムは、ユーザが所定の特徴動作を行ったか否かに基づいて、入力されたメッセージを伝達する際の情報処理を制御する。このため、本開示の第５の実施形態に係る情報処理システムによれば、ユーザは、メッセージを入力、送信する際のユーザの気分や感情をメッセージと併せて伝達することができる。
＜７．ハードウェア構成＞
以下では、図１９を参照して、本開示の各実施形態に係る情報処理端末１および情報処理サーバ２を実現する情報処理装置７のハードウェア構成について説明を行う。図１９は、本開示の各実施形態に係る情報処理装置７のハードウェア構成を説明した説明図である。なお、情報処理装置７による情報処理は、ソフトウェアとハードウェアとの協働によって実現される。
図１９に示すように、情報処理装置７は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７００と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７０４と、ブリッジ７０８と、内部バス７０６および７１０と、インターフェース７１２と、入力装置７１４と、出力装置７１６と、ストレージ装置７１８と、ドライブ７２０と、接続ポート７２２と、通信装置７２４と、を備える。
ＣＰＵ７００は、演算処理装置および制御装置として機能し、各種プログラムに従って、情報処理装置７内の動作全般を制御する。ＲＯＭ７０２は、ＣＰＵ７００が使用するプログラム、演算パラメータを記憶し、ＲＡＭ７０４は、ＣＰＵ７００の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ７００は、例えば、ぼかし制御部１０９、特徴検出部１３９、メッセージ取得部２０３、２１３、２２３、２３３、関連情報取得部２０５、２１５、２２５、２３５、および制御部２０７、２１７、２２７、２３７の機能を実行する。
これらＣＰＵ７００、ＲＯＭ７０２およびＲＡＭ７０４は、ブリッジ７０８、内部バス７０６および７１０等により相互に接続されている。また、ＣＰＵ７００、ＲＯＭ７０２およびＲＡＭ７０４は、インターフェース７１２を介して入力装置７１４、出力装置７１６、ストレージ装置７１８、ドライブ７２０、接続ポート７２２、および通信装置７２４とも接続されている。
入力装置７１４は、タッチパネルなどのユーザが情報を入力するための装置、およびセンサ等の外部からの情報が入力されるための装置を含み、また、入力された情報に基づいて入力信号を生成し、ＣＰＵ７００に出力するための入力制御回路なども含む。入力装置７１４は、例えば、撮像装置１０７、１３７、センサ部１１７、位置センサ１２７、および入力部１０３、１１３、１２３、１３３の機能を実行する。
出力装置７１６は、例えば、ＬＣＤ装置、ＯＬＥＤ装置、プラズマディスプレイ装置、ＣＲＴ装置およびランプなどの表示装置を含む。さらに、出力装置７１６は、スピーカおよびヘッドホンなどの音声出力装置を含んでもよい。例えば、表示装置は、生成された画像を表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。出力装置７１６は、例えば、表示部１０５、１１５、１２５、１３５の機能を実行する。
ストレージ装置７１８は、情報処理装置７の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置７１８は、記憶媒体、記憶媒体にデータを記憶する記憶装置、記憶媒体からデータを読み出す読み出し装置、および記憶されたデータを削除する削除装置を含んでもよい。ストレージ装置７１８は、例えば、画像記憶部２１９、候補地記憶部２２９、特徴ポイント記憶部２３９の機能を実行する。
ドライブ７２０は、記憶媒体用リードライタであり、情報処理装置７に内蔵、または外付けされる。ドライブ７２０は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記憶されている情報を読み出して、ＲＡＭ７０４に出力する。また、ドライブ７２０は、リムーバブル記憶媒体に情報を書き込むこともできる。
接続ポート７２２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、光オーディオ端子等のような外部接続機器を接続するための接続ポートで構成された接続インターフェースである。
通信装置７２４は、例えば、ネットワーク３に接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置７２４は、無線ＬＡＮ対応通信装置であっても、有線によるケーブル通信を行うケーブル通信装置であってもよい。通信装置７２４は、例えば、端末通信部１０１、１１１、１２１、１３１、およびサーバ通信部２０１、２１１、２２１、２３１の機能を実行する。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
複数のユーザがそれぞれ入力したメッセージを取得するメッセージ取得部と、
撮像装置を用いて、前記メッセージを入力したユーザに関連した情報を取得する関連情報取得部と、
前記ユーザに関連した情報に基づいて、入力された前記メッセージを伝達するための情報処理を制御する制御部と、
を備える、情報処理システム。
（２）
前記関連情報取得部は、前記メッセージに関する入力操作に基づいて、自動的に前記ユーザに関連した情報を取得する、前記（１）に記載の情報処理システム。
（３）
前記制御部は、前記ユーザに関連した情報に基づいた画像である関連画像を前記メッセージと関連付けて配置した表示を生成して前記メッセージを伝達する、前記（１）または（２）に記載の情報処理システム。
（４）
前記関連画像は、前記撮像装置によって撮像された撮像画像である、前記（３）に記載の情報処理システム。
（５）
前記撮像画像は、さらにぼかし処理が施された画像である、前記（４）に記載の情報処理システム。
（６）
前記撮像装置は、フォーカス位置を像面位相差検出方式により検出し、
前記撮像画像は、前記撮像装置のデフォーカス処理によりぼかし処理が施された画像である、前記（５）に記載の情報処理システム。
（７）
前記関連情報取得部は、前記撮像装置および所定のセンサの少なくともいずれか一方を用いて、前記ユーザに関連した情報を取得し、
前記制御部は、前記ユーザに関連した情報に基づいて前記ユーザの状態を判断し、前記関連画像として、前記ユーザの状態に対応した画像を用いる、前記（３）に記載の情報処理システム。
（８）
前記制御部は、さらに前記メッセージに含まれる語句に基づいて前記ユーザの状態を判断する、前記（７）に記載の情報処理システム。
（９）
前記制御部は、前記ユーザの状態に対応した語句が前記メッセージに含まれる場合、前記語句を強調した表示を生成する、前記（７）または（８）に記載の情報処理システム。
（１０）
前記制御部は、前記関連画像を前記メッセージの背景に用いた表示を生成する、前記（３）〜（９）のいずれか一項に記載の情報処理システム。
（１１）
前記制御部は、前記関連画像の色情報に基づいて、前記メッセージを表示する色を制御する、前記（１０）に記載の情報処理システム
（１２）
前記関連情報取得部は、位置センサを用いて、前記ユーザに関連した情報として前記ユーザの位置情報を取得し、
前記制御部は、前記ユーザの位置情報からユーザ間の距離を判断し、前記ユーザ間の距離情報を前記メッセージと関連付けて配置した表示を生成して前記メッセージを伝達する、前記（１）に記載の情報処理システム。
（１３）
前記制御部は、前記ユーザの位置情報に基づいて、前記ユーザ同士の集合場所の候補地を判断し、前記候補地を複数含む表示を生成する、前記（１２）に記載の情報処理システム。
（１４）
前記制御部は、さらに前記候補地の優先度に基づいて、前記ユーザ同士の集合場所の候補地を判断する、前記（１３）に記載の情報処理システム。
（１５）
前記制御部は、前記ユーザからの入力によって、情報処理を制御する際に用いる前記ユーザに関連した情報を変更する、前記（１）〜（１４）のいずれか一項に記載の情報処理システム。
（１６）
前記関連情報取得部は、前記ユーザに関連した情報として、前記撮像装置により取得された前記ユーザの特徴動作に関する情報を取得する、前記（１）に記載の情報処理システム。
（１７）
前記制御部は、前記ユーザの特徴動作に関する情報に基づいて、画像を変更した表示を生成して前記メッセージを伝達する、前記（１６）に記載の情報処理システム。
（１８）
前記制御部は、前記ユーザの特徴動作に関する情報に基づいて、前記ユーザに対する所定の機能の使用可否を判断する、前記（１６）または（１７）に記載の情報処理システム。
（１９）
前記制御部は、前記ユーザの特徴動作の程度または回数を評価し、前記特徴動作の評価結果と、前記メッセージが伝達されたユーザとを紐付け、ユーザに紐付けられた前記特徴動作の評価結果に基づいて、前記メッセージを伝達するための情報処理を制御する、前記（１６）〜（１８）のいずれか一項に記載の情報処理システム。
（２０）
前記制御部は、前記ユーザの特徴動作の程度または回数を数値にて評価して、前記メッセージが伝達されたユーザに対して評価した数値をポイントとして付与し、ユーザごとに付与されたポイントの累計値が所定の条件を満たしたか否かに基づいて、前記ユーザに対する所定の機能の使用可否を判断する、前記（１６）〜（１９）のいずれか一項に記載の情報処理システム。
（２１）
ユーザが入力したメッセージを取得するメッセージ取得部と、
撮像装置を用いて、前記ユーザに関連した情報を取得する関連情報取得部と、
前記ユーザに関連した情報と、入力された前記メッセージとを紐付けて送信する制御部と、
を備える、情報処理端末。
（２２）
複数のユーザがそれぞれ入力したメッセージを取得することと、
撮像装置を用いて、前記メッセージを入力したユーザに関連した情報を取得することと、
前記ユーザに関連した情報に基づいて、入力された前記メッセージを伝達するための情報処理を制御することと、
含む、情報処理方法。
１ 情報処理端末
２ 情報処理サーバ
３ ネットワーク
１０１、１１１、１２１、１３１ 端末通信部
１０３、１１３、１２３、１３３ 入力部
１０５、１１５、１２５、１３５ 表示部
１０７、１３７ 撮像装置
１０９ ぼかし制御部
１１７ センサ部
１２７ 位置センサ
１３９ 特徴検出部
２０１、２１１、２２１、２３１ サーバ通信部
２０３、２１３、２２３、２３３ メッセージ取得部
２０５、２１５、２２５、２３５ 関連情報取得部
２０７、２１７、２２７、２３７ 制御部
２１９ 画像記憶部
２２９ 候補地記憶部
２３９ 特徴ポイント記憶部

Claims (22)

  1. 複数のユーザがそれぞれ入力したメッセージを取得するメッセージ取得部と、
    撮像装置を用いて、前記メッセージを入力したユーザに関連した情報を取得する関連情報取得部と、
    前記ユーザに関連した情報に基づいて、入力された前記メッセージを伝達するための情報処理を制御する制御部と、
    を備える、情報処理システム。
  2. 前記関連情報取得部は、前記メッセージに関する入力操作に基づいて、自動的に前記ユーザに関連した情報を取得する、請求項１に記載の情報処理システム。
  3. 前記制御部は、前記ユーザに関連した情報に基づいた画像である関連画像を前記メッセージと関連付けて配置した表示を生成して前記メッセージを伝達する、請求項１に記載の情報処理システム。
  4. 前記関連画像は、前記撮像装置によって撮像された撮像画像である、請求項３に記載の情報処理システム。
  5. 前記撮像画像は、さらにぼかし処理が施された画像である、請求項４に記載の情報処理システム。
  6. 前記撮像装置は、フォーカス位置を像面位相差検出方式により検出し、
    前記撮像画像は、前記撮像装置のデフォーカス処理によりぼかし処理が施された画像である、請求項５に記載の情報処理システム。
  7. 前記関連情報取得部は、前記撮像装置および所定のセンサの少なくともいずれか一方を用いて、前記ユーザに関連した情報を取得し、
    前記制御部は、前記ユーザに関連した情報に基づいて前記ユーザの状態を判断し、前記関連画像として、前記ユーザの状態に対応した画像を用いる、請求項３に記載の情報処理システム。
  8. 前記制御部は、さらに前記メッセージに含まれる語句に基づいて前記ユーザの状態を判断する、請求項７に記載の情報処理システム。
  9. 前記制御部は、前記ユーザの状態に対応した語句が前記メッセージに含まれる場合、前記語句を強調した表示を生成する、請求項７に記載の情報処理システム。
  10. 前記制御部は、前記関連画像を前記メッセージの背景に用いた表示を生成する、請求項３に記載の情報処理システム。
  11. 前記制御部は、前記関連画像の色情報に基づいて、前記メッセージを表示する色を制御する、請求項１０に記載の情報処理システム
  12. 前記関連情報取得部は、位置センサを用いて、前記ユーザに関連した情報として前記ユーザの位置情報を取得し、
    前記制御部は、前記ユーザの位置情報からユーザ間の距離を判断し、前記ユーザ間の距離情報を前記メッセージと関連付けて配置した表示を生成して前記メッセージを伝達する、請求項１に記載の情報処理システム。
  13. 前記制御部は、前記ユーザの位置情報に基づいて、前記ユーザ同士の集合場所の候補地を判断し、前記候補地を複数含む表示を生成する、請求項１２に記載の情報処理システム。
  14. 前記制御部は、さらに前記候補地の優先度に基づいて、前記ユーザ同士の集合場所の候補地を判断する、請求項１３に記載の情報処理システム。
  15. 前記制御部は、前記ユーザからの入力によって、情報処理を制御する際に用いる前記ユーザに関連した情報を変更する、請求項１に記載の情報処理システム。
  16. 前記関連情報取得部は、前記ユーザに関連した情報として、前記撮像装置により取得された前記ユーザの特徴動作に関する情報を取得する、請求項１に記載の情報処理システム。
  17. 前記制御部は、前記ユーザの特徴動作に関する情報に基づいて、画像を変更した表示を生成して前記メッセージを伝達する、請求項１６に記載の情報処理システム。
  18. 前記制御部は、前記ユーザの特徴動作に関する情報に基づいて、前記ユーザに対する所定の機能の使用可否を判断する、請求項１６に記載の情報処理システム。
  19. 前記制御部は、前記ユーザの特徴動作の程度または回数を評価し、前記特徴動作の評価結果と、前記メッセージが伝達されたユーザとを紐付け、ユーザに紐付けられた前記特徴動作の評価結果に基づいて、前記メッセージを伝達するための情報処理を制御する、請求項１６に記載の情報処理システム。
  20. 前記制御部は、前記ユーザの特徴動作の程度または回数を数値にて評価して、前記メッセージが伝達されたユーザに対して評価した数値をポイントとして付与し、ユーザごとに付与されたポイントの累計値が所定の条件を満たしたか否かに基づいて、前記ユーザに対する所定の機能の使用可否を判断する、請求項１６に記載の情報処理システム。
  21. ユーザが入力したメッセージを取得するメッセージ取得部と、
    撮像装置を用いて、前記ユーザに関連した情報を取得する関連情報取得部と、
    前記ユーザに関連した情報と、入力された前記メッセージとを紐付けて送信する制御部と、
    を備える、情報処理端末。
  22. 複数のユーザがそれぞれ入力したメッセージを取得することと、
    撮像装置を用いて、前記メッセージを入力したユーザに関連した情報を取得することと、
    前記ユーザに関連した情報に基づいて、入力された前記メッセージを伝達するための情報処理を制御することと、
    含む、情報処理方法。


JP2014136553A 2014-07-02 2014-07-02 情報処理システム、情報処理端末、および情報処理方法 Pending JP2016015009A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014136553A JP2016015009A (ja) 2014-07-02 2014-07-02 情報処理システム、情報処理端末、および情報処理方法
PCT/JP2015/061759 WO2016002306A1 (ja) 2014-07-02 2015-04-16 情報処理システム、情報処理端末、および情報処理方法
US15/312,268 US10546402B2 (en) 2014-07-02 2015-04-16 Information processing system, information processing terminal, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014136553A JP2016015009A (ja) 2014-07-02 2014-07-02 情報処理システム、情報処理端末、および情報処理方法

Publications (1)

Publication Number Publication Date
JP2016015009A true JP2016015009A (ja) 2016-01-28

Family

ID=55018864

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014136553A Pending JP2016015009A (ja) 2014-07-02 2014-07-02 情報処理システム、情報処理端末、および情報処理方法

Country Status (3)

Country Link
US (1) US10546402B2 (ja)
JP (1) JP2016015009A (ja)
WO (1) WO2016002306A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021108009A (ja) * 2019-12-27 2021-07-29 Ａホールディングス株式会社 端末の表示方法、プログラム、端末、サーバの情報処理方法
JP2022179488A (ja) * 2017-04-11 2022-12-02 Ｌｉｎｅ株式会社 プログラム、表示方法および情報処理端末

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107889531A (zh) * 2015-04-28 2018-04-06 飞利浦照明控股有限公司 多图像场景中的元数据
KR102355152B1 (ko) 2017-12-21 2022-01-25 삼성전자주식회사 콘텐트 검색을 위한 방법 및 그 전자 장치
WO2019172087A1 (ja) * 2018-03-08 2019-09-12 ソニー株式会社 情報処理装置、端末機器、情報処理方法、およびプログラム

Family Cites Families (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4924250A (en) * 1986-03-31 1990-05-08 Minolta Camera Kabushiki Kaisha Automatic focus control device
US4792819A (en) * 1987-01-12 1988-12-20 Canon Kabushiki Kaisha Camera having automatic focusing device
FR2652471B1 (fr) * 1989-09-22 1991-11-29 Thomson Csf Dispositif de correction des defauts d'une suite d'images analysee par un capteur infrarouge matriciel a integration.
JPH04178607A (ja) * 1990-11-14 1992-06-25 Nikon Corp 自動合焦装置
JP3298171B2 (ja) * 1992-09-04 2002-07-02 株式会社ニコン オートフォーカスカメラ
US6947571B1 (en) * 1999-05-19 2005-09-20 Digimarc Corporation Cell phones with optical capabilities, and related applications
JPH08262552A (ja) * 1995-03-28 1996-10-11 Nikon Corp 距離情報が表示可能なカメラ
US7358999B2 (en) * 1998-03-10 2008-04-15 Canon Kabushiki Kaisha Focus sensing apparatus, focus sensing method using phase-differential detection and computer-readable storage medium therefor
FI113124B (fi) * 1999-04-29 2004-02-27 Nokia Corp Tiedonsiirto
US7406214B2 (en) * 1999-05-19 2008-07-29 Digimarc Corporation Methods and devices employing optical sensors and/or steganography
US6542750B2 (en) * 2000-06-10 2003-04-01 Telcontar Method and system for selectively connecting mobile users based on physical proximity
US6542749B2 (en) * 2000-06-10 2003-04-01 Telcontar Method and system for connecting proximately located mobile users based on compatible attributes
US20020037046A1 (en) * 2000-09-22 2002-03-28 Philips Electronics North America Corporation Totally embedded FGS video coding with motion compensation
WO2003017659A1 (en) * 2001-08-21 2003-02-27 Sony Corporation Information processing system, information processing apparatus, and method
US7929951B2 (en) * 2001-12-20 2011-04-19 Stevens Lawrence A Systems and methods for storage of user information and for verifying user identity
KR100439756B1 (ko) * 2002-01-09 2004-07-12 주식회사 인피니트테크놀로지 3차원 가상내시경 화면 표시장치 및 그 방법
JP3977684B2 (ja) * 2002-05-21 2007-09-19 株式会社東芝 デジタルスチルカメラ
US6763226B1 (en) * 2002-07-31 2004-07-13 Computer Science Central, Inc. Multifunctional world wide walkie talkie, a tri-frequency cellular-satellite wireless instant messenger computer and network for establishing global wireless volp quality of service (qos) communications, unified messaging, and video conferencing via the internet
JP2005018262A (ja) * 2003-06-24 2005-01-20 Canon Inc 情報配信制御方法およびその処理を実行するためのプログラムおよびそのプログラムを記憶する記憶媒体
JP4532865B2 (ja) * 2003-09-09 2010-08-25 キヤノン株式会社 撮像装置および撮像装置のフォーカス制御方法
US8659619B2 (en) * 2004-03-26 2014-02-25 Intellectual Ventures Fund 83 Llc Display device and method for determining an area of importance in an original image
JP2005276103A (ja) 2004-03-26 2005-10-06 Seiko Epson Corp 聞き手感情推定装置、聞き手感情推定方法、及びプログラム
US7593740B2 (en) * 2004-05-12 2009-09-22 Google, Inc. Location-based social software for mobile devices
US20060101116A1 (en) * 2004-10-28 2006-05-11 Danny Rittman Multifunctional telephone, walkie talkie, instant messenger, video-phone computer, based on WiFi (Wireless Fidelity) and WiMax technology, for establishing global wireless communication, network and video conferencing via the internet
JP2006133847A (ja) * 2004-11-02 2006-05-25 Fuji Xerox Co Ltd 情報出力システム、情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US7558709B2 (en) * 2004-11-08 2009-07-07 Muralidhara Subbarao Methods and apparatus for computing the input and output signals of a linear shift-variant system
JP4612866B2 (ja) * 2005-05-20 2011-01-12 キヤノン株式会社 撮像方法および撮像システム
US7634354B2 (en) * 2005-08-31 2009-12-15 Microsoft Corporation Location signposting and orientation
KR101125819B1 (ko) * 2005-10-11 2012-03-27 노키아 코포레이션 효율적인 규모가변적 스트림 조정을 위한 시스템 및 방법
KR20080066784A (ko) * 2005-10-11 2008-07-16 노키아 코포레이션 규모가변적 비디오 코딩을 위한 효율적 디코딩 화상 버퍼관리
US20070097147A1 (en) * 2005-10-28 2007-05-03 Keisuke Inata Dynamic image editing system, the same apparatus and mobile device
US8315308B2 (en) * 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
US8738545B2 (en) * 2006-11-22 2014-05-27 Raj Abhyanker Map based neighborhood search and community contribution
US8732091B1 (en) * 2006-03-17 2014-05-20 Raj Abhyanker Security in a geo-spatial environment
US8170116B2 (en) * 2006-03-27 2012-05-01 Nokia Corporation Reference picture marking in scalable video encoding and decoding
JP4785606B2 (ja) * 2006-04-27 2011-10-05 京セラ株式会社 グループ通信管理装置、通信端末、および通信方法
KR100816286B1 (ko) * 2006-05-18 2008-03-24 삼성전자주식회사 휴대 단말기와 외부 장치를 이용한 디스플레이 장치 및방법
US8396134B2 (en) * 2006-07-21 2013-03-12 Vidyo, Inc. System and method for scalable video coding using telescopic mode flags
US20080089411A1 (en) * 2006-10-16 2008-04-17 Nokia Corporation Multiple-hypothesis cross-layer prediction
US7991236B2 (en) * 2006-10-16 2011-08-02 Nokia Corporation Discardable lower layer adaptations in scalable video coding
AU2007309044B2 (en) * 2006-10-23 2011-04-28 Vidyo, Inc. System and method for scalable video coding using telescopic mode flags
JP4961984B2 (ja) * 2006-12-07 2012-06-27 ソニー株式会社 画像表示システム、表示装置、表示方法
US8199812B2 (en) * 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
US20080205529A1 (en) * 2007-01-12 2008-08-28 Nokia Corporation Use of fine granular scalability with hierarchical modulation
US20080201434A1 (en) 2007-02-16 2008-08-21 Microsoft Corporation Context-Sensitive Searches and Functionality for Instant Messaging Applications
JP2008252298A (ja) * 2007-03-29 2008-10-16 Sony Corp 無線通信装置、無線通信方法、情報処理装置、情報処理方法、およびプログラム
WO2008130905A2 (en) * 2007-04-17 2008-10-30 Mikos, Ltd. System and method for using three dimensional infrared imaging to provide detailed anatomical structure maps
JP5109803B2 (ja) * 2007-06-06 2012-12-26 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
WO2009000110A1 (en) * 2007-06-27 2008-12-31 Thomson Licensing Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
WO2009042579A1 (en) 2007-09-24 2009-04-02 Gesturetek, Inc. Enhanced interface for voice and video communications
JP5219865B2 (ja) * 2008-02-13 2013-06-26 キヤノン株式会社 撮像装置及び焦点制御方法
KR101488795B1 (ko) * 2008-03-25 2015-02-04 엘지전자 주식회사 휴대 단말기 및 그 제어방법
KR101506219B1 (ko) * 2008-03-25 2015-03-27 삼성전자주식회사 3차원 영상 컨텐츠 제공 방법, 재생 방법, 그 장치 및 그기록매체
KR101412772B1 (ko) * 2008-04-29 2014-07-02 삼성전자주식회사 카메라 및 촬영 안내 정보 제공 방법
FR2931610B1 (fr) * 2008-05-20 2010-12-17 Canon Kk Procede et un dispositif de transmission de donnees d'images
KR101526970B1 (ko) * 2008-05-29 2015-06-16 엘지전자 주식회사 단말기 및 그 제어 방법
KR101507797B1 (ko) * 2008-05-29 2015-04-03 엘지전자 주식회사 단말기 및 그 제어 방법
US8831090B2 (en) * 2008-11-18 2014-09-09 Avigilon Corporation Method, system and apparatus for image capture, analysis and transmission
FR2939593B1 (fr) * 2008-12-09 2010-12-31 Canon Kk Procede et dispositif de codage video
WO2010072945A1 (fr) 2008-12-22 2010-07-01 France Telecom Procédé et dispositif de traitement de données textuelles
JP5302663B2 (ja) * 2008-12-24 2013-10-02 キヤノン株式会社 焦点検出装置及び方法、及び撮像装置
JP2010197311A (ja) * 2009-02-26 2010-09-09 Ricoh Co Ltd 通信装置
JP5279553B2 (ja) * 2009-03-04 2013-09-04 キヤノン株式会社 レンズ装置及びカメラシステム
US8111247B2 (en) * 2009-03-27 2012-02-07 Sony Ericsson Mobile Communications Ab System and method for changing touch screen functionality
US9148618B2 (en) * 2009-05-29 2015-09-29 Apple Inc. Systems and methods for previewing newly captured image content and reviewing previously stored image content
US8525912B2 (en) * 2009-10-16 2013-09-03 Samsung Electronics Co., Ltd. Method and apparatus for photographing an image of digital camera in a mobile communication terminal
KR20130122535A (ko) 2010-06-07 2013-11-07 어펙티바,아이엔씨. 웹서비스들을 이용한 심리 상태 분석
JP5549440B2 (ja) * 2010-07-12 2014-07-16 株式会社リコー 撮像装置、表示モニタ装置の色ずれ調整方法および表示モニタ装置の色ずれ調整装置
US8780991B2 (en) * 2010-09-14 2014-07-15 Texas Instruments Incorporated Motion estimation in enhancement layers in video encoding
EP2630799A4 (en) * 2010-10-20 2014-07-02 Nokia Corp METHOD AND DEVICE FOR VIDEO CODING AND DECODING
US8952983B2 (en) * 2010-11-04 2015-02-10 Nokia Corporation Method and apparatus for annotating point of interest information
JP2012109721A (ja) * 2010-11-16 2012-06-07 Canon Inc 撮像装置および撮像装置の制御方法
KR20140001930A (ko) * 2010-11-17 2014-01-07 어펙티바,아이엔씨. 소셜 네트워크를 통한 정서의 공유
US8831677B2 (en) * 2010-11-17 2014-09-09 Antony-Euclid C. Villa-Real Customer-controlled instant-response anti-fraud/anti-identity theft devices (with true-personal identity verification), method and systems for secured global applications in personal/business e-banking, e-commerce, e-medical/health insurance checker, e-education/research/invention, e-disaster advisor, e-immigration, e-airport/aircraft security, e-military/e-law enforcement, with or without NFC component and system, with cellular/satellite phone/internet/multi-media functions
JP5625856B2 (ja) 2010-12-13 2014-11-19 ソニー株式会社 撮像装置および撮像装置の制御方法
CN103262530B (zh) * 2010-12-15 2016-03-02 株式会社日立制作所 视频监视装置
US20120163472A1 (en) * 2010-12-22 2012-06-28 Qualcomm Incorporated Efficiently coding scanning order information for a video block in video coding
JP5685080B2 (ja) * 2010-12-28 2015-03-18 キヤノン株式会社 焦点検出装置及び焦点検出方法
JP5738434B2 (ja) * 2011-01-14 2015-06-24 ヴィディオ・インコーポレーテッド 改善されたｎａｌユニットヘッダ
WO2012122425A1 (en) * 2011-03-10 2012-09-13 Dolby Laboratories Licensing Corporation Bitdepth and color scalable video coding
CN103430458B (zh) * 2011-03-10 2016-03-02 维德约股份有限公司 可伸缩视频编码的依存参数集
JP5849457B2 (ja) * 2011-06-24 2016-01-27 ソニー株式会社 無線操作端末および情報処理装置
US9451283B2 (en) * 2011-07-05 2016-09-20 Texas Instruments Incorporated Method, system and computer program product for selecting a motion vector in scalable video coding
US8601061B2 (en) * 2011-07-15 2013-12-03 International Business Machines Corporation Scheduling a meeting in real time
JP5418552B2 (ja) * 2011-07-22 2014-02-19 株式会社ニコン アダプター、カメラシステム、および、アダプター制御プログラム
US10237565B2 (en) * 2011-08-01 2019-03-19 Qualcomm Incorporated Coding parameter sets for various dimensions in video coding
KR101649207B1 (ko) * 2011-08-31 2016-08-19 노키아 테크놀로지스 오와이 멀티뷰 비디오 코딩 및 디코딩을 위한 방법, 장치 및 컴퓨터 프로그램
US8890864B2 (en) * 2011-12-12 2014-11-18 Lg Electronics Inc. Mobile terminal and controlling method thereof
US8391136B1 (en) * 2012-01-27 2013-03-05 Google Inc. Fallback messaging
JP5924091B2 (ja) * 2012-04-13 2016-05-25 株式会社リコー 画像処理装置、画像処理システム、プログラム
US9661264B2 (en) * 2012-06-01 2017-05-23 Nintendo Co., Ltd. Multi-display video communication medium, apparatus, system, and method
KR102009928B1 (ko) * 2012-08-20 2019-08-12 삼성전자 주식회사 협업 구현 방법 및 장치
EP3579562B1 (en) * 2012-09-28 2021-09-08 Sony Group Corporation Image processing device and method
WO2014072571A1 (en) * 2012-10-01 2014-05-15 Nokia Corporation Method and apparatus for scalable video coding
US20150245063A1 (en) * 2012-10-09 2015-08-27 Nokia Technologies Oy Method and apparatus for video coding
US10061349B2 (en) * 2012-12-06 2018-08-28 Sandisk Technologies Llc Head mountable camera system
KR102058918B1 (ko) * 2012-12-14 2019-12-26 삼성전자주식회사 홈 모니터링 방법 및 장치
KR102015534B1 (ko) * 2012-12-24 2019-08-28 삼성전자주식회사 복수의 단말들간의 메시지 싱크 방법, 기계로 읽을 수 있는 저장 매체 및 서버
US20140218473A1 (en) * 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding
GB2509953B (en) * 2013-01-18 2015-05-20 Canon Kk Method of displaying a region of interest in a video stream
GB2509954B (en) * 2013-01-18 2016-03-23 Canon Kk Method of displaying a region of interest in a video stream
TW201517597A (zh) * 2013-07-31 2015-05-01 Nokia Corp 用於視訊編碼及解碼之方法及裝置
US9813736B2 (en) * 2013-09-27 2017-11-07 Qualcomm Incorporated Inter-view dependency type in MV-HEVC
WO2015082763A1 (en) * 2013-12-02 2015-06-11 Nokia Technologies Oy Video encoding and decoding
WO2015125494A1 (en) * 2014-02-21 2015-08-27 Sharp Kabushiki Kaisha System for temporal identifier handling for hybrid scalability
WO2015125489A1 (en) * 2014-02-24 2015-08-27 Sharp Kabushiki Kaisha Restrictions on signaling
WO2015178036A1 (en) * 2014-05-22 2015-11-26 Sharp Kabushiki Kaisha Method for decoding
US10291561B2 (en) * 2015-02-09 2019-05-14 Nokia Technologies Oy Apparatus, a method and a computer program for image coding and decoding
US9538137B2 (en) * 2015-04-09 2017-01-03 Microsoft Technology Licensing, Llc Mitigating loss in inter-operability scenarios for digital video

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022179488A (ja) * 2017-04-11 2022-12-02 Ｌｉｎｅ株式会社 プログラム、表示方法および情報処理端末
JP7417681B2 (ja) 2017-04-11 2024-01-18 Ｌｉｎｅヤフー株式会社 プログラム、表示方法および情報処理端末
JP2021108009A (ja) * 2019-12-27 2021-07-29 Ａホールディングス株式会社 端末の表示方法、プログラム、端末、サーバの情報処理方法
JP7244413B2 (ja) 2019-12-27 2023-03-22 Ｌｉｎｅ株式会社 端末の表示方法、プログラム、端末、サーバの情報処理方法

Also Published As

Publication number Publication date
WO2016002306A1 (ja) 2016-01-07
US10546402B2 (en) 2020-01-28
US20170161929A1 (en) 2017-06-08

Similar Documents

Publication Publication Date Title
US10986312B2 (en) Information processing apparatus, information processing method, program, and server
US11546410B2 (en) Device and method for adaptively changing task-performing subjects
US9830128B2 (en) Voice control device, voice control method and program
JP6992761B2 (ja) サーバ、クライアント端末、制御方法、記憶媒体、およびプログラム
WO2016002306A1 (ja) 情報処理システム、情報処理端末、および情報処理方法
KR102056031B1 (ko) 정보 처리 장치 및 정보 처리 방법
CN110061900B (zh) 消息显示方法、装置、终端及计算机可读存储介质
KR20180133743A (ko) 이동 단말기 및 그 제어 방법
CN110601959B (zh) 会话消息显示方法、装置、终端及存储介质
CN111083039B (zh) 消息的未读标记处理方法、装置、存储介质及终端
CN109104564B (zh) 一种拍摄提示方法及终端设备
CN103945321B (zh) 资源转移的方法和装置
JP6891879B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US10430145B2 (en) Remote terminal, method of remote instruction
EP3185508A1 (en) Shared communication terminal, communication system, and communication method
JP2015172883A (ja) 端末装置、情報通信方法及び情報通信プログラム
CN111147745B (zh) 拍摄方法、装置、电子设备及存储介质
JP2017199972A (ja) 端末装置、情報取得システム、情報取得方法およびプログラム
CN114466237B (zh) 显示方法、装置、计算机设备及介质
JP5977697B2 (ja) 電子機器、および電子機器を制御するための方法
WO2018232655A1 (zh) 可用于信息分享的移动终端和相关产品
JP2014209778A (ja) 情報処理装置および情報処理方法