JP2015082729A - Portable terminal - Google Patents

Portable terminal Download PDF

Info

Publication number
JP2015082729A
JP2015082729A JP2013219326A JP2013219326A JP2015082729A JP 2015082729 A JP2015082729 A JP 2015082729A JP 2013219326 A JP2013219326 A JP 2013219326A JP 2013219326 A JP2013219326 A JP 2013219326A JP 2015082729 A JP2015082729 A JP 2015082729A
Authority
JP
Japan
Prior art keywords
unit
face
mobile terminal
information
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013219326A
Other languages
Japanese (ja)
Inventor
正永 中村
Masanaga Nakamura
正永 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2013219326A priority Critical patent/JP2015082729A/en
Publication of JP2015082729A publication Critical patent/JP2015082729A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To easily browse a posting content of a person in front, on a SNS.SOLUTION: A portable terminal 20 receiving service from a service provision system for providing service for a member through a network comprises: an imaging unit 27; a communication unit 28 for communicating with the service provision system; a display unit 22 for displaying a picture imaged by the imaging unit 27 and information acquired by the communication unit 28; a face detection unit 31 for detecting a face from the picture; and a control unit 30 which acquires information on a person having the detected face from the service provision system in response to the face detection unit 31 detecting the face, and controls the imaging unit 27, communication unit 28, display unit 22, and face detection unit 31 so as to display the acquired acquisition information with the picture on the display unit 22.

Description

本発明は、携帯端末に関する。   The present invention relates to a mobile terminal.

SNS(Social Networking Service)のメンバの検索を簡単にする技術が知られている(特許文献1参照)。   A technique for simplifying the search for members of SNS (Social Networking Service) is known (see Patent Document 1).

特開2009−146315号公報JP 2009-146315 A

従来技術では、目の前にいる人によってSNSに投稿された書き込みや画像などを閲覧することが困難である。   In the prior art, it is difficult to view a writing or an image posted on the SNS by a person in front of you.

本発明は、ネットワークを介して会員に対してサービスを提供するサービス提供システムからサービスを受ける携帯端末に適用される。携帯端末は、撮像部と、サービス提供システムと通信を行う通信部と、撮像部によって撮像された画像および通信部によって取得された情報を表示する表示部と、画像から顔を検出する顔検出部と、顔検出部によって顔が検出されたことに応じて、検出された顔の人物に関連する情報をサービス提供システムから取得し、取得された取得情報を画像とともに表示部に表示するように撮像部、通信部、表示部、および顔検出部を制御する制御部と、を備えることを特徴とする。   The present invention is applied to a mobile terminal that receives a service from a service providing system that provides a service to a member via a network. The mobile terminal includes an imaging unit, a communication unit that communicates with the service providing system, a display unit that displays an image captured by the imaging unit and information acquired by the communication unit, and a face detection unit that detects a face from the image In response to detection of a face by the face detection unit, information related to the detected face person is acquired from the service providing system, and the acquired information is displayed on the display unit together with the image. And a control unit that controls the communication unit, the display unit, and the face detection unit.

本発明によれば、目の前の人によるSNS上の投稿内容を容易に閲覧できる。   According to the present invention, the content posted on the SNS by the person in front of you can be easily viewed.

本発明の第一の実施形態による携帯端末と、携帯端末を用いて利用するSNSシステムとを含む全体構成を例示する図である。It is a figure which illustrates the whole structure containing the portable terminal by 1st embodiment of this invention, and the SNS system utilized using a portable terminal. 図2(a)は携帯端末の正面図、図2(b)は背面図である。2A is a front view of the portable terminal, and FIG. 2B is a rear view. 携帯端末の要部構成を例示するブロック図である。It is a block diagram which illustrates the principal part structure of a portable terminal. SNSシステムのサーバの構成を説明する図である。It is a figure explaining the structure of the server of an SNS system. 携帯端末の制御部が実行する閲覧処理プログラムの処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of a process of the browsing process program which the control part of a portable terminal performs. 表示・入力部の表示画面を例示する図である。It is a figure which illustrates the display screen of a display and input part. 表示・入力部の表示画面を例示する図である。It is a figure which illustrates the display screen of a display and input part. 第二の実施形態による携帯端末の制御部が実行する閲覧処理プログラムの処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of a process of the browsing process program which the control part of the portable terminal by 2nd embodiment performs.

以下、図面を参照して本発明を実施するための形態について説明する。
(第一の実施形態)
図1は、本発明の第一の実施形態による携帯端末20と、携帯端末20を用いて利用するSNSシステム10とを含む全体構成を例示する図である。SNSシステム10は、公知のSNSシステムと同様に、人と人とのつながりを通じて新たな人とつながり関係を構築する場を提供する。
Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 is a diagram illustrating an overall configuration including a mobile terminal 20 according to the first embodiment of the present invention and an SNS system 10 used by using the mobile terminal 20. Similar to the known SNS system, the SNS system 10 provides a place for establishing a connection relationship with a new person through a connection between the person and the person.

図1において、SNSシステム10と、PC(Personal Computer)17と、無線LAN(Local Area Network)のアクセスポイント18とがネットワーク16に接続されている。SNSシステム10は、当システムを運営する事業者により、データセンタ等に設置される。   In FIG. 1, an SNS system 10, a PC (Personal Computer) 17, and a wireless LAN (Local Area Network) access point 18 are connected to a network 16. The SNS system 10 is installed in a data center or the like by a business operator who operates the system.

アクセスポイント18は、公共施設やユーザ宅などに設置される。ユーザは、自宅やオフィスなどから、スマートフォン等の多機能携帯電話機や、タブレットコンピュータなどの携帯端末20を介して、SNSシステム10を構成するサーバ12にアクセスする。また、ネットワーク16に接続されているPC17を介してSNSシステム10を構成するサーバ12へアクセスすることも可能である。なお、携帯端末20から図示しない携帯電話回線網を経由してネットワーク16上のサーバ12へアクセスしても構わない。   The access point 18 is installed in a public facility or a user's house. A user accesses the server 12 constituting the SNS system 10 from a home or office via a multifunctional mobile phone such as a smartphone or a mobile terminal 20 such as a tablet computer. It is also possible to access the server 12 constituting the SNS system 10 via the PC 17 connected to the network 16. Note that the mobile terminal 20 may access the server 12 on the network 16 via a mobile phone network (not shown).

SNSシステム10のサーバ12は、記憶装置、データ処理装置、およびネットワーク16との間の通信制御装置等によって構成され、SNSの運営に必要なデータ等を管理する。本実施形態では、あらかじめ登録されたユーザをサービス対象にすべく、ユーザ(SNSの会員)のデータ等によってサーバ12の基本データが構成される。   The server 12 of the SNS system 10 includes a storage device, a data processing device, a communication control device with the network 16, and the like, and manages data and the like necessary for the operation of the SNS. In the present embodiment, the basic data of the server 12 is constituted by data of users (SNS members) and the like in order to target pre-registered users.

<携帯端末>
図2は、携帯端末20の外観を例示する図であり、図2(a)は正面図、図2(b)は背面図である。図2(a)において、携帯端末20の正面に、カメラ26と、表示・入力部25とが設けられる。図2(b)において、携帯端末20の背面にカメラ27が設けられる。
<Mobile device>
2A and 2B are diagrams illustrating the external appearance of the mobile terminal 20, in which FIG. 2A is a front view and FIG. 2B is a rear view. In FIG. 2A, a camera 26 and a display / input unit 25 are provided in front of the mobile terminal 20. In FIG. 2B, a camera 27 is provided on the back surface of the mobile terminal 20.

図2(a)のカメラ26は、ユーザ自身を撮影する際や、携帯端末20でテレビ電話機能を使用する際に、ユーザ撮影用カメラとして使用される。   The camera 26 in FIG. 2A is used as a user photographing camera when photographing the user himself / herself or when using the videophone function with the portable terminal 20.

表示・入力部25は、画面表示部22に画像やアイコン21などを表示するディスプレイ機能と、ユーザによる接触操作を受け付ける操作部機能とを兼ね備えたタッチパネル液晶ディスプレイによって構成される。   The display / input unit 25 is configured by a touch panel liquid crystal display having both a display function for displaying an image, an icon 21 and the like on the screen display unit 22 and an operation unit function for receiving a contact operation by a user.

表示・入力部25は携帯端末20の筐体正面を覆うように設けられており、画面表示部22は、表示面かつ操作面である。表示・入力部25は、ユーザの指で画面表示部22が接触操作されると、接触部の静電容量の変化に基づいて、接触操作されたこと、および接触位置を示す検出信号を出力する。   The display / input unit 25 is provided so as to cover the front surface of the casing of the mobile terminal 20, and the screen display unit 22 is a display surface and an operation surface. When the screen display unit 22 is touched with the user's finger, the display / input unit 25 outputs a detection signal indicating that the touch operation has been performed and the contact position based on the change in the capacitance of the touch unit. .

携帯端末20は、表示・入力部25の画面表示部22に表示しているアイコン21に対応づけられているプログラムを起動させることにより、電話機能やメール機能、閲覧機能、カメラ機能など、各起動プログラムによって実現される機能を発揮する。なお、図2(a)に例示する画面表示部22の表示内容は、いわゆるホーム画面の例である。図2(b)のカメラ27は、携帯端末20でカメラ機能を発揮する際に撮影用カメラとして使用される。   The portable terminal 20 activates each program such as a telephone function, a mail function, a browsing function, and a camera function by activating a program associated with the icon 21 displayed on the screen display unit 22 of the display / input unit 25. Demonstrate the functions realized by the program. The display content of the screen display unit 22 illustrated in FIG. 2A is an example of a so-called home screen. The camera 27 in FIG. 2B is used as a shooting camera when the mobile terminal 20 performs a camera function.

図3は、図2の携帯端末20の要部構成を例示するブロック図である。図3において、携帯端末20は、表示・入力部25と、制御部30と、カメラ26と、カメラ27と、通信部28とを有する。   FIG. 3 is a block diagram illustrating the main configuration of the mobile terminal 20 of FIG. In FIG. 3, the mobile terminal 20 includes a display / input unit 25, a control unit 30, a camera 26, a camera 27, and a communication unit 28.

<表示・入力部>
表示・入力部25は、画面表示部22と、位置検出部23とを含む。画面表示部22は、上述したように表示面かつ操作面である。位置検出部23は、指による接触位置を示す位置検出信号と、表示制御部33が有する表示情報(表示・入力部25の画面表示部22のどこに、何を表示させているかを示す情報)とに基づいて、表示・入力部25の画面上の対象(アイコン21など)を特定する。
<Display / input section>
The display / input unit 25 includes a screen display unit 22 and a position detection unit 23. The screen display unit 22 is a display surface and an operation surface as described above. The position detection unit 23 includes a position detection signal indicating a contact position with a finger, display information included in the display control unit 33 (information indicating where and what is displayed on the screen display unit 22 of the display / input unit 25). Based on the above, an object (icon 21 or the like) on the screen of the display / input unit 25 is specified.

<制御部>
制御部30は、顔判定部31と、プログラム実行部32と、表示制御部33と、通信制御部34と、不揮発性メモリ35とを含み、携帯端末20内の各部の動作を制御する。顔検出部31は、カメラ27で取得された画像に基づいて、公知の顔検出処理を行って画像に写っている「顔」を検出する。顔検出技術は公知であるため、詳細な説明については省略する。
<Control unit>
The control unit 30 includes a face determination unit 31, a program execution unit 32, a display control unit 33, a communication control unit 34, and a non-volatile memory 35, and controls the operation of each unit in the mobile terminal 20. The face detection unit 31 performs a known face detection process based on the image acquired by the camera 27 and detects a “face” in the image. Since the face detection technique is publicly known, detailed description thereof is omitted.

プログラム実行部32は、表示・入力部25の位置検出部23によって特定されたアイコン21に対応づけられているプログラムを実行する。プログラムは、不揮発性メモリ35に格納されている。   The program execution unit 32 executes a program associated with the icon 21 specified by the position detection unit 23 of the display / input unit 25. The program is stored in the nonvolatile memory 35.

表示制御部33は、表示・入力部25の画面表示部22に、画像やテキスト、アイコン21などを表示させる。通信制御部34は、通信部28を介して行う外部機器との通信を制御する。不揮発性メモリ35は、プログラム実行部32が実行するプログラムを格納する。プログラムは、通信部28を介して不揮発性メモリ35へ更新記憶、または追加記憶することが可能である。   The display control unit 33 causes the screen display unit 22 of the display / input unit 25 to display images, texts, icons 21 and the like. The communication control unit 34 controls communication with an external device performed through the communication unit 28. The nonvolatile memory 35 stores a program executed by the program execution unit 32. The program can be updated or added to the nonvolatile memory 35 via the communication unit 28.

<通信部>
通信部28は、通信制御部34からの指示に応じて無線通信を行う。通信部28は、無線LANのアクセスポイント18(図1)を経由する通信と、携帯電話回線網を経由する通信とが可能に構成されている。
<Communication Department>
The communication unit 28 performs wireless communication in response to an instruction from the communication control unit 34. The communication unit 28 is configured to be able to communicate via the wireless LAN access point 18 (FIG. 1) and communicate via the mobile phone network.

<SNSシステム>
SNSシステム10は、サーバ12によって構成される。サーバ12は、図4に示すように、会員サービス処理部125、会員情報データベース(DB)121、およびプロフィールデータベース(DB)122を含む。図4では、SNSシステム10の機能を一式のサーバ12によって実現する例を示したが、複数台のサーバに機能を分担させる分散構成にしてもよい。また、SNSシステム10は一式のみでなく、ネットワーク16上に複数存在するようにしてもよい。
<SNS system>
The SNS system 10 includes a server 12. As shown in FIG. 4, the server 12 includes a member service processing unit 125, a member information database (DB) 121, and a profile database (DB) 122. Although FIG. 4 shows an example in which the functions of the SNS system 10 are realized by the set of servers 12, a distributed configuration in which functions are shared by a plurality of servers may be used. Further, the SNS system 10 may be present not only in one set but also on the network 16.

会員サービス処理部125は、照合処理部130、情報読出し部131、メッセージ処理部132、足跡処理部133、および日記処理部134などによって構成され、会員であるユーザにサービスを提供するための処理を行う。一般に、SNSは足跡、日記、コミュニティ、および友達などの様々な種類のサービスを行うが、本実施形態では、主として他の会員に関する情報(プロフィール、書き込み文字や画像などの投稿内容)を閲覧するサービスを例に説明する。   The member service processing unit 125 includes a verification processing unit 130, an information reading unit 131, a message processing unit 132, a footprint processing unit 133, a diary processing unit 134, and the like, and performs processing for providing a service to a user who is a member. Do. In general, the SNS performs various types of services such as footprints, diaries, communities, friends, and the like. In this embodiment, the service mainly browses information related to other members (post contents such as profiles, written characters and images). Will be described as an example.

なお、メッセージ、足跡、日記、コミュニティ、および友達などのサービスを提供するための構成(メッセージ処理部132、足跡処理部133、日記処理部134、不図示のコミュニティ処理部および友達処理部)は公知であるので、これらの説明については省略する。   The configuration for providing services such as messages, footprints, diaries, communities, and friends (message processing unit 132, footprint processing unit 133, diary processing unit 134, community processing unit and friend processing unit not shown) is publicly known. Therefore, these descriptions are omitted.

次に、図4における各部の機能を説明する。会員情報データベース121には、会員であるユーザごとの会員情報が記憶される。会員情報は、例えば「会員ID」、「パスワード」、「ニックネーム」、「顔画像」、「利用ログ」が含まれる。   Next, the function of each part in FIG. 4 will be described. The member information database 121 stores member information for each user who is a member. The member information includes, for example, “member ID”, “password”, “nickname”, “face image”, and “usage log”.

会員情報のうち「会員ID」は、ユーザを識別するための識別情報である。「会員ID」としては、例えばユーザの電子メールアドレスが用いられる。本例では、「会員ID」と「パスワード」を合わせて会員アカウントと呼ぶ。「ニックネーム」は、ユーザがSNSの中で自らを指すために用いる架空の名前である。「顔画像」は、ユーザの顔を撮った画像である。「利用ログ」は、ユーザによるSNSの利用の履歴を示す。具体的には、利用したサービスの種類、日時、および利用方法などが記録される。   Of the member information, “member ID” is identification information for identifying the user. As the “member ID”, for example, a user's e-mail address is used. In this example, “member ID” and “password” are collectively referred to as a member account. A “nickname” is a fictitious name that a user uses to refer to himself / herself in the SNS. A “face image” is an image of the user's face. “Usage log” indicates a history of SNS usage by the user. Specifically, the type of service used, date and time, usage method, and the like are recorded.

プロフィールデータベース122には、会員であるユーザごとの氏名、性別、趣味、および年齢など、ユーザのプロフィール情報が記憶される。   The profile database 122 stores user profile information such as name, gender, hobby, and age for each user who is a member.

<自動閲覧機能>
本実施形態では、SNSシステム10の会員であるユーザの携帯端末20から送信された依頼に基づいて、SNSシステム10のサーバ12が、ユーザの目前にいる人物によって行われたSNSシステム10への投稿内容を自動で検索する。具体的には、ユーザが目の前にいる人物の「顔」の画像を携帯端末20からサーバ12へ送信すると、サーバ12は、送信された「顔」と一致する「顔」の会員による投稿内容を携帯端末20へ送る。
<Automatic browsing function>
In this embodiment, based on the request transmitted from the mobile terminal 20 of the user who is a member of the SNS system 10, the server 12 of the SNS system 10 posted to the SNS system 10 made by a person in front of the user. Search content automatically. Specifically, when the user transmits an image of the “face” of the person in front of the user from the mobile terminal 20 to the server 12, the server 12 posts the “face” member that matches the transmitted “face”. The contents are sent to the mobile terminal 20.

<フローチャートの説明>
携帯端末20の制御部30が実行する閲覧処理プログラムの処理の流れについて、図5に例示するフローチャートを参照して説明する。図5において左側のフローチャートは、携帯端末20(制御部30)が実行する処理を表すフローチャートである。右側のフローチャートは、携帯端末20の閲覧処理に対応してサーバ12の会員サービス処理部125が実行する処理を表すフローチャートである。
<Description of flowchart>
The flow of the browsing process program executed by the control unit 30 of the mobile terminal 20 will be described with reference to the flowchart illustrated in FIG. The flowchart on the left side in FIG. 5 is a flowchart showing the process executed by the mobile terminal 20 (the control unit 30). The flowchart on the right side is a flowchart representing processing executed by the member service processing unit 125 of the server 12 in response to the browsing processing of the mobile terminal 20.

<携帯端末20側の処理>
携帯端末20(制御部30)は、人物によるSNS上の投稿内容を自動閲覧する機能がオン設定されると、図5による処理を起動させる。そして携帯端末20のユーザは、目前の人物(対象人物)に携帯端末20のカメラ27を向ける。なお、上記機能のオン設定/オフ設定の切替えは、例えば設定アイコン21B(図2(a))に対応付けられた設定プログラムによって行われる。
<Processing on the mobile terminal 20>
The portable terminal 20 (control unit 30) activates the process shown in FIG. 5 when the function of automatically browsing the content posted on the SNS by a person is set on. Then, the user of the mobile terminal 20 points the camera 27 of the mobile terminal 20 toward the immediate person (target person). Note that the on / off setting switching of the function is performed by, for example, a setting program associated with the setting icon 21B (FIG. 2 (a)).

図5のステップS10において、携帯端末20(制御部30)は、カメラ27によるライブビュー画像の取得を開始させてステップS20へ進む。ライブビュー画像は、所定間隔(例えば30フレーム/秒)で取得するモニタ用の画像をいう。携帯端末20(制御部30)は表示制御部33に指示を送り、図6に例示するように、ライブビュー画像を表示・入力部25に逐次表示させる。図6の表示・入力部25には、ユーザの前にいる人物62および人物63がライブビュー画像として撮影され、表示されている。   In step S10 of FIG. 5, the mobile terminal 20 (control unit 30) starts the acquisition of the live view image by the camera 27, and proceeds to step S20. The live view image refers to a monitor image acquired at a predetermined interval (for example, 30 frames / second). The portable terminal 20 (control unit 30) sends an instruction to the display control unit 33, and sequentially displays live view images on the display / input unit 25 as illustrated in FIG. In the display / input unit 25 of FIG. 6, a person 62 and a person 63 in front of the user are captured and displayed as live view images.

ステップS20において、携帯端末20(制御部30)は顔検出部31に指示を送り、ライブビュー画像に基づいて顔検出処理を行わせてステップS30へ進む。本実施形態における表示制御部33は、顔検出部31により検出された「顔」を示す枠61をライブビュー画像に重ねてオーバーレイ表示するように構成されている。図6の例では、複数の「顔」が検出されているので、枠61が複数表示されている。   In step S20, the portable terminal 20 (control unit 30) sends an instruction to the face detection unit 31, causes face detection processing to be performed based on the live view image, and proceeds to step S30. The display control unit 33 in the present embodiment is configured to overlay and display a frame 61 indicating the “face” detected by the face detection unit 31 on the live view image. In the example of FIG. 6, since a plurality of “faces” are detected, a plurality of frames 61 are displayed.

ステップS30において、携帯端末20(制御部30)は、複数の「顔」が存在するか否かを判定する。携帯端末20(制御部30)は、ライブビュー画像に基づいて複数の「顔」が検出されている場合にステップS30を肯定判定してステップS40へ進み、複数の「顔」が検出されていない場合には、ステップS30を否定判定してステップS50へ進む。   In step S <b> 30, the mobile terminal 20 (control unit 30) determines whether there are a plurality of “faces”. When a plurality of “faces” are detected based on the live view image, the mobile terminal 20 (control unit 30) makes a positive determination in step S30 and proceeds to step S40, and a plurality of “faces” are not detected. In this case, a negative determination is made in step S30, and the process proceeds to step S50.

ステップS40において、携帯端末20(制御部30)は、複数の「顔」の中から1つの「顔」を選択する操作を受け付けてステップS50へ進む。ユーザは、例えば、表示・入力部25に表示されている枠61のうち、対象人物にしたい「顔」に対応する枠61をタップ操作する。携帯端末20(制御部30)は、タップ操作された位置に対応する「顔」を対象人物として選ぶ。   In step S40, the mobile terminal 20 (control unit 30) accepts an operation of selecting one “face” from a plurality of “faces”, and proceeds to step S50. For example, the user taps the frame 61 corresponding to the “face” desired to be the target person among the frames 61 displayed on the display / input unit 25. The mobile terminal 20 (control unit 30) selects “face” corresponding to the position where the tap operation is performed as a target person.

ステップS50において、携帯端末20(制御部30)は通信制御部34へ指示を送り、対象人物の「顔」を示す情報(例えば、「顔」の画像データ)と、当該「顔」とSNSシステム10に登録されている会員の「顔」とを照合する照合処理の依頼(照合依頼)とを、サーバ12へ送信させてステップS60へ進む。   In step S50, the mobile terminal 20 (the control unit 30) sends an instruction to the communication control unit 34, information indicating the “face” of the target person (for example, image data of “face”), the “face” and the SNS system. A request for collation processing (collation request) for collating the “face” of the member registered in 10 is transmitted to the server 12, and the process proceeds to step S60.

ステップS60において、携帯端末20(制御部30)は、対象人物がSNSシステム10に登録されている会員か否かを判定する。携帯端末20(制御部30)は、サーバ12から受信した照合結果がSNS会員である(対象人物の「顔」がSNSシステム10に登録されている会員の「顔」と一致する)場合は、ステップS60を肯定判定してステップS70へ進む。携帯端末20(制御部30)は、サーバ12から受信した照合結果が会員でない(対象人物の「顔」がSNSシステム10に登録されている会員の「顔」と一致しない)場合は、ステップS60を否定判定して図5による処理を終了する。ステップS60を否定判定する場合は、対象人物がSNSシステム10の非会員であることから、当該人物によるSNS上の投稿内容が存在しない。   In step S <b> 60, the mobile terminal 20 (control unit 30) determines whether the target person is a member registered in the SNS system 10. When the collation result received from the server 12 is the SNS member (the “face” of the target person matches the “face” of the member registered in the SNS system 10), the mobile terminal 20 (the control unit 30) An affirmative decision is made in step S60 and the process proceeds to step S70. If the collation result received from the server 12 is not a member (the “face” of the target person does not match the “face” of the member registered in the SNS system 10), the mobile terminal 20 (control unit 30) performs step S60. Is negatively determined, and the process of FIG. If the determination in step S60 is negative, since the target person is a nonmember of the SNS system 10, there is no posted content on the SNS by the person.

ステップS70において、携帯端末20(制御部30)は通信制御部34へ指示を送り、サーバ12から対象人物に関連する情報(例えば、対象人物によって行われた投稿内容、すなわち書き込みや画像など)を取得させてステップS80へ進む。ステップS80において、携帯端末20(制御部30)は表示制御部33に指示を送り、受信した情報(上記投稿内容)をライブビュー画像における対象人物の付近に重ねてオーバーレイ表示させてステップS90へ進む。図7は、対象人物(枠61に対応)による投稿内容70が、ライブビュー画像に重ねてオーバーレイ表示された表示・入力部25を例示する図である。   In step S <b> 70, the mobile terminal 20 (control unit 30) sends an instruction to the communication control unit 34, and sends information related to the target person from the server 12 (e.g., posted content made by the target person, i.e., writing or image). The process proceeds to step S80. In step S80, the portable terminal 20 (control unit 30) sends an instruction to the display control unit 33, overlays the received information (the posted content) on the vicinity of the target person in the live view image, and proceeds to step S90. . FIG. 7 is a diagram illustrating the display / input unit 25 in which the posted content 70 by the target person (corresponding to the frame 61) is displayed as an overlay on the live view image.

ここで、ステップS70において携帯端末20がサーバ12から取得する対象人物に関連する情報は、情報の公開を認める旨の登録(いわゆるブロック解除設定)をあらかじめSNSシステム10に対して行っている会員の情報に限られる。情報の公開を認めない旨の登録(いわゆるブロック設定)をSNSシステム10に対して行っている会員の情報については、この情報をサーバ12から携帯端末20へ送信しないようにするため、サーバ12から携帯端末20へ、対象人物がSNSシステム10の非会員である旨を送信するように構成されている。   Here, the information related to the target person acquired by the mobile terminal 20 from the server 12 in step S70 is registered by the SNS system 10 in advance so as to permit the disclosure of the information (so-called unblocking setting). Limited to information. In order to prevent this information from being transmitted from the server 12 to the portable terminal 20 with respect to the information of the member who performs registration (so-called block setting) to the effect that the disclosure of the information is not permitted, The mobile terminal 20 is configured to transmit that the target person is a non-member of the SNS system 10.

つまり、上記ブロック設定がなされた会員については、この会員の「顔」がステップS50において携帯端末20からサーバ12へ送信された対象人物の「顔」と一致する場合であっても、SNSシステム10の非会員である旨が携帯端末20へ伝えられる。SNSシステム10の非会員である旨が伝えられた携帯端末20は、ステップS60を否定判定して図5の処理を終了することにより、会員の意図に反して当該会員の情報を取得することを防いでいる。   That is, for the member for which the above block setting is made, even if the “face” of the member matches the “face” of the target person transmitted from the mobile terminal 20 to the server 12 in step S50, the SNS system 10 Is notified to the mobile terminal 20. The mobile terminal 20 that has been notified that the SNS system 10 is a non-member obtains the member's information against the intention of the member by making a negative determination in step S60 and ending the processing of FIG. It is preventing.

ステップS90において、携帯端末20(制御部30)は、ユーザにより所定操作が行われたか否かを判定する。携帯端末20(制御部30)は、上記情報(投稿内容70)をオーバーレイ表示する位置がタップ操作されると、ステップS90を肯定判定してステップS100へ進む。携帯端末20(制御部30)は、上記情報をオーバーレイ表示する位置がタップ操作されない場合は、ステップS90を否定判定してステップS110へ進む。   In step S90, the mobile terminal 20 (control unit 30) determines whether or not a predetermined operation has been performed by the user. When the position for overlay display of the information (post content 70) is tapped, the portable terminal 20 (control unit 30) makes an affirmative decision in step S90 and proceeds to step S100. The portable terminal 20 (control unit 30) makes a negative determination in step S90 and proceeds to step S110 if the tap operation is not performed on the position where the above information is displayed as an overlay.

ステップS100において、携帯端末20(制御部30)は、所定の関連付け処理を行ってステップS110へ進む。関連付け処理は、例えば、上記対象人物による投稿内容に対してユーザが携帯端末20に書き込んだメッセージをSNSシステム10へ送信(フォロー)したり、上記友達サービスにおいてユーザから対象人物に対する友達申請をSNSシステム10へ送信したりすることに応じて、対象人物の会員アカウントとユーザの会員アカウントとの関連付けを行うことをいう。   In step S100, the portable terminal 20 (control unit 30) performs a predetermined association process and proceeds to step S110. For example, the association process transmits (follows) a message written by the user to the mobile terminal 20 with respect to the posted content by the target person to the SNS system 10 or sends a friend application from the user to the target person in the friend service. 10 is associated with the member account of the target person and the user's member account.

ステップS110において、携帯端末20(制御部30)は表示制御部33に指示を送り、ステップS80で行ったオーバーレイ表示を終了させて図5による処理を終了する。   In step S110, the portable terminal 20 (control unit 30) sends an instruction to the display control unit 33, ends the overlay display performed in step S80, and ends the process of FIG.

<サーバ12側の処理>
サーバ12(会員サービス処理部125)は、図5による処理を繰り返し行うように構成されている。ステップS310において、サーバ12(会員サービス処理部125)は、携帯端末20から送信された「顔」を示す情報と、当該「顔」とSNSシステム10に登録されている会員の「顔」とを照合する照合依頼を携帯端末20から受け付けてステップS320へ進む。
<Processing on the server 12 side>
The server 12 (member service processing unit 125) is configured to repeatedly perform the processing shown in FIG. In step S <b> 310, the server 12 (member service processing unit 125) uses the information indicating the “face” transmitted from the mobile terminal 20, the “face”, and the “face” of the member registered in the SNS system 10. A collation request to be collated is received from the portable terminal 20, and the process proceeds to step S320.

ステップS320において、サーバ12(会員サービス処理部125)は、携帯端末20から送信された「顔」とSNSシステム10に登録されている会員の「顔」とを以下のように照合する。サーバ12(会員サービス処理部125)は照合処理部130へ指示を送り、例えば「顔」の画像に含まれる眼、鼻、口など、顔全体に分布する特徴に基づいて特徴量を検出させる。瞳の中心や唇の端などの位置情報や距離(間隔)などを特徴量とすることができる。照合処理部130は、このような特徴量の比較に基づいて、携帯端末20から送信された「顔」の人物とSNSシステム10に登録されている「顔」の会員とが同人物か否かを判定する。このような「顔」の特徴量に基づく判定技術は公知であるため、詳細な説明については省略する。   In step S320, the server 12 (member service processing unit 125) collates the “face” transmitted from the mobile terminal 20 with the “face” of the member registered in the SNS system 10 as follows. The server 12 (member service processing unit 125) sends an instruction to the matching processing unit 130, and detects feature amounts based on features distributed over the entire face, such as eyes, nose, and mouth included in the “face” image. Position information such as the center of the pupil and the edge of the lips, distance (interval), and the like can be used as the feature amount. Based on the comparison of the feature amounts, the matching processing unit 130 determines whether the “face” person transmitted from the mobile terminal 20 and the “face” member registered in the SNS system 10 are the same person or not. Determine. Such a determination technique based on the feature value of “face” is well known, and thus detailed description thereof is omitted.

ステップS330において、サーバ12(会員サービス処理部125)は、照合結果を携帯端末20へ送信してステップS340へ進む。照合結果は、携帯端末20から送信された「顔」の人物がSNSシステム10のSNS会員(すなわちSNSシステム10に登録されている)であるか、非会員(すなわちSNSシステム10に登録されていない)であるかを示す。なお、上述したように、上記ブロック設定がなされた会員については、この会員の「顔」が携帯端末20から送信された「顔」と一致する場合であっても、SNSシステム10の非会員である旨を携帯端末20へ送信する。   In step S330, the server 12 (member service processing unit 125) transmits the collation result to the mobile terminal 20, and proceeds to step S340. The collation result is that the person of the “face” transmitted from the mobile terminal 20 is an SNS member of the SNS system 10 (that is, registered in the SNS system 10) or a non-member (that is, not registered in the SNS system 10). ). Note that, as described above, a member who has been set as the above block is a non-member of the SNS system 10 even when the “face” of the member matches the “face” transmitted from the mobile terminal 20. A message to that effect is transmitted to the mobile terminal 20.

ステップS340において、サーバ12(会員サービス処理部125)は、SNSシステム10に登録されている会員情報に該当者が存在するか否かを判定する。サーバ12(会員サービス処理部125)は、上記ステップS330において携帯端末20へSNS会員である旨を送信している場合は、ステップS340を肯定判定してステップS350へ進む。サーバ12(会員サービス処理部125)は、上記ステップS330において携帯端末20へ非会員である旨を送信している場合は、ステップS340を否定判定して図5による処理を終了する。   In step S340, the server 12 (member service processing unit 125) determines whether or not a corresponding person exists in the member information registered in the SNS system 10. If the server 12 (member service processing unit 125) transmits an SNS member message to the mobile terminal 20 in step S330, the server 12 (member service processing unit 125) makes an affirmative decision in step S340 and proceeds to step S350. If the server 12 (member service processing unit 125) transmits a message indicating that it is a non-member to the mobile terminal 20 in step S330, the server 12 (member service processing unit 125) makes a negative determination in step S340 and ends the process of FIG.

ステップS350において、サーバ12(会員サービス処理部125)は情報読出し部131へ指示を送り、該当する会員に関連する情報(その会員による過去の投稿内容)を不図示の記憶装置から読み出させてステップS360へ進む。ステップS360において、サーバ12(会員サービス処理部125)は、上記ステップS350で読み込んだ情報を携帯端末20へ送信して図5による処理を終了する。   In step S350, the server 12 (member service processing unit 125) sends an instruction to the information reading unit 131 to read information related to the member (past content posted by the member) from a storage device (not shown). It progresses to step S360. In step S360, the server 12 (member service processing unit 125) transmits the information read in step S350 to the mobile terminal 20 and ends the process in FIG.

以上説明した第一の実施形態によれば、次の作用効果が得られる。
(1)ネットワーク16を介して会員に対してサービスを提供するSNSシステム10からサービスを受ける携帯端末20は、カメラ27と、SNSシステム10と通信を行う通信部28と、カメラ27によって撮像された画像および通信部28によって取得された情報を表示する画面表示部22と、画像から顔を検出する顔検出部31と、顔検出部31によって顔が検出されたことに応じて、検出された顔の人物に関連する情報をSNSシステム10から取得し、取得された取得情報を画像とともに画面表示部22に表示するようにカメラ27、通信部28、画面表示部22、および顔検出部31を制御する制御部30と、を備えるようにした。これにより、携帯端末20から目の前の人物によるSNS上の投稿内容を容易に閲覧できる。
According to the first embodiment described above, the following operational effects can be obtained.
(1) The mobile terminal 20 that receives services from the SNS system 10 that provides services to the members via the network 16 is captured by the camera 27, the communication unit 28 that communicates with the SNS system 10, and the camera 27. A screen display unit 22 that displays information acquired by the image and the communication unit 28, a face detection unit 31 that detects a face from the image, and a detected face in response to detection of a face by the face detection unit 31 Control the camera 27, the communication unit 28, the screen display unit 22, and the face detection unit 31 to display information related to the person from the SNS system 10 and display the acquired information on the screen display unit 22 together with the image. And a control unit 30 to be provided. Thereby, the posting content on SNS by the person in front from the portable terminal 20 can be browsed easily.

(2)制御部30は、顔検出部31によって検出された顔の画像データをSNSシステム10へ送り、検出された顔の会員がSNSシステム10に登録されている場合においてSNSシステム10から送信される会員に関連する情報を取得情報として取得し、取得情報を画像とともに画面表示部22に表示するように制御するので、携帯端末20のカメラ27で目の前の人物を撮るだけで、この人物によるSNS上の投稿内容を携帯端末20から容易に閲覧できる。 (2) The control unit 30 sends the image data of the face detected by the face detection unit 31 to the SNS system 10, and is transmitted from the SNS system 10 when the detected face member is registered in the SNS system 10. The information related to the member is acquired as acquisition information, and the acquisition information is controlled to be displayed on the screen display unit 22 together with the image. The posted content on the SNS can be easily viewed from the mobile terminal 20.

(3)携帯端末20は、顔検出部31によって複数の顔が検出された場合に1つの顔を選択する制御部30を備え、選択された顔の画像データをSNSシステム10へ送るように制御するので、複数の人物による投稿内容が入り交じることなく、適切に閲覧できる。 (3) The mobile terminal 20 includes a control unit 30 that selects one face when a plurality of faces are detected by the face detection unit 31, and controls the image data of the selected face to be sent to the SNS system 10. Therefore, it is possible to browse appropriately without posting the contents of postings by a plurality of persons.

(4)携帯端末20は、画面表示部22の画面上においてタップ位置を検出する位置検出部23をさらに備え、制御部30は、画面表示部22において位置検出部23によって検出されたタップ位置に表示される顔を選択するので、複数の人物のうち任意の人物による投稿内容を閲覧することが可能になる。 (4) The mobile terminal 20 further includes a position detection unit 23 that detects a tap position on the screen of the screen display unit 22, and the control unit 30 sets the tap position detected by the position detection unit 23 in the screen display unit 22. Since the face to be displayed is selected, it becomes possible to view the content posted by an arbitrary person among a plurality of persons.

(5)会員に関連する情報は、会員からSNSシステム10へ投稿された文字(書き込み)または画像であるので、種々のSNSサービスに対応できる。 (5) Since the information related to the member is characters (writing) or images posted from the member to the SNS system 10, it can correspond to various SNS services.

(6)携帯端末20は、画面表示部22に画像とともに投稿内容70が表示されている状態で、投稿内容70の表示位置がタップ操作されると、会員と携帯端末20のユーザとの間でSNSシステム10における会員アカウントを関連付ける制御部30をさらに備えるようにした。これにより、簡単な操作によって会員アカウントの関連付けを行える。SNSシステム10によるサービス画面を画面表示部22に表示させてから関連付けを行わせる場合に比べて、使い勝手をよくすることができる。 (6) When the display position of the posted content 70 is tapped in the state where the posted content 70 is displayed together with the image on the screen display unit 22, the mobile terminal 20 is between the member and the user of the mobile terminal 20. A control unit 30 for associating member accounts in the SNS system 10 is further provided. Thereby, it is possible to associate member accounts with a simple operation. Compared with the case where the association is performed after the service screen by the SNS system 10 is displayed on the screen display unit 22, the usability can be improved.

(変形例1)
上述した説明では、図5のステップS50において、携帯端末20(制御部30)がサーバ12へ照合依頼を送信する際に対象人物の「顔」の画像データを送信する例を説明した。「顔」の画像データを携帯端末20(制御部30)からサーバ12へ送信する代わりに、「顔」の特徴量データを携帯端末20(制御部30)からサーバ12へ送信してもよい。
(Modification 1)
In the above description, the example in which the portable terminal 20 (the control unit 30) transmits the image data of the “face” of the target person when the portable terminal 20 (the control unit 30) transmits the verification request to the server 12 in step S50 of FIG. Instead of transmitting the image data of “face” from the portable terminal 20 (control unit 30) to the server 12, the feature amount data of “face” may be transmitted from the portable terminal 20 (control unit 30) to the server 12.

この場合の携帯端末20(制御部30)は、対象人物の「顔」の画像に含まれる眼、鼻、口などの顔全体に分布する特徴に基づいて特徴量を算出した上でサーバ12へ送信する。一般に、「顔」画像データに比べて特徴量データの方がデータ量が少ないので、送信処理の負担を軽減できる。   In this case, the mobile terminal 20 (control unit 30) calculates the feature amount based on the feature distributed over the entire face such as the eyes, nose, and mouth included in the “face” image of the target person, and then sends the feature amount to the server 12. Send. In general, since the amount of feature data is smaller than that of “face” image data, the burden of transmission processing can be reduced.

(変形例2)
上述した説明におけるステップS40において、携帯端末20(制御部30)は、複数の「顔」の中から1つの「顔」を選択するタップ操作を受け付けることにより、図6の表示画面の中から対象人物の「顔」を選ぶようにした。この代わりに、ユーザによる視線を検出する公知の視線検出機能を携帯端末20に備え、視線検出機能によって検出された視線に対応する人物の「顔」を選ぶようにしてもよい。
(Modification 2)
In step S40 in the above description, the mobile terminal 20 (the control unit 30) receives a tap operation for selecting one “face” from a plurality of “faces”, and thereby selects the target from the display screen of FIG. The person's "face" was selected. Instead of this, a known gaze detection function for detecting a gaze by the user may be provided in the mobile terminal 20, and a “face” of a person corresponding to the gaze detected by the gaze detection function may be selected.

変形例2の携帯端末20の制御部30は、表示制御部33が有する表示情報(表示・入力部25の画面上のどの座標位置に、何を表示させているかを示す情報)を参照することにより、ユーザが見ている画面上の対象(図6の枠61)を特定する。このような視線検出機能を備えることにより、表示・入力部25の画面表示部22がユーザの指により接触操作されなくても、視線入力によって表示・入力部25の画面上の「顔」を特定できる。   The control unit 30 of the mobile terminal 20 according to the modification 2 refers to display information (information indicating what is displayed at which coordinate position on the screen of the display / input unit 25) of the display control unit 33. Thus, the object on the screen that the user is viewing (the frame 61 in FIG. 6) is specified. By providing such a line-of-sight detection function, even if the screen display unit 22 of the display / input unit 25 is not touched by a user's finger, the “face” on the screen of the display / input unit 25 is specified by the line-of-sight input. it can.

具体例を説明すると、ユーザが画面表示部22に表示されている対象(例えば、画面右側に表示されている枠61)を注視すると、制御部30は、カメラ26で取得された画像に基づいて、画面表示部22におけるユーザの視線の位置を検出する。すなわち、カメラ26で取得した画像から得られるユーザの「眼」の特徴量に基づいて、画面表示部22上におけるユーザの視線位置を求める。表示制御部33は、制御部30によって特定された対象(枠61)をユーザへ視覚的に知らせるため、特定対象を示すマーカ(不図示)を画面表示部22に表示させる。   When a specific example is described, when the user gazes at a target displayed on the screen display unit 22 (for example, the frame 61 displayed on the right side of the screen), the control unit 30 is based on an image acquired by the camera 26. Then, the position of the user's line of sight in the screen display unit 22 is detected. That is, the user's line-of-sight position on the screen display unit 22 is obtained based on the feature amount of the user's “eye” obtained from the image acquired by the camera 26. The display control unit 33 causes the screen display unit 22 to display a marker (not shown) indicating the specific target in order to visually notify the user of the target (frame 61) specified by the control unit 30.

ユーザは、目当ての対象(枠61)の表示位置とマーカ(不図示)の位置とが合致している状態で瞬きを行う。制御部30は、ユーザの瞬きを検出した時点で特定している対象(例えば、画面右側の枠61)に対応する人物の「顔」を選ぶ。   The user blinks in a state where the display position of the target (frame 61) matches the position of the marker (not shown). The control unit 30 selects the “face” of the person corresponding to the target (for example, the frame 61 on the right side of the screen) specified when the user's blink is detected.

(変形例3)
図7に例示した表示画面において、対象人物による投稿内容70の表示位置がタップ操作された場合に、携帯端末20(制御部30)が、投稿内容70を拡大表示するようにしてもよい。そして、拡大表示された投稿内容70の表示位置がさらにタップ操作された場合には、携帯端末20(制御部30)がSNSシステム10のサーバ12へアクセスし、SNSシステム10によるサービスのホーム画面を表示・入力部25に表示させる。一方、投稿内容70の表示における「×」マークがタップ操作された場合には、携帯端末20(制御部30)は、ライブビュー画像に重ねたオーバーレイ表示を終了させて図5による処理を終了する。
(Modification 3)
In the display screen illustrated in FIG. 7, when the display position of the posted content 70 by the target person is tapped, the mobile terminal 20 (control unit 30) may display the posted content 70 in an enlarged manner. When the display position of the posted content 70 displayed in an enlarged manner is further tapped, the mobile terminal 20 (the control unit 30) accesses the server 12 of the SNS system 10 and displays the home screen of the service by the SNS system 10. It is displayed on the display / input unit 25. On the other hand, when the “x” mark in the display of the posted content 70 is tapped, the mobile terminal 20 (the control unit 30) ends the overlay display superimposed on the live view image and ends the process of FIG. .

(変形例4)
上述した実施形態では、上記対象人物による投稿内容に対してユーザが携帯端末20で書き込んだメッセージを携帯端末20からSNSシステム10へ送信(フォロー)したり、上記友達サービスにおいてユーザから対象人物に対する友達申請を携帯端末20からSNSシステム10へ送信したりすることに応じて、対象人物の会員アカウントとユーザの会員アカウントとの関連付けを行う例を説明した。この代わりに、携帯端末20のカメラ27により上記対象人物を撮影するためのレリーズ操作が携帯端末20に対して行われたことに応じて、ユーザから対象人物に対する友達申請を携帯端末20からSNSシステム10へ送信するようにしてもよい。
(Modification 4)
In the embodiment described above, a message written by the user on the mobile terminal 20 with respect to the content posted by the target person is transmitted (followed) from the mobile terminal 20 to the SNS system 10, or a friend to the target person from the user in the friend service. The example in which the member account of the target person is associated with the user member account in response to transmitting the application from the mobile terminal 20 to the SNS system 10 has been described. Instead, in response to the release operation for photographing the target person being performed on the mobile terminal 20 by the camera 27 of the mobile terminal 20, the user applies a friend application for the target person from the mobile terminal 20 to the SNS system. 10 may be transmitted.

(変形例5)
以上の説明では、携帯端末20を用いる例を説明したが、例えばグーグルグラス(登録商標)のようなカメラ付きウェアラブルディスプレイを用いてもよい。一般に、目の前の人物が他人である場合には、その他人にユーザが携帯端末20のカメラ27を向けることは、当該他人に撮られているという印象を与えてしまったり、当該他人からユーザが怪しまれたりするおそれがある。これに対し、携帯端末20の代わりに上述したウェアラブルデバイスを通してユーザが目の前の他人を見る場合は、当該他人に撮られているという印象を与えにくくなり、当該他人からユーザが怪しまれたりするおそれを軽減できる。
(Modification 5)
In the above description, an example in which the mobile terminal 20 is used has been described. However, for example, a wearable display with a camera such as Google Glass (registered trademark) may be used. In general, when the person in front is another person, pointing the camera 27 of the mobile terminal 20 to the other person may give the impression that the other person is taking the picture, or the other person may May be suspicious. On the other hand, when the user views another person in front of the user through the above-described wearable device instead of the mobile terminal 20, it is difficult to give an impression that the other person is taking the image, and the user is suspicious from the other person. The fear can be reduced.

(第二の実施形態)
第二の実施形態では、ユーザの目の前にいる人物の近傍で該ユーザの携帯端末20が取得した他人の携帯端末20Bの所有者情報を携帯端末20からサーバ12へ送信すると、サーバ12は、送信された情報と一致する情報を有する会員による投稿内容などを携帯端末20へ送る。第二の実施形態における通信部28は、無線LANのアクセスポイント18(図1)を経由する通信と、携帯電話回線網を経由する通信とに加えて、Bluetooth(登録商標)と呼ばれる近距離無線通信も行うように構成される。本実施形態では、例えば携帯端末20からの距離が3m以内に存在する他の無線通信機器と近距離無線通信を行う。
(Second embodiment)
In the second embodiment, when the owner information of the portable terminal 20B of another person acquired by the portable terminal 20 of the user near the person in front of the user is transmitted from the portable terminal 20 to the server 12, the server 12 Then, the content posted by the member having information that matches the transmitted information is sent to the mobile terminal 20. The communication unit 28 in the second embodiment includes a short-range wireless called Bluetooth (registered trademark) in addition to communication via the wireless LAN access point 18 (FIG. 1) and communication via the mobile phone network. It is also configured to communicate. In the present embodiment, for example, short-range wireless communication is performed with another wireless communication device that is within a distance of 3 m from the mobile terminal 20.

図8は、第二の実施形態による携帯端末20の制御部30が実行する閲覧処理プログラムの処理の流れを説明するフローチャートである。携帯端末20(制御部30)は、人物によるSNS上の投稿内容などを自動閲覧する機能がオン設定されると、図5の携帯端末20側の処理の代わりに、図8による処理を起動させる。そして携帯端末20のユーザは、携帯端末20を携えて、人物(対象人物)に近づく。なお、上記機能のオン設定/オフ設定の切替えは、あらかじめ設定アイコン21Bに対応付けられた設定プログラムによって行っておくものとする。   FIG. 8 is a flowchart for explaining the flow of processing of the browsing processing program executed by the control unit 30 of the mobile terminal 20 according to the second embodiment. When the function of automatically browsing the posted content on the SNS by a person is turned on, the mobile terminal 20 (control unit 30) activates the process of FIG. 8 instead of the process of the mobile terminal 20 side of FIG. . The user of the mobile terminal 20 approaches the person (target person) with the mobile terminal 20. It should be noted that switching of the on / off setting of the above function is performed in advance by a setting program associated with the setting icon 21B.

図8のステップS10において、携帯端末20(制御部30)は、カメラ27によるライブビュー画像の取得を開始させてステップS20へ進む。携帯端末20(制御部30)は表示制御部33に指示を送り、図6に例示したように、ライブビュー画像を表示・入力部25に逐次表示させる。図6の表示・入力部25には、ユーザの前にいる人物62および人物63がライブビュー画像として撮影され、表示されている。   In step S10 of FIG. 8, the portable terminal 20 (control unit 30) starts the acquisition of the live view image by the camera 27, and proceeds to step S20. The portable terminal 20 (control unit 30) sends an instruction to the display control unit 33, and sequentially displays the live view image on the display / input unit 25 as illustrated in FIG. In the display / input unit 25 of FIG. 6, a person 62 and a person 63 in front of the user are captured and displayed as live view images.

ステップS20において、携帯端末20(制御部30)は顔検出部31に指示を送り、ライブビュー画像に基づいて顔検出処理を行わせてステップS230へ進む。本実施形態における表示制御部33は、検出された「顔」を示す枠61をライブビュー画像に重ねてオーバーレイ表示するように構成されている。図6の例では、複数の「顔」が検出されているので、枠61が複数表示されている。   In step S20, the portable terminal 20 (control unit 30) sends an instruction to the face detection unit 31, causes face detection processing to be performed based on the live view image, and proceeds to step S230. The display control unit 33 in the present embodiment is configured to overlay the frame 61 indicating the detected “face” on the live view image. In the example of FIG. 6, since a plurality of “faces” are detected, a plurality of frames 61 are displayed.

ステップS230において、携帯端末20(制御部30)は、ライブビュー画像に「顔」が存在するか否かを判定する。携帯端末20(制御部30)は、ライブビュー画像に基づいて「顔」が検出されている場合にステップS230を肯定判定してステップS240へ進む。携帯端末20(制御部30)は、ライブビュー画像に基づいて「顔」が検出されていない場合には、ステップS230を否定判定して図8による処理を終了する。「顔」が検出されていなければ、人物(対象人物)がいないと判断する。   In step S230, the mobile terminal 20 (control unit 30) determines whether or not a “face” exists in the live view image. When the “face” is detected based on the live view image, the mobile terminal 20 (control unit 30) makes an affirmative decision in step S230 and proceeds to step S240. If the “face” is not detected based on the live view image, the mobile terminal 20 (the control unit 30) makes a negative determination in step S230 and ends the process of FIG. If no “face” is detected, it is determined that there is no person (target person).

ステップS240において、携帯端末20(制御部30)は通信制御部34へ指示を送り、通信部28による近距離無線通信を開始させる。近距離無線通信における通信部28の送信出力は、所定の送信レベルの範囲内で段階的に変化可能に構成されている。携帯端末20(制御部30)は、始めは最小の送信出力で近距離無線通信を行い、応答してきた他人の携帯端末20Bと通信成立した場合にはステップS250を肯定判定してステップS260へ進み、その送信出力で近距離無線通信を継続する。携帯端末20(制御部30)は、他人の携帯端末20Bからの応答がない場合は、1段階送信出力を上げて近距離無線通信を行う。   In step S240, the portable terminal 20 (control unit 30) sends an instruction to the communication control unit 34 to start short-range wireless communication by the communication unit 28. The transmission output of the communication unit 28 in the short-range wireless communication is configured to be able to change stepwise within a predetermined transmission level range. The mobile terminal 20 (control unit 30) initially performs short-range wireless communication with the minimum transmission output, and when communication is established with another responding mobile terminal 20B, an affirmative determination is made in step S250 and the process proceeds to step S260. The short-range wireless communication is continued with the transmission output. When there is no response from another person's portable terminal 20B, the portable terminal 20 (control unit 30) increases the one-stage transmission output and performs short-range wireless communication.

以降同様に、応答してきた他人の携帯端末20Bと通信成立した場合にはステップS250を肯定判定してステップS260へ進み、その送信出力で近距離無線通信を継続する。携帯端末20(制御部30)は、他人の携帯端末20Bからの応答がない場合は、さらに1段階送信出力を上げて近距離無線通信を行う。携帯端末20(制御部30)は、最大送信出力においても他人の携帯端末20Bからの応答がない場合は、ステップS250を否定判定して図8による処理を終了する。この場合は、人物(対象人物)が携帯端末20Bを携帯していないと判断する。   Thereafter, similarly, when communication is established with another person's portable terminal 20B that has responded, an affirmative decision is made in step S250 and the flow proceeds to step S260, and short-range wireless communication is continued with the transmission output. If there is no response from another person's portable terminal 20B, the portable terminal 20 (control unit 30) further increases the first-stage transmission output and performs short-range wireless communication. If there is no response from another person's portable terminal 20B even at the maximum transmission output, the portable terminal 20 (control unit 30) makes a negative determination in step S250 and ends the process of FIG. In this case, it is determined that the person (target person) does not carry the mobile terminal 20B.

通信部28の送信出力を最小送信出力から最大送信出力まで段階的に変化させて交信を試み、最初に通信が成立した携帯端末20Bを通信相手として近距離無線通信を継続するので、ユーザに最も近い人物(対象人物)が携帯する携帯端末20Bとの間で通信を成立させることができる。   Since communication is attempted by gradually changing the transmission output of the communication unit 28 from the minimum transmission output to the maximum transmission output, and the short-distance wireless communication is continued with the mobile terminal 20B that has established communication first as the communication partner, Communication can be established with the portable terminal 20B carried by a nearby person (target person).

ステップS260において、携帯端末20(制御部30)は、通信相手端末(すなわち携帯端末20B)から所有者情報を取得してステップS270へ進む。所有者情報は、例えば、所有者の氏名、生年月日、血液型などである。ステップS270において、携帯端末20(制御部30)は通信制御部34へ指示を送り、通信部28による近距離無線通信を終了させてステップS50Bへ進む。携帯端末20Bは、あらかじめ所有者情報の送信について許可設定されているものとする。   In step S260, the portable terminal 20 (control unit 30) acquires owner information from the communication partner terminal (that is, the portable terminal 20B), and proceeds to step S270. The owner information is, for example, the owner's name, date of birth, blood type, and the like. In step S270, the portable terminal 20 (control unit 30) sends an instruction to the communication control unit 34, ends short-range wireless communication by the communication unit 28, and proceeds to step S50B. It is assumed that the portable terminal 20B is set to permit the transmission of owner information in advance.

ステップS50Bにおいて、携帯端末20(制御部30)は通信制御部34へ指示を送り、上記携帯端末20Bの所有者情報と、当該所有者情報とSNSシステム10に登録されている会員の情報とを照合する照合処理の依頼(照合依頼)とを、サーバ12へ送信させてステップS60Bへ進む。   In step S50B, the portable terminal 20 (control unit 30) sends an instruction to the communication control unit 34, and the owner information of the portable terminal 20B, the owner information, and member information registered in the SNS system 10 are obtained. A request for collation processing (collation request) to be collated is transmitted to the server 12, and the process proceeds to step S60B.

ステップS60Bにおいて、携帯端末20(制御部30)は、対象人物がSNSシステム10に登録されている会員か否かを判定する。携帯端末20(制御部30)は、サーバ12から受信した照合結果がSNS会員である(携帯端末20Bの所有者情報がSNSシステム10に登録されている会員の情報と一致する)場合は、ステップS60Bを肯定判定してステップS70へ進む。携帯端末20(制御部30)は、サーバ12から受信した照合結果が非会員である(携帯端末20Bの所有者情報がSNSシステム10に登録されている会員の情報と一致しない)場合は、ステップS60Bを否定判定して図8による処理を終了する。ステップS60Bを否定判定する場合は、対象人物がSNSシステム10の非会員であることから、当該人物によるSNS上の投稿内容が存在しない。   In step S <b> 60 </ b> B, the mobile terminal 20 (the control unit 30) determines whether the target person is a member registered in the SNS system 10. When the collation result received from the server 12 is an SNS member (the owner information of the portable terminal 20B matches the member information registered in the SNS system 10), the portable terminal 20 (control unit 30) is a step. Affirmative determination is made in S60B, and the process proceeds to step S70. When the collation result received from the server 12 is a non-member (the owner information of the portable terminal 20B does not match the member information registered in the SNS system 10), the portable terminal 20 (control unit 30) A negative determination is made in S60B, and the process of FIG. In the case of negative determination in step S60B, since the target person is a nonmember of the SNS system 10, there is no posted content on the SNS by the person.

ステップS70以降の処理は、第一の実施形態において説明した図5の処理と同様であるので、説明を省略する。   Since the process after step S70 is the same as the process of FIG. 5 demonstrated in 1st embodiment, description is abbreviate | omitted.

以上説明した第二の実施形態によれば、以下の作用効果が得られる。すなわち、携帯端末20の通信部28は、所定距離範囲内の通信端末20Bと通信を行う近距離通信機能をさらに備え、制御部30は、顔検出部31によって顔が検出されると顔の人物が所持する携帯端末20Bと近距離通信を行って携帯端末20Bのユーザの情報を取得し、携帯端末20Bから取得したユーザの情報をSNSシステム10へ送り、ユーザの情報と一致する情報の会員がSNSシステム10に登録されている場合においてSNSシステム10から送信される会員に関連する情報を取得情報として取得し、取得情報を画像とともに画面表示部22に表示するように制御するので、携帯端末20のカメラ27で目の前の人物を撮るだけで、この人物によるSNS上の投稿内容を携帯端末20から容易に閲覧できる。   According to the second embodiment described above, the following operational effects can be obtained. That is, the communication unit 28 of the mobile terminal 20 further includes a short-range communication function for communicating with the communication terminal 20B within a predetermined distance range, and when the face detection unit 31 detects a face, the control unit 30 The user information of the mobile terminal 20B is acquired by performing short-range communication with the mobile terminal 20B possessed by the mobile terminal 20B, the user information acquired from the mobile terminal 20B is sent to the SNS system 10, and the member of the information that matches the user information Since information related to the member transmitted from the SNS system 10 is acquired as acquisition information when registered in the SNS system 10 and the acquisition information is displayed on the screen display unit 22 together with the image, the mobile terminal 20 By simply taking a person in front of the camera 27, the posted content on the SNS by this person can be easily viewed from the portable terminal 20.

(変形例6)
第二の実施形態においては、ユーザの目の前にいる人物の近傍で該ユーザの携帯端末20が取得した他人の携帯端末20Bの所有者情報を携帯端末20からサーバ12へ送信するようにした。他人の携帯端末20Bの所有者情報を取得する代わりに、携帯端末20Bの所有者がSNSシステム10にアクセスするための会員アカウント情報を取得するようにしてもよい。
(Modification 6)
In the second embodiment, the owner information of the portable terminal 20B of another person acquired by the portable terminal 20 of the user in the vicinity of the person in front of the user is transmitted from the portable terminal 20 to the server 12. . Instead of acquiring owner information of another person's portable terminal 20B, member account information for the owner of the portable terminal 20B to access the SNS system 10 may be acquired.

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。   The above description is merely an example, and is not limited to the configuration of the above embodiment.

10…SNSシステム
12…サーバ
16…ネットワーク
17…PC
18…アクセスポイント
20、20B…携帯端末
21、21B…アイコン
22…画面表示部
23…位置検出部
25…表示・入力部
26、27…カメラ
28…通信部
30…制御部
31…顔検出部
32…プログラム実行部
33…表示制御部
34…通信制御部
121…会員情報DB
122…プロフィールDB
125…会員サービス処理部
130…照合処理部
131…情報読出し部
10 ... SNS system 12 ... Server 16 ... Network 17 ... PC
18 ... access point 20, 20B ... mobile terminal 21, 21B ... icon 22 ... screen display unit 23 ... position detection unit 25 ... display / input unit 26, 27 ... camera 28 ... communication unit 30 ... control unit 31 ... face detection unit 32 ... Program execution unit 33 ... Display control unit 34 ... Communication control unit 121 ... Member information DB
122 ... Profile DB
125 ... Member service processing unit 130 ... Verification processing unit 131 ... Information reading unit

Claims (7)

ネットワークを介して会員に対してサービスを提供するサービス提供システムからサービスを受ける携帯端末において、
撮像部と、
前記サービス提供システムと通信を行う通信部と、
前記撮像部によって撮像された画像および前記通信部によって取得された情報を表示する表示部と、
前記画像から顔を検出する顔検出部と、
前記顔検出部によって顔が検出されたことに応じて、前記検出された顔の人物に関連する情報を前記サービス提供システムから取得し、前記取得された取得情報を前記画像とともに前記表示部に表示するように前記撮像部、前記通信部、前記表示部、および前記顔検出部を制御する制御部と、
を備えることを特徴とする携帯端末。
In a mobile terminal that receives services from a service providing system that provides services to members over a network,
An imaging unit;
A communication unit for communicating with the service providing system;
A display unit for displaying an image captured by the imaging unit and information acquired by the communication unit;
A face detection unit for detecting a face from the image;
In response to detection of a face by the face detection unit, information related to the detected face person is acquired from the service providing system, and the acquired acquisition information is displayed on the display unit together with the image. A control unit for controlling the imaging unit, the communication unit, the display unit, and the face detection unit,
A portable terminal comprising:
請求項1に記載の携帯端末において、
前記制御部は、
前記顔検出部によって検出された顔を示す情報を前記サービス提供システムへ送り、
前記検出された顔の会員が前記サービス提供システムに登録されている場合において前記サービス提供システムから送信される前記会員に関連する情報を前記取得情報として取得し、
前記取得情報を前記画像とともに前記表示部に表示するように前記制御を行う、
ことを特徴とする携帯端末。
The mobile terminal according to claim 1,
The controller is
Sending information indicating the face detected by the face detection unit to the service providing system;
When the detected face member is registered in the service providing system, the information related to the member transmitted from the service providing system is acquired as the acquisition information,
Performing the control to display the acquired information together with the image on the display unit;
A portable terminal characterized by that.
請求項2に記載の携帯端末において、
前記顔検出部によって複数の顔が検出された場合に1つの顔を選択する選択部を備え、
前記制御部は、前記選択部によって選択された顔を示す情報を前記サービス提供システムへ送るように前記制御を行うことを特徴とする携帯端末。
The mobile terminal according to claim 2,
A selection unit that selects one face when a plurality of faces are detected by the face detection unit;
The mobile terminal according to claim 1, wherein the control unit performs the control to send information indicating the face selected by the selection unit to the service providing system.
請求項3に記載の携帯端末において、
前記表示部の画面上において視線位置を検出する視線検出部、または前記表示部の画面上の接触位置を検出する接触操作部をさらに備え、
前記選択部は、前記表示部において前記視線検出部または前記接触操作部によって検出された位置に表示される顔を選択することを特徴とする携帯端末。
The mobile terminal according to claim 3,
A line-of-sight detection unit that detects a line-of-sight position on the screen of the display unit, or a contact operation unit that detects a contact position on the screen of the display unit;
The mobile terminal according to claim 1, wherein the selection unit selects a face displayed at a position detected by the line-of-sight detection unit or the contact operation unit on the display unit.
請求項1に記載の携帯端末において、
前記通信部は、所定距離範囲内の通信端末と通信を行う近距離通信機能をさらに備え、
前記制御部は、
前記顔検出部によって顔が検出されると前記顔の人物が所持する通信端末と前記近距離通信を行って前記通信端末のユーザの情報を取得し、
前記通信端末から取得したユーザの情報を前記サービス提供システムへ送り、
前記ユーザの情報と一致する情報の会員が前記サービス提供システムに登録されている場合において前記サービス提供システムから送信される前記会員に関連する情報を前記取得情報として取得し、
前記取得情報を前記画像とともに前記表示部に表示するように前記制御を行う、
ことを特徴とする携帯端末。
The mobile terminal according to claim 1,
The communication unit further includes a near field communication function for communicating with a communication terminal within a predetermined distance range,
The controller is
When a face is detected by the face detection unit, the short-range communication is performed with a communication terminal possessed by the person of the face to obtain information on a user of the communication terminal,
Send user information acquired from the communication terminal to the service providing system,
When the member of the information that matches the information of the user is registered in the service providing system, the information related to the member transmitted from the service providing system is acquired as the acquisition information,
Performing the control to display the acquired information together with the image on the display unit;
A portable terminal characterized by that.
請求項2〜5のいずれか一項に記載の携帯端末において、
前記会員に関連する情報は、前記会員から前記サービス提供システムへ送信された文字または画像であることを特徴とする携帯端末。
In the portable terminal as described in any one of Claims 2-5,
The information related to the member is a character or an image transmitted from the member to the service providing system.
請求項2〜6のいずれか一項に記載の携帯端末において、
前記表示部に前記画像とともに前記会員に関連する情報が表示されている状態で、所定の操作がなされると、前記会員と前記携帯端末のユーザとの間で前記サービス提供システムにおけるアカウント情報を関連付ける関連付け処理部をさらに備えることを特徴とする携帯端末。
In the portable terminal as described in any one of Claims 2-6,
When a predetermined operation is performed in a state where information related to the member is displayed together with the image on the display unit, account information in the service providing system is associated between the member and the user of the mobile terminal. A portable terminal further comprising an association processing unit.
JP2013219326A 2013-10-22 2013-10-22 Portable terminal Pending JP2015082729A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013219326A JP2015082729A (en) 2013-10-22 2013-10-22 Portable terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013219326A JP2015082729A (en) 2013-10-22 2013-10-22 Portable terminal

Publications (1)

Publication Number Publication Date
JP2015082729A true JP2015082729A (en) 2015-04-27

Family

ID=53013134

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013219326A Pending JP2015082729A (en) 2013-10-22 2013-10-22 Portable terminal

Country Status (1)

Country Link
JP (1) JP2015082729A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202071A (en) * 2015-04-29 2016-12-07 腾讯科技(深圳)有限公司 Method, terminal, server and the system that accounts information obtains
WO2017208351A1 (en) * 2016-05-31 2017-12-07 株式会社オプティム Captured image sharing system, captured image sharing method and program
JP2018536924A (en) * 2015-10-16 2018-12-13 グーグル エルエルシー Technology for attaching media captured by a mobile computing device to an electronic document
JP2018197980A (en) * 2017-05-24 2018-12-13 シャープ株式会社 Image display device, image forming device, control program, and control method
CN110998490A (en) * 2017-08-03 2020-04-10 延世大学校产学协力团 Terminal use mode information collection management method and system

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202071A (en) * 2015-04-29 2016-12-07 腾讯科技(深圳)有限公司 Method, terminal, server and the system that accounts information obtains
JP2018523185A (en) * 2015-04-29 2018-08-16 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 Account information acquisition method, terminal, server, and system
JP2020042834A (en) * 2015-04-29 2020-03-19 ▲騰▼▲訊▼科技(深▲セン▼)有限公司Tencent Technology(Shenzhen)Company Limited Account information obtaining method, terminal, server, and system
US11394708B2 (en) 2015-04-29 2022-07-19 Tencent Technology (Shenzhen) Company Limited Account information obtaining method, terminal, server and system
JP2018536924A (en) * 2015-10-16 2018-12-13 グーグル エルエルシー Technology for attaching media captured by a mobile computing device to an electronic document
US10574726B2 (en) 2015-10-16 2020-02-25 Google Llc Techniques for attaching media captured by a mobile computing device to an electronic document
WO2017208351A1 (en) * 2016-05-31 2017-12-07 株式会社オプティム Captured image sharing system, captured image sharing method and program
JPWO2017208351A1 (en) * 2016-05-31 2018-09-13 株式会社オプティム Captured image sharing system, captured image sharing method, and program
US10296280B2 (en) 2016-05-31 2019-05-21 Optim Corporation Captured image sharing system, captured image sharing method and program
JP2018197980A (en) * 2017-05-24 2018-12-13 シャープ株式会社 Image display device, image forming device, control program, and control method
CN110998490A (en) * 2017-08-03 2020-04-10 延世大学校产学协力团 Terminal use mode information collection management method and system

Similar Documents

Publication Publication Date Title
JP6401865B2 (en) Photo sharing method, apparatus, program, and recording medium
JP2021099841A (en) Method relating to messenger-linked service
US8953835B2 (en) Mobile terminal and method for forming human network using the same
US20150134687A1 (en) System and method of sharing profile image card for communication
US8843573B2 (en) Lightweight messaging with location between users of a social networking system
KR20130097970A (en) Method and apparatus for providing chatting service
JP2017515253A (en) Numerical transfer method, terminal and cloud server
EP3176735A1 (en) Method and device for acquiring business card information
US20190014072A1 (en) Social networking service collaboration
US10567533B2 (en) System and method to determine the presence status of a registered user on a network
CN107454204B (en) User information labeling method and device
JP2015082729A (en) Portable terminal
CN112136099A (en) Direct input from remote device
KR20160110508A (en) Systems and methods for exchanging information
US20170249513A1 (en) Picture acquiring method, apparatus, and storage medium
US20200302897A1 (en) Business card management system and card case
CN109039877A (en) A kind of method, apparatus, electronic equipment and storage medium showing unread message quantity
JP2013045138A (en) Information providing system, information providing apparatus, information providing method, communication terminal and program
JP5503597B2 (en) Mobile terminal, communication method and program using mobile terminal
JP5978070B2 (en) Group photo forming apparatus, group photo forming method, and group photo forming program
CN111368329B (en) Message display method and device, electronic equipment and storage medium
JP2018160213A (en) Display device and program
EP3445077B1 (en) Unlocking mobile terminal in augmented reality
CN107169042B (en) Method and device for sharing pictures and computer readable storage medium
CN107239490B (en) Method and device for naming face image and computer readable storage medium