JP2019519830A - スマート端末を制御する方法、及びスマート端末 - Google Patents

スマート端末を制御する方法、及びスマート端末 Download PDF

Info

Publication number
JP2019519830A
JP2019519830A JP2018549772A JP2018549772A JP2019519830A JP 2019519830 A JP2019519830 A JP 2019519830A JP 2018549772 A JP2018549772 A JP 2018549772A JP 2018549772 A JP2018549772 A JP 2018549772A JP 2019519830 A JP2019519830 A JP 2019519830A
Authority
JP
Japan
Prior art keywords
user
voice
smart terminal
personal information
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018549772A
Other languages
English (en)
Inventor
国華 劉
国華 劉
Original Assignee
シェンジェン ピーアールテック カンパニー リミテッド
シェンジェン ピーアールテック カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シェンジェン ピーアールテック カンパニー リミテッド, シェンジェン ピーアールテック カンパニー リミテッド filed Critical シェンジェン ピーアールテック カンパニー リミテッド
Publication of JP2019519830A publication Critical patent/JP2019519830A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221—Announcement of recognition results
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Abstract

スマート端末を制御する方法であって、（Ｓ１０２）スマート端末に配置されたアプリケーションから送信されたリクエストを受信することと、（Ｓ１０４）目標領域にいるユーザの顔画像を取得することと、（Ｓ１０６）前記顔画像によりユーザ個人情報を特定することと、（Ｓ１０８）特定されたユーザ個人情報が前記リクエストに含まれているユーザ個人情報とマッチするかを判断することと、マッチする場合に、（Ｓ１１０）当該マッチしたユーザを対象ユーザと特定して前記リクエストを表示し、（Ｓ１１２）対象ユーザの対象部の移動軌跡を取得し、（Ｓ１１４）移動軌跡を識別し移動軌跡識別結果を出力し、（Ｓ１１６）移動軌跡識別結果に応じて前記リクエストに対し応答操作を行うこととを含む。
【選択図】図１

Description

この出願は、２０１６年３月２４日に中国特許庁に出願された出願番号が２０１６１０１７３９３７８である、「スマート端末を制御する方法及びシステム、スマート端末」の中国特許出願を優先権主張し、その内容はすべて本明細書に組み込まれる。
本発明は、スマート端末を制御する技術に関し、特にスマート端末を制御する方法及びスマート端末に関する。
ユーザの多種多様な需要に応えるために、スマートテレビ、コンピュータ、タブレット及びスマートゲーム機などのさらなるスマート端末には対応したアプリケーション（例えば、ＭＳＮ、ＱＱ、ＷｅＣｈａｔ、メールボックスなど）が配置される。一般的に、これらのアプリケーションは、スマート端末が作動した後にバックグラウンドで実行される。
これらのアプリケーションが新規メッセージを受信し、或いは操作リクエストを送信する際に、ユーザは、リモコン、マウス、キーボードなどの入力デバイスを用いて対応する操作を行わなければならない。また、一つのスマート端末に対し複数のユーザがいる場合、どのユーザでも、このアプリケーションの新規メッセージをチェックしたり、操作リクエストに対応することができる。しかし、一般的にアプリケーションにおいてユーザの個人情報が記載されているか反映されているため、このような制御方法はユーザのプライバシー保護に不利な影響を与えると共に、操作も不便である。
本発明は、様々な実施例に基づいて、スマート端末を制御する方法及びスマート端末を提供する。
スマート端末を制御する方法であって、スマート端末に配置されたアプリケーションから送信され、アプリケーションに既に登録されているユーザのユーザ個人情報を含むリクエストを受信することと、
前記リクエストに応じて、目標領域にいるユーザの顔画像を取得することと、
前記顔画像によりユーザ個人情報を特定することと、
特定されたユーザ個人情報が前記リクエストに含まれているユーザ個人情報とマッチするかを判断することと、
マッチする場合に、
当該マッチしたユーザを対象ユーザと特定して前記リクエストを表示し、
前記対象ユーザの対象部の移動軌跡を取得し、
前記移動軌跡を識別し移動軌跡識別結果を出力し、
前記移動軌跡識別結果に応じて前記リクエストに対し応答操作を行うことと
を含むことを特徴とする。
コンピュータ読取可能コマンドを格納するメモリと、プロセッサとを含むスマート端末であって、前記コンピュータ読取可能コマンドが前記コンピュータで実行されるときに、前記プロセッサが、
前記スマート端末に配置されたアプリケーションから送信され、既に登録されているユーザのユーザ個人情報を含むリクエストを受信するステップと、
前記リクエストに応じて、目標領域にいるユーザの顔画像を取得するステップと、
前記顔画像によりユーザ個人情報を特定するステップと、
特定されたユーザ個人情報が前記リクエストに含まれているユーザ個人情報とマッチするかを判断するステップと、
マッチする場合に、
当該マッチしたユーザを対象ユーザと特定して前記リクエストを表示し、
前記対象ユーザの対象部の移動軌跡を取得し、
前記移動軌跡を識別し移動軌跡識別結果を出力し、
前記移動軌跡識別結果に応じて前記リクエストに対し応答操作を行うステップと
を実行させることを特徴とする。
本発明の一つまたは複数の実施例の詳細については、後述する図面及び説明に記述される。本発明の他の特徴、目的及び利点は、明細書、図面及び特許請求の範囲から明らかになる。
本発明の実施例または従来技術による技術案をより明らかに説明するために、実施例または従来技術を記述するのに必要な図面を簡単に説明する。後述する図面は本発明の実施例に過ぎず、当業者として創造的な努力を必要とせずに、これらの図面に基づいて他の実施例の図面を得られることが明らかである。
一実施例におけるスマート端末を制御する方法のフローチャートである。 他の実施例におけるスマート端末を制御する方法のフローチャートである。 さらにその他の実施例におけるスマート端末を制御する方法のフローチャートである。 一実施例におけるスマート端末の制御構成図である。 他の実施例におけるスマート端末の制御構成図である。 一実施例におけるスマート端末構成の概略図である。
本発明を容易に理解するために、次に、図面を参照しながら、本発明についてより詳しく説明する。図面には、本発明の最適な実施例が示されている。しかし、本発明は様々な形で実現でき、本明細書に記述される実施例に限らない。その一方で、これらの実施例を挙げる目的は、本発明の開示をより徹底的かつ完全に理解することである。
本発明のスマート端末を制御する方法は、少なくとも一つのアプリケーションが配置されているスマート端末を制御することに用いられる。一実施例において、図６に示すように、スマート端末の内部構造は、プロセッサと、不揮発性記憶媒体と、ネットワークインタフェースと、電源インターフェースと、メモリと、音声取得装置と、画像取得装置と、表示画面と、スピーカ及び入力装置を含むものがシステムバスを介して接続されている。スマート端末の記憶媒体には、オペレーティングシステムと、コンピュータ読取可能コマンドとが格納されている。当該コンピュータ読取可能コマンドはプロセッサで実行されることで、上記プロセッサがスマート端末を制御する一つの方法を実行させることができる。スマート端末には、オペレーティングシステムの操作環境で動作する少なくとも一つのアプリケーションが配置される。当該プロセッサは、スマート端末全体の操作を支持する演算及び制御機能を提供するものであって、且つスマート端末を制御する方法の手順を実行するように構成される。スマート端末のメモリは、記憶媒体に格納されたスマート端末制御システムが作動する環境を提供する。ネットワークインタフェースは、ネットワーク側のデバイスと接続することによりネットワーク通信を行うことに用いられる。スマート端末の表示画面は、液晶スクリーンまたは電子インクスクリーンなどであってもよい。入力装置は、表示画面上を覆うタッチパネルであってもよく、スマート端末の筐体に設置されたボタン、トラックボール、またはタッチパネルであってもよく、外付けされたキーボード、タッチパネルまたはマウス等であってもよい。音声取得装置は、スマート端末に内蔵されたマイクまたは外付マイクデバイスであってもよい。画像取得装置は、スマート端末に内蔵されたカメラまたは外付カメラであってもよい。
当該スマート端末は、スマートテレビ、コンピュータ、タブレット、スマートゲーム機などのデジタルデバイスであってもよい。これらのスマート端末が一般的に大きな表示画面を備えているため、複数のユーザに同時にビデオを視聴させたり情報をシェアさせることができる。このため、当業者にとってわかるように、本発明のスマート端末を制御する方法及びシステムは、複数のユーザが同時に視聴可能なスマートフォンやＩＰＡＤなどのデバイスにも適用する。スマート端末に配置されたアプリケーションは、システムに内蔵されたアプリケーションであってもよく、ユーザ自身がダウンロードし配置する他社のアプリケーションであってもよい。上記アプリケーションは、ＭＳＮ、ＱＱ、ＷｅＣｈａｔ、Ｆａｃｅｂｏｏｋなどのインスタントメッセージアプリケーションであってもよく、テキストメッセージ、電話、電子メール、知識クイズなどのアプリケーションであってもよい。以下では、スマートテレビを一例として説明を行い、スマートテレビには、少なくともＭＳＮ、ＱＱ、ＷｅＣｈａｔのいずれか一つのインスタントメッセージアプリケーションが配置されている。
図１に示すように、一実施例におけるスマート端末を制御する方法は、以下のステップを含む。
Ｓ１０２において、スマート端末に配置されたアプリケーションから送信されるリクエストを受信する。
スマート端末が起動すると、一部のアプリケーションは、ユーザからの設定あるいは使用状況によってバックグラウンドで作動することになる。例えば、ユーザはスマートテレビを電源オンにした後、ＭＳＮ、ＱＱ、ＷｅＣｈａｔ、電子メールなどのスマートテレビに配置されたインスタントメッセージアプリケーションが作動する。一般的に、リソースを節約するために、これらのアプリケーションが利用されていない期間にはバックグラウンドで作動する。これらのアプリケーションが新規メッセージを受信するか、アップグレード情報、異常情報などを受信する等の場合、ユーザにリクエストを送信する。従来のスマート端末において、ＱＱなどのアプリケーションが新規メッセージを受信すると、一般的にはアイコンを点滅させる、或いは音声で新規メッセージを受信したことをユーザに提示し、さらに一部のスマート端末は受信された新規メッセージを表示画面に直接表示する。このため、新規メッセージがプライベートメッセージであって、かつ複数のユーザが同時に上記スマート端末を視聴している場合に、プライバシーを保護しにくい。本実施例において、アプリケーションがリクエストを送信する際に、メッセージの提示と表示を実行しない。
新規メッセージを受信したアプリケーションで送信するリクエストに、上記アプリケーションに登録されているユーザのユーザ個人情報を含むことが必要である。リクエストを送信するアプリケーションがシステムアプリケーション或いは登録せずに利用できるアプリケーションであれば、現在登録されているユーザをスマート端末のデフォルトユーザとして、このユーザに関する情報をデフォルトユーザ情報とする。デフォルトユーザはユーザによって設定することができる。デフォルトユーザは一人でもよく、複数でもよい。本実施例において、ユーザ個人情報は、スマート端末が一意に識別可能なユーザ名、ユーザＩＤなどを含むことができる。
Ｓ１０４において、受信したリクエストに応じて、目標領域にいるユーザの顔画像を取得する。
目標領域とは、一般的に、スマート端末の表示画面の正面領域を示しており、その範囲がカメラなどの画像取得デバイスの取得角度によって確定される。画像取得デバイスは、スマート端末に内蔵されたデバイスであってもよく、インターフェースを介してスマート端末に接続される外付けデバイスであってもよい。目標領域に複数のユーザがいる場合、この複数のユーザそれぞれに顔画像を取得する。具体的に、画像取得デバイスは、撮影によって目標領域内の画像を取得した後に、取得した画像における顔を識別する。本実施例において、特定モジュールは、例えば、識別された顔に識別子（例えば、コード）を与えるように、識別された顔を特定する。特定モジュールは、顔識別が行われる前に顔を特定してもよい。本実施例において、画像取得デバイスは、目標領域で識別した顔を追跡する。ユーザが目標領域から離れたことが検出されると、特定モジュールは、当該ユーザの特定をクリアする。即ち、このユーザの特定コードが使用停止になる。画像取得装置は、新しいユーザが目標領域に入ったことを検出すると、追跡技術によって目標領域に新たに入ったユーザのみの顔画像を取得し、当該ユーザの顔の識別ができた後に、特定モジュールによって当該顔を特定する。
Ｓ１０６において、取得された顔画像に基づいてユーザ個人情報を特定する。
具体的に、取得された顔画像に基づいてユーザの顔特徴情報を抽出する。それぞれのユーザが個人的な顔特徴情報を持っているため、抽出された顔特徴情報を予め格納されている各ユーザの顔特徴情報と照合することにより、取得された顔画像に対応するユーザ個人情報を特定できる。本実施例において、スマート端末は、取得された顔画像に基づいてユーザ個人情報の識別がより便利になるために、常用者のユーザ個人情報と、当該ユーザ個人情報とマッチした顔特徴情報を予め格納しておく。他の実施例において、スマート端末は、各ユーザそれぞれのユーザ個人情報、及び当該ユーザ個人情報とマッチした顔画像を予め格納し、取得された顔画像を予め格納されている顔画像を照合して類似度が予め設定された値以上の場合に同一と認識することにより、この顔画像に対応するユーザ個人情報を特定してもよい。もう一つの実施例において、常用者のユーザ個人情報、及び当該ユーザ個人情報とマッチした顔特徴情報はクラウドサーバー或いはリモートサーバーに格納されている。これにより、スマート端末は、クラウドサーバー或いはリモートサーバーから関連情報を取得して顔識別を行う。
Ｓ１０８において、特定されたユーザ個人情報がリクエストに含まれているユーザ個人情報とマッチするかを判断する。
特定されたユーザ個人情報が上記リクエストに含まれているユーザ個人情報とマッチするかを判断することにより、現在リクエストしたアプリケーションに登録されているユーザが目標領域にいるかを判断する。例えば、スマートテレビにおいて、Ａが登録されているＱＱがリクエストを送信したとする。この場合、スマートテレビの目標領域（正面の視聴領域）にいるユーザに対し顔識別を行ってＡが目標領域にいること、つまりＡがスマートテレビを視聴していることを確認する。特定されたユーザ個人情報がリクエストに含まれているユーザ個人情報とマッチしている（即ち、現在リクエストしたアプリケーションに登録されているユーザが目標領域にいる）と判断された場合、Ｓ１１０以後に進む。一方、判断されなかった場合、ステップＳ１１８へ進む。本実施例は、Ｓ１０４において、スマート端末の目標領域にいる複数のユーザに対し同時に顔画像取得を行っている。他の実施例において、Ｓ１０４、Ｓ１０６及びＳ１０８を順に繰り返して実行してもよい。つまり、ユーザそれぞれの顔画像を順番に一つずつ取得して、当該ユーザの個人情報を特定し、特定されたユーザ個人情報がリクエストに含まれているユーザ個人情報とマッチしているかを判断する。マッチしない場合に、引き続きＳ１０４、Ｓ１０６及びＳ１０８を繰り返し実行する。Ｓ１０８での判断結果が「マッチ」である場合、或いは目標領域にいるすべてのユーザに対し判断が行われた場合、上記手順を終了する。
Ｓ１１０において、当該マッチしたユーザを対象ユーザと特定して上記リクエストを表示する。
マッチしたユーザを対象ユーザと特定する意味は、主に後続操作の利便性のために、マッチしたユーザの位置情報を特定することである。対象ユーザが目標領域にいることが確認された後に上記リクエストを表示することにより、対象ユーザが目標領域にいない時にリクエストを表示して視聴中のユーザに干渉したり、登録されているユーザの情報が他人に知られるのを回避することができ、情報セキュリティ性が向上する。リクエストをスマート端末の予め設定された位置に直接表示してもよく、音声で提示を行ってもよい。音声で提示を行う場合に、音声提示を行うと同時に、スマート端末において対象アプリケーションを除くすべてのアプリケーションがサイレントモード或いはポーズモードなどになるように制御する。
Ｓ１１２において、対象ユーザの対象部の移動軌跡を取得する。
リクエストを表示した後、スマート端末は、軌跡識別モードに移行して対象ユーザの対象部の移動軌跡を識別する。本実施例において、対象部は頭部である。移動軌跡とは、頭部揺れ（例えば、左右揺れ或は上下揺れなど）の軌跡である。他の実施例において、対象部は手部であってもよい。移動軌跡とは、手揺れの軌跡或いは手部が最後に静止した後の静的な姿勢であってもよい。
Ｓ１１４において、取得された移動軌跡を識別し移動軌跡識別結果を出力する。
取得された移動軌跡を識別して移動軌跡識別結果を出力する。スマート端末或いはサーバーに予め定義された移動軌跡データベースを格納していると共に、各移動軌跡ごとに1つの応答指令に対応している。本実施例において、対象部は頭部であるため、移動軌跡データベースには首の肯き移動軌跡と首振り移動軌跡が定義されている。これにより、取得された移動軌跡に基づいて上記頭部の移動が首の肯き動作であるか首振り動作あるかを判定することができる。他の実施例において、対象部は手部であるから、移動軌跡データベースにおいて、例えば、左右揺れ、上下揺れ、前後揺れなどの移動軌跡、或いは素早く識別可能なチャラクート軌跡、例えば「Ｗ」、「Ｖ」、「√」などの移動軌跡が需要によって定義することができる。
Ｓ１１６において、移動軌跡識別結果に応じて上記リクエストに対し応答操作を行う。
移動軌跡データベースには、別々に定義される移動軌跡が格納されていると共に、当該移動軌跡にそれぞれ対応する応答操作、例えば、当該リクエストを受け取る操作と、当該リクエストを拒否する操作なども格納されている。
本実施例において、移動軌跡データベースに、首の肯き移動軌跡に対応する応答操作がこのリクエストを受信する。即ち、受信された新規メッセージを開く或いは再生することであると定義されている。また、首振り移動軌跡に対応する応答操作がこのリクエストを拒否する。即ち、受信された新規メッセージを開く或いは再生しないと共に、上記リクエストを二度と表示しないように制御することであると定義されている。例えば、ユーザＡは目標領域にいることが検出された場合、スマートテレビが、例えば「Ａの新規メッセージが着信しました。今チェックしますか？」などのＱＱのリクエストを表示させる。表示されたリクエストには、現在登録されているユーザの個人情報を反映できる識別子も表示されている。これにより、Ａは上記リクエストを見た或いは聞いた後に当該メッセージをチェックしたい場合に、首の肯き動作をすればよい。スマートテレビは、Ａの首の肯き動作を取得すると、Ａが上記新規メッセージの表示或は再生を許可したと判定し、上記新規メッセージを表示或いは再生する。一方、Ａは他人の目の前で個人メッセージをチェックしたくない場合、首振り動作をすればよい。スマートテレビは、Ａの首振り動作を取得すると、Ａが上記新規メッセージの表示を許可しないと判定し、上記新規メッセージを表示或は再生しないと共に、ユーザの視聴に干渉しないように、上記リクエストの表示を停止する。
また、例えば、一部のアプリケーションは、一般的に新しいバージョンが存在する時、自動的にアップグレードするかどうかを確認するためのリクエストを送信する。この場合にも、上記制御方法によってこのリクエストに対し応答操作を行うことができる。つまり、上記アプリケーションに現在登録されているユーザ（或はデフォルトユーザ）が目標領域にいることが判断された場合に、アップグレードリクエストを表示する。その後、ユーザは、首の肯き動作をすることによりアップグレードを許可する或いは首振り動作をすることによりアップグレードを拒否することができる。
また、上記制御方法は、スマート端末で行う知識クイズにも適用することができる。例えば、知識クイズアプリケーションが起動された後に、対象ユーザの移動軌跡を識別することにより、得られた移動軌跡識別結果に基づいてユーザの答えを取得して次の問題に移行する。具体的に、ユーザの首振り動作が判定された場合、ユーザの答えが「ＮＯ」であることが確定され、ユーザの首の肯き動作が判定された場合、ユーザの答えが「ＹＥＳ」であることが確定される。また、選択肢に対応する移動軌跡或は静的な手振りを予め定義して、ユーザが相応的な手振り或いは移動軌跡をした場合に、その答えが「Ａ」であるか「Ｂ」であるかなどを判定できる。本実施例において、記憶モジュールはさらにユーザの回答記録を格納する。
Ｓ１１８において、当該リクエストを表示させない。
対象ユーザが目標領域にいない場合、他のユーザの視聴に干渉しないために、上記リクエストが表示させない。
本実施例に係るスマート端末を制御する方法において、スマート端末に配置されたアプリケーションがリクエストを送信する時、まず目標領域にいるユーザの顔情報を取得して現在当該アプリケーションに登録されているユーザが目標領域にいるかを判断する。対象ユーザが目標領域にいると判断された場合のみ、上記リクエストを表示し、さらに当該ユーザの目標部の移動軌跡を取得してその移動軌跡に基づいた移動軌跡識別結果に応じて、アプリケーションのリクエストに対し応答操作を行う。これにより、ユーザは、他のデバイスを利用せずに、スマート端末を直接触らずに応答操作を行うことができ、操作が簡単になり、情報セキュリティ性も高まる。
もう一つの実施例において、図２に示すように、本発明に係るスマート端末を制御する方法は、以下のステップをさらに含む。
Ｓ２１０において、目標領域にいるユーザの顔画像と手振り画像を取得する。
スマート端末の画像取得モジュールは、設定された期間毎に、目標領域にいるユーザの顔画像と手振り画像を取得するために外部画像を取得する。
Ｓ２２０において、取得された顔画像に基づいてユーザ個人情報を特定する。
取得された顔画像に基づいてユーザ個人情報を特定することができる。例えば、取得された顔画像に対し特徴を抽出し、抽出された顔特徴情報を予め格納された各ユーザの顔特徴情報と照合することにより、ユーザ個人情報を特定する。
Ｓ２３０において、上記手振り画像を識別して手振り識別結果を出力する。
本実施例において、上記手振り画像は静的な手振り画像である。スマート端末或いはサーバーは１つの手振りデータベースを定義し、取得された手振り画像を手振りデータベースにおける手振り画像と照合し、手振り識別結果を出力する。
Ｓ２４０において、上記手振り識別結果に応じて、特定されたユーザ個人情報で登録された対象アプリケーションに対象操作を行う。
具体的に、手振りデータベースには、各手振りにそれぞれ対応する対象操作が格納されている。例えば、「ＯＫ」という手振りは、ＱＱを起動することに対応し、「Ｖ」という手振りは、ＷｅＣｈａｔを起動することに対応する。これにより、手振り識別結果に応じて、当該ユーザ個人情報で登録された対象アプリケーションに対象操作を行うことができる。また、例えば、ユーザＢは自分が登録されスマートテレビに配置されているＱＱを開けようとする場合に、「ＯＫ」の手振りを作れば、画像取得モジュールが、ユーザＢの顔画像及び手振り画像を取得することでユーザＢの個人情報及び手振りを識別することができ、ユーザＢが登録されたＱＱを起動することができる。この操作においても、リモコンなど他のデバイスを利用せずに、スマート端末を直接触らなくても済むので、操作が簡単になる。また、ユーザは自分の個人情報が登録されたアプリケーションのみを起動することができ、他者が登録したアプリケーションを起動することができないため、情報セキュリティ性がより一層向上する。
本実施例において、上記スマート端末を制御する方法は、ステップＳ２５０〜Ｓ２７０をさらに含む。
Ｓ２５０において、スマート端末をサイレントモードにするように制御する。
ユーザが対象アプリケーションを操作する時、ユーザの操作に干渉しないために、スマート端末をサイレントモードにしてもよい。スマート端末の音量を０まで調整するか、あるいはスマート端末上で現在実行されているアプリケーションを中止することにより、スマート端末をサイレントモードにするように制御することができる。
Ｓ２６０において、対象ユーザの音声情報を取得する。
ユーザから対象アプリケーションに対象操作を行うという旨の指令を送信すると、当該指令したユーザを対象ユーザと特定することができる。対象アプリケーションに対し後続操作のために、対象ユーザの音声情報を取得する。対象ユーザのみに対し音声情報を取得するから、音声取得モジュール及び識別モジュールの処理量を削減することができる。
Ｓ２７０において、上記音声情報を識別し、音声識別結果に応じて対象アプリケーションに操作を行う。
音声情報の内容を識別することにより対象アプリケーション及び対象操作指令を特定する。例えば、ユーザＢは手振りによってＱＱを起動した後、友人Ｃに音声メッセージを送信しようとする場合、「Ｃに音声メッセージを送信してください」、「音声メッセージをＣに送信してください」、或いは単にＣの名前「Ｃ」などの音声情報を送信すればよい。音声識別モジュールは、受信した音声情報に基づいてＣを対象と特定して、音声メッセージを送信することを対象操作と特定した後、Ｃに関するチャットウィンドウをポップアップすると共に録音機能を作動させる。スマート端末は、ユーザから送信されてきた音声指令、休止時間及び他の動作に応じて録音モジュールを制御し、録音を終了し且つ当該録音内容を送信或いは停止する。例えば、ユーザの音声入力の休止時間が予め設定された時間を超える場合、録音モジュールを制御して録音を終了し、且つ当該録音を送信することができる。ユーザがＣの名前だけを送信した場合、スマート端末は、友人リストからＣを検索してＣのチャットウィンドウをポップアップする。Ｃのチャットウィンドウがポップアップされると、ユーザは、相応的な音声指令、手振りなどを入力することにより、音声メッセージ送信、ビデオチャットなどの操作を行うことができる。
本実施例に係るスマート端末を制御する方法によれば、スマート端末に配置されたアプリケーションに基本的な操作を行うことができ、ユーザの操作利便性が向上する。また、権限を持っているアプリケーションしか操作できないため、情報セキュリティ性が向上する。
もう一つの実施例において、図３に示すように、本発明のスマート端末を制御する方法は、以下のステップをさらに含む。
Ｓ３１０において、目標領域にいるユーザの手振り画像を取得する。
スマート端末の画像取得モジュールは、設定された期間毎に、目標領域にいるユーザの手振り画像を取得するために外部画像を取得する。本実施例において、顔画像を取得しない。
Ｓ３２０において、取得された手振り画像によりユーザの手振りを識別し、手振り識別結果を出力する。
ユーザの手振り画像のみを識別する場合、手振り識別結果は主に音声識別モードにより作動する。この手振りはユーザによって定義することができる。例えば、手振りが拳である場合に音声識別モードを作動させるように定義することができる。
Ｓ３３０において、上記手振り識別結果に応じて、音声識別モードを起動するようにスマート端末を制御する。
音声識別モードを起動するようにスマート端末を制御する際に、当該スマート端末をサイレントモードにするように制御して、スマート端末からの音声が音声取得モジュールの音声取得を干渉することを回避できる。
Ｓ３４０において、ユーザの音声情報を取得する。
音声識別モードが起動すると、ユーザの音声情報を取得し始める。音声取得モジュールは、ユーザの音声休止時間或いは手振り情報によって音声情報の取得を終了するかを決定する。
Ｓ３５０において、取得された音声情報に基づいて音声特徴情報を抽出して送信者のユーザ個人情報を取得する。
本実施例において、スマート端末は、ユーザ個人情報及びそれに合わせる音声特徴情報を予め格納しておく。これにより、抽出された音声特徴情報を予め格納されている音声特徴情報と対比することにより、送信者のユーザ個人情報を取得することができる。
Ｓ３６０において、上記音声情報を識別して、音声識別結果を出力する。
音声情報の内容を識別することにより対象アプリケーション及び対象操作を特定する。例えば、ユーザＤはＱＱを起動したい場合、「ＱＱを起動しなさい」という音声情報を送信すればよい。受信した音声情報の音声特徴情報に基づいて当該音声情報がユーザＤから送信され、且つ対象アプリケーションがＱＱであり、対象操作がアプリ起動であることを確定できる。そして、インタラクティブ制御モジュールはユーザＤが登録されたＱＱを起動するように、上記識別結果を出力する。
Ｓ３７０において、上記音声識別結果に応じて、特定されたユーザ個人情報で登録された対象アプリケーションに対象操作を行う。
音声識別結果に応じて、音声メッセージの送信者の個人情報で登録された対象アプリケーションに対象操作を行う。
図４に示すように、一実施例において、スマート端末４００が提供される。スマート端末４００の内部構造は図６に示す構造に対応する。下記各モジュールの全部或いは一部は、ソフトウェア或いはソフトとハードウェアの組み合わせによって構成することができる。当該スマート端末４００は、受信モジュール４０２、画像取得モジュール４０４、識別モジュール４０６、判断モジュール４０８、特定モジュール４１０、表示モジュール４１２及びインタラクティブ制御モジュール４１４を含む。
受信モジュール４０２は、アプリケーションから送信されたリクエストを受信するように構成される。当該リクエストにおいて、上記アプリケーションに現在登録されているユーザのユーザ個人情報を含む。画像取得モジュール４０４は、目標領域にいるユーザの顔画像を取得するように構成される。識別モジュール４０６は、取得された顔画像に基づいてユーザ個人情報を特定するように構成される。判断モジュール４０８は、特定されたユーザ個人情報が上記リクエストに含まれているユーザ個人情報とマッチするかを判断するように構成される。特定モジュール４１０は、当該マッチしたユーザを対象ユーザと特定するように構成される。表示モジュール４１２は、判断モジュール４０８の判断結果がＹＥＳとされた場合、上記リクエストを表示するように構成される。また、画像取得モジュール４０４は、さらに対象ユーザの対象部の移動軌跡を取得するように構成される。識別モジュール４０６は、さらに上記移動軌跡を識別し移動軌跡識別結果を出力するように構成される。インタラクティブ制御モジュール４１４は、上記移動軌跡識別結果に基づいてリクエストに対し相応的な応答操作を行うように構成される。
本実施例に係るスマート端末４００において、スマート端末に配置されたアプリケーションがリクエストを送信する時、まず目標領域にいるユーザの顔情報を取得して現在当該アプリケーションに登録されているユーザが目標領域にいるかを判断する。対象ユーザが目標領域にいると判断された場合のみ、上記リクエストを表示し、さらに当該ユーザの目標部の移動軌跡を取得してその移動軌跡に基づいた移動軌跡識別結果に応じて、アプリケーションのリクエストに対し応答操作を行う。これにより、ユーザは、他のデバイスを利用せずに、スマート端末を直接に触らないまま応答操作を行うことができ、操作が簡単になり、情報セキュリティ性も高める。
もう一つの実施例において、図５に示すように、上記スマート端末４００は、音声取得モジュール４１６をさらに含む。本実施例において、画像取得モジュール４０４は、さらに目標領域にいるユーザの顔画像と手振り画像を取得するように構成される。識別モジュール４０６は、取得された顔画像に基づいてユーザ個人情報を特定し、手振り画像を識別して手振り識別結果を出力するように構成されてもよい。上記手振り識別結果とは、対象アプリケーションに対し対象操作を行うものである。インタラクティブ制御モジュール４１４は、手振り識別結果に応じて、特定されたユーザ個人情報で登録された対象アプリケーションに対象操作を行うように構成されてもよい。本実施例において、インタラクティブ制御モジュール４１４は、スマート端末をサイレントモードに制御するように構成されてもよい。音声取得モジュール４１６は、対象ユーザの音声情報を取得するように構成される。識別モジュール４０６は、当該音声情報を識別し音声識別結果を出力するように構成されてもよい。インタラクティブ制御モジュール４１４は、上記音声識別結果に応じて、対象アプリケーションに対し相応的な操作を行うように構成されてもよい。
さらにもう一つの実施例において、上記スマート端末４００においての画像取得モジュール４０４は、目標領域にいるユーザの手振り画像を取得するように構成されてもよい。識別モジュール４０６は、当該手振り画像によりユーザの手振りを識別し、手振り識別結果を出力するように構成されてもよい。上記手振り識別結果は、音声識別モードを起動することである。インタラクティブ制御モジュール４１４は、上記手振り識別結果に応じて、音声識別モードが作動するようにスマート端末を制御するように構成されてもよい。音声取得モジュール４１６は、ユーザの音声情報を取得するように構成される。識別モジュール４０６は、上記音声情報に基づいて音声特徴情報を抽出して送信者のユーザ個人情報を取得し、当該音声情報を識別して音声識別結果を出力するように構成されてもよい。音声識別結果は、対象アプリケーションに対象操作を行うことである。インタラクティブ制御モジュール４１４は、上記音声識別結果に応じて、特定されたユーザ個人情報で登録された対象アプリケーションに対象操作を行うように構成されてもよい。
また、本実施例において、上記スマート端末４００は記憶モジュール４１８をさらに含む。記憶モジュール４１８は、ユーザ個人情報、及び当該ユーザ個人情報を合わせた顔特徴情報、音声特徴情報などを格納するように構成される。一実施例において、記憶モジュール４１８は、スマート端末内に設置され、或いはスマート端末に内蔵されているメモリを利用する。もう一つの実施例において、記憶モジュール４１８はクラウドメモリ或いはリモートサーバーである。
一実施例において、スマート端末が提供される。スマート端末は、コンピュータ読取可能コマンドを格納するメモリと、プロセッサとを含み、当該コンピュータ読取可能コマンドがプロセッサで実行されるときに、プロセッサが、上記スマート端末に配置されたアプリケーションから送信され、現在登録されているユーザのユーザ個人情報を含むリクエストを受信するステップと、上記リクエストに応じて、目標領域にいるユーザの顔画像を取得するステップと、上記顔画像によりユーザ個人情報を特定するステップと、特定されたユーザ個人情報が上記リクエストに含まれているユーザ個人情報とマッチするかを判断するステップと、マッチする場合に、当該マッチしたユーザを対象ユーザと特定して上記リクエストを表示し、上記対象ユーザの対象部の移動軌跡を取得し、上記移動軌跡を識別し移動軌跡識別結果を出力するステップと、上記移動軌跡識別結果に応じて上記リクエストに対し応答操作を行うステップとを実行させる。ここで、上記リクエストを表示することとは、当該リクエストを上記スマート端末の予め設定された位置に表示する或いは音声で音声提示を行うことである。
本実施例において、特定されたユーザ個人情報が上記リクエストに含まれているユーザ個人情報とマッチしないと判断された場合に、上記コンピュータ読取可能コマンドは上記プロセッサが上記リクエストを表示しないステップを実行させる。
また、一実施例において、音声で音声提示を行う際に、上記コンピュータ読取可能コマンドは、上記プロセッサが上記スマート端末において対象アプリケーションを除くすべてのアプリケーションをサイレントモード或いはポーズモードにするように制御するステップを実行させる。
また、一実施例において、上記コンピュータ読取可能コマンドが上記プロセッサで実行されるときに、上記プロセッサが、別々に定義される移動軌跡を予め格納しておくと共に、上記移動軌跡にそれぞれ対応する応答操作も格納するステップをさらに実行させる。
また、一実施例において、上記コンピュータ読取可能コマンドが上記プロセッサで実行されるときに、上記プロセッサが、目標領域にいるユーザの顔画像と手振り画像を取得するステップと、上記顔画像に基づいてユーザ個人情報を特定するステップと、手振り画像を識別して、対象アプリケーションに対象操作を行うという手振り識別結果を出力するステップと、上記手振り識別結果に応じて、特定されたユーザ個人情報が登録された対象アプリケーションに対象操作を行うステップをさらに実行させる。
また、一実施例において、手振り識別結果に応じて、特定されたユーザ個人情報が登録された対象アプリケーションに対象操作を行った後、上記コンピュータ読取可能コマンドは上記プロセッサが上記スマート端末をサイレントモードにするように制御するステップと、対象ユーザの音声情報を取得するステップと、上記音声情報を識別し音声識別結果を出力するステップと、上記音声識別結果に応じて、上記対象アプリケーションを操作させるステップをさらに実行させる。
また、一実施例において、上記コンピュータ読取可能コマンドが上記プロセッサで実行されるときに、上記プロセッサが、目標領域にいるユーザの手振り画像を取得するステップと、上記手振り画像によりユーザの手振りを識別し、音声識別モードが作動するという手振り識別結果を出力するステップと、上記手振り識別結果に応じて、音声識別モードが作動するように上記スマート端末を制御するステップと、ユーザの音声情報を取得するステップと、上記音声情報に基づいて音声特徴情報を抽出して送信者のユーザ個人情報を取得するステップと、上記音声情報を識別して、対象アプリケーションに対象操作を行うという音声識別結果を出力するステップと、上記音声識別結果に応じて、特定されたユーザ個人情報で登録された対象アプリケーションに対象操作を行うステップをさらに実行させる。
また、一実施例において、ユーザの音声情報を取得するステップは、ユーザの音声休止時間或いは手振り情報によって音声情報取得を終了するかを決定するステップを含む。
また、一実施例において、上記コンピュータ読取可能コマンドが上記プロセッサで実行されるときに、上記プロセッサが、ユーザ個人情報、及び上記ユーザ個人情報と照合した顔特徴情報を格納するステップをさらに実行させ、上記顔画像によりユーザ個人情報を特定するステップは、上記顔画像に基づいてユーザの顔特徴情報を抽出するステップと、上記顔特徴情報によって上記顔特徴情報と照合したユーザ個人情報を取得するステップを含む。
当業者であれば、上述した実施例に係る方法の全部或いは一部のステップは、プログラムをハードウェアに指令することにより実行でき、上記プログラムは、コンピュータ読取可能記憶媒体に格納することができ、また、上記プログラムが実行される際に、上述した各方法の実施例の流れを含んでもよい。ここで、上記記憶媒体は、磁気ディスク、光ディスク、読み取り専用メモリ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）などの不揮発性記憶媒体、或いはランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）などであってもよい。
上述した実施例の各技術的特徴は任意に組み合わせることができる。記述を簡潔化するために、上述した実施例における各技術的特徴のあらゆる組合せについて説明していないが、これらの技術的特徴の組合せは、矛盾しない限り、本明細書に記述されている範囲内に含まれると考えられるべきである。
上述した実施例は、本発明のいくつかの実施形態を示したものにすぎず、その記述が具体的かつ詳細であるが、本発明の範囲を限定するものと解釈されるべきではない。なお、当業者にとって、本発明の趣旨から逸脱しないかぎり、若干の変形及び改良を行うことができ、これらもすべて本発明の保護範囲内にある。本発明の保護範囲は、特許請求の範囲に準ずるべきである。

Claims (20)

  1. スマート端末に配置されたアプリケーションから送信され、前記アプリケーションに既に登録されているユーザのユーザ個人情報を含むリクエストを受信することと、
    前記リクエストに応じて、目標領域にいるユーザの顔画像を取得することと、
    前記顔画像によりユーザ個人情報を特定することと、
    特定されたユーザ個人情報が前記リクエストに含まれているユーザ個人情報とマッチするかを判断することと、
    マッチする場合に、
    当該マッチしたユーザを対象ユーザと特定して前記リクエストを表示し、
    前記対象ユーザの対象部の移動軌跡を取得し、
    前記移動軌跡を識別し移動軌跡識別結果を出力し、
    前記移動軌跡識別結果に応じて前記リクエストに対し応答操作を行うことと
    を含むこと、を特徴とするスマート端末を制御する方法。
  2. 請求項１に記載の方法であって、
    前記特定されたユーザ個人情報が前記リクエストに含まれているユーザ個人情報とマッチするかを判断する際に、特定されたユーザ個人情報が前記リクエストに含まれているユーザ個人情報とマッチしない場合に、前記リクエストを表示しないことを特徴とする方法。
  3. 請求項１に記載の方法であって、
    前記リクエストを表示することとは、前記リクエストを前記スマート端末の予め設定された位置に表示すること、或いは音声で音声提示を行うことであることを特徴とする方法。
  4. 請求項３に記載の方法であって、
    前記音声で音声提示を行う際に、前記スマート端末において対象アプリケーションを除くすべてのアプリケーションをサイレントモードまたはポーズモードにするように制御することを特徴とする方法。
  5. 請求項１に記載の方法であって、
    別々に定義される移動軌跡を予め格納しておくと共に、前記移動軌跡にそれぞれ対応する応答操作も格納することを特徴とする方法。
  6. 請求項１に記載の方法であって、
    目標領域にいるユーザの顔画像と手振り画像を取得することと、
    前記顔画像に基づいてユーザ個人情報を特定することと、
    手振り画像を識別して、対象アプリケーションに対象操作を行うという手振り識別結果を出力することと、
    前記手振り識別結果に応じて、特定されたユーザ個人情報で登録された対象アプリケーションに対象操作を行うこと
    をさらに含むことを特徴とする方法。
  7. 請求項６に記載の方法であって、
    前記手振り識別結果に応じて、特定されたユーザ個人情報が登録された対象アプリケーションに対象操作を行った後、
    前記スマート端末をサイレントモードにするように制御することと、
    対象ユーザの音声情報を取得することと、
    前記音声情報を識別し音声識別結果として出力することと、
    前記音声識別結果に応じて、前記対象アプリケーションに操作を行うこと
    をさらに含むことを特徴とする方法。
  8. 請求項１に記載の方法であって、
    目標領域にいるユーザの手振り画像を取得することと、
    前記手振り画像によりユーザの手振りを識別し、音声識別モードが作動するという手振り識別結果を出力することと、
    前記手振り識別結果に応じて、音声識別モードが作動するように前記スマート端末を制御することと、
    ユーザの音声情報を取得することと、
    前記音声情報に基づいて音声特徴情報を抽出して送信者のユーザ個人情報を取得することと、
    前記音声情報を識別して、対象アプリケーションに対象操作を行うという音声識別結果を出力することと、
    前記音声識別結果に応じて、特定されたユーザ個人情報で登録された対象アプリケーションに対象操作を行うこと
    をさらに含むことを特徴とする方法。
  9. 請求項８に記載の方法であって、
    ユーザの音声情報を取得することは、ユーザの音声休止時間或いは手振り情報によって音声情報取得を終了するかどうかを決定することを含む
    ことを特徴とする方法。
  10. 請求項１に記載の方法であって、
    ユーザ個人情報、及び前記ユーザ個人情報と照合した顔特徴情報を格納することをさらに含み、
    前記顔画像によりユーザ個人情報を特定することは、
    前記顔画像に基づいてユーザの顔特徴情報を抽出することと、
    前記顔特徴情報によって前記顔特徴情報と照合したユーザ個人情報を取得することを含む
    ことを特徴とする方法。
  11. コンピュータ読取可能コマンドを格納するメモリと、プロセッサとを含むスマート端末であって、前記コンピュータ読取可能コマンドが前記コンピュータで実行されるときに、前記プロセッサが、
    前記スマート端末に配置されたアプリケーションから送信され、既に登録されているユーザのユーザ個人情報を含むリクエストを受信するステップと、
    前記リクエストに応じて、目標領域にいるユーザの顔画像を取得するステップと、
    前記顔画像によりユーザ個人情報を特定するステップと、
    特定されたユーザ個人情報が前記リクエストに含まれているユーザ個人情報とマッチするかを判断するステップと、
    マッチする場合に、
    当該マッチしたユーザを対象ユーザと特定して前記リクエストを表示し、
    前記対象ユーザの対象部の移動軌跡を取得し、
    前記移動軌跡を識別し移動軌跡識別結果を出力し、
    前記移動軌跡識別結果に応じて前記リクエストに対し応答操作を行うステップと
    を実行させることを特徴とするスマート端末。
  12. 請求項１１に記載のスマート端末であって、
    特定されたユーザ個人情報が前記リクエストに含まれているユーザ個人情報とマッチしないと判断された場合に、前記コンピュータ読取可能コマンドは前記プロセッサが前記リクエストを表示しないステップを実行させることを特徴とするスマート端末。
  13. 請求項１１に記載のスマート端末であって、
    前記リクエストを表示することとは、前記リクエストを前記スマート端末の予め設定された位置に表示する或いは音声で音声提示を行うことである
    ことを特徴とするスマート端末。
  14. 請求項１３に記載のスマート端末であって、
    前記音声で音声提示を行う際に、前記コンピュータ読取可能コマンドは前記プロセッサが前記スマート端末において対象アプリケーションを除くすべてのアプリケーションをサイレントモードまたはポーズモードにするように制御するステップを実行させる
    ことを特徴とするスマート端末。
  15. 請求項１１に記載のスマート端末であって、
    前記コンピュータ読取可能コマンドが前記コンピュータで実行されるときに、前記プロセッサが、別々に定義される移動軌跡を予め格納しておくと共に、前記移動軌跡にそれぞれ対応する応答操作も格納するステップをさらに実行させる
    ことを特徴とするスマート端末。
  16. 請求項１１に記載のスマート端末であって、
    前記コンピュータ読取可能コマンドが前記コンピュータで実行されるときに、前記プロセッサが、
    目標領域にいるユーザの顔画像と手振り画像を取得するステップと、
    前記顔画像に基づいてユーザ個人情報を特定するステップと、
    手振り画像を識別して、対象アプリケーションに対象操作を行うという手振り識別結果を出力するステップと、
    前記手振り識別結果に応じて、特定されたユーザ個人情報が登録された対象アプリケーションに対象操作を行うステップをさらに実行させる
    ことを特徴とするスマート端末。
  17. 請求項１６に記載のスマート端末であって、
    手振り識別結果に応じて、特定されたユーザ個人情報が登録された対象アプリケーションに対象操作を行った後、前記コンピュータ読取可能コマンドは、前記プロセッサが、
    前記スマート端末をサイレントモードにするように制御するステップと、
    対象ユーザの音声情報を取得するステップと、
    前記音声情報を識別し音声識別結果として出力するステップと、
    前記音声識別結果に応じて、前記対象アプリケーションに操作を行うステップをさらに実行させる
    ことを特徴とするスマート端末。
  18. 請求項１１に記載のスマート端末であって、
    前記コンピュータ読取可能コマンドが前記コンピュータで実行されるときに、前記プロセッサが、
    目標領域にいるユーザの手振り画像を取得するステップと、
    前記手振り画像によりユーザの手振りを識別し、音声識別モードが作動するという手振り識別結果を出力するステップと、
    前記手振り識別結果に応じて、音声識別モードが作動するように前記スマート端末を制御するステップと、
    ユーザの音声情報を取得するステップと、
    前記音声情報に基づいて音声特徴情報を抽出して送信者のユーザ個人情報を取得するステップと、
    前記音声情報を識別して、対象アプリケーションに対象操作を行うという音声識別結果を出力するステップと、
    前記音声識別結果に応じて、特定されたユーザ個人情報が登録された対象アプリケーションに対象操作を行うステップをさらに実行させる
    ことを特徴とするスマート端末。
  19. 請求項１８に記載のスマート端末であって、
    ユーザの音声情報を取得するステップは、ユーザの音声休止時間或いは手振り情報によって音声情報取得を終了するかどうかを決定するステップを含む
    ことを特徴とするスマート端末。
  20. 請求項１１に記載のスマート端末であって、
    前記コンピュータ読取可能コマンドが前記コンピュータで実行されるときに、前記プロセッサが、
    ユーザ個人情報、及び前記ユーザ個人情報と照合した顔特徴情報を格納するステップをさらに実行させ、
    前記顔画像によりユーザ個人情報を特定するステップは、前記顔画像に基づいてユーザの顔特徴情報を抽出するステップと、
    前記顔特徴情報によって前記顔特徴情報と照合したユーザ個人情報を取得するステップを含む
    ことを特徴とするスマート端末。
JP2018549772A 2016-03-24 2017-03-07 スマート端末を制御する方法、及びスマート端末 Pending JP2019519830A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610173937.8 2016-03-24
CN201610173937.8A CN105872685A (zh) 2016-03-24 2016-03-24 智能终端控制方法和系统、智能终端
PCT/CN2017/075846 WO2017162019A1 (zh) 2016-03-24 2017-03-07 智能终端控制方法和智能终端

Publications (1)

Publication Number Publication Date
JP2019519830A true JP2019519830A (ja) 2019-07-11

Family

ID=56625785

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018549772A Pending JP2019519830A (ja) 2016-03-24 2017-03-07 スマート端末を制御する方法、及びスマート端末

Country Status (5)

Country Link
US (1) US20190104340A1 (ja)
EP (1) EP3422726A4 (ja)
JP (1) JP2019519830A (ja)
CN (1) CN105872685A (ja)
WO (1) WO2017162019A1 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872685A (zh) * 2016-03-24 2016-08-17 深圳市国华识别科技开发有限公司 智能终端控制方法和系统、智能终端
CN106648760A (zh) * 2016-11-30 2017-05-10 捷开通讯(深圳)有限公司 终端及其基于人脸识别清理后台应用程序的方法
CN106681504B (zh) * 2016-12-20 2020-09-11 宇龙计算机通信科技(深圳)有限公司 终端操控方法及装置
CN107679860A (zh) * 2017-08-09 2018-02-09 百度在线网络技术（北京）有限公司 一种用户认证的方法、装置、设备和计算机存储介质
CN107678288A (zh) * 2017-09-21 2018-02-09 厦门盈趣科技股份有限公司 一种室内智能设备自动控制系统及方法
CN110096251B (zh) * 2018-01-30 2024-02-27 钉钉控股（开曼）有限公司 交互方法及装置
KR102543656B1 (ko) * 2018-03-16 2023-06-15 삼성전자주식회사 화면 제어 방법 및 이를 지원하는 전자 장치
CN108491709A (zh) * 2018-03-21 2018-09-04 百度在线网络技术（北京）有限公司 用于识别权限的方法和装置
CN110298218B (zh) * 2018-03-23 2022-03-04 上海史贝斯健身管理有限公司 交互式健身装置和交互式健身系统
CN108537029B (zh) * 2018-04-17 2023-01-24 嘉楠明芯(北京)科技有限公司 移动终端控制方法、装置及移动终端
WO2019213855A1 (zh) * 2018-05-09 2019-11-14 Fang Chao 设备控制方法和系统
CN109067883B (zh) * 2018-08-10 2021-06-29 珠海格力电器股份有限公司 信息推送方法及装置
CN110175490B (zh) * 2018-09-21 2021-04-16 泰州市津达电子科技有限公司 游戏机历史账号分析系统
CN109065058B (zh) * 2018-09-30 2024-03-15 合肥鑫晟光电科技有限公司 语音通信方法、装置及系统
CN109543569A (zh) * 2018-11-06 2019-03-29 深圳绿米联创科技有限公司 目标识别方法、装置、视觉传感器及智能家居系统
CN109727596B (zh) * 2019-01-04 2020-03-17 北京市第一〇一中学 控制遥控器的方法和遥控器
CN112015171A (zh) * 2019-05-31 2020-12-01 北京京东振世信息技术有限公司 一种智能音箱和控制智能音箱的方法、装置和存储介质
CN110488616A (zh) * 2019-07-08 2019-11-22 深圳职业技术学院 基于物联网的智能家居控制系统及方法
CN113033266A (zh) * 2019-12-25 2021-06-25 杭州海康威视数字技术股份有限公司 人员运动轨迹追踪方法、装置、系统及电子设备
CN111402885A (zh) * 2020-04-22 2020-07-10 北京万向新元科技有限公司 一种基于语音和空气成像技术的交互方法及其系统
CN111580653A (zh) * 2020-05-07 2020-08-25 讯飞幻境(北京)科技有限公司 一种智能交互方法及智能交互式课桌
CN111901682A (zh) * 2020-07-30 2020-11-06 深圳创维－Rgb电子有限公司 基于自动识别的电视模式处理方法、系统、电视
US11899845B2 (en) * 2020-08-04 2024-02-13 Samsung Electronics Co., Ltd. Electronic device for recognizing gesture and method for operating the same
CN114529977A (zh) * 2020-11-02 2022-05-24 青岛海尔多媒体有限公司 用于智能设备的手势控制方法及装置、智能设备
CN112270302A (zh) * 2020-11-17 2021-01-26 支付宝(杭州)信息技术有限公司 肢体控制方法、装置和电子设备
CN112286122A (zh) * 2020-11-30 2021-01-29 捷开通讯(深圳)有限公司 一种智能家居控制方法、装置、终端以及存储介质
CN112908321A (zh) * 2020-12-02 2021-06-04 青岛海尔科技有限公司 设备控制方法、装置、存储介质及电子装置
CN112699739A (zh) * 2020-12-10 2021-04-23 华帝股份有限公司 一种基于结构光3d摄像头识别手势控制油烟机的方法
CN112905148B (zh) * 2021-03-12 2023-09-22 拉扎斯网络科技（上海）有限公司 一种语音播报的控制方法和装置，存储介质和电子设备
CN113076007A (zh) * 2021-04-29 2021-07-06 深圳创维－Rgb电子有限公司 一种显示屏视角调节方法、设备及存储介质
CN113269124B (zh) * 2021-06-09 2023-05-09 重庆中科云从科技有限公司 一种对象识别方法、系统、设备及计算机可读介质
CN115877719A (zh) * 2021-08-25 2023-03-31 青岛海尔洗衣机有限公司 一种智能终端的控制方法及智能终端
CN113885710B (zh) * 2021-11-02 2023-12-08 珠海格力电器股份有限公司 智能设备的控制方法、控制装置及智能系统
CN114363549B (zh) * 2022-01-12 2023-06-27 关晓辉 一种智能剧本走秀录制处理方法、装置及系统
CN114513380B (zh) * 2022-01-25 2024-01-16 青岛海尔空调器有限总公司 用于控制家电设备的方法及装置、家电设备、存储介质
CN116596650B (zh) * 2023-07-17 2023-09-22 上海银行股份有限公司 一种基于智能识别技术的银行实物管理系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099076A (ja) * 1998-09-25 2000-04-07 Fujitsu Ltd 音声認識を活用した実行環境設定装置及び方法
JP2000322358A (ja) * 1999-05-11 2000-11-24 Fujitsu Ltd データ表示装置及び情報表示のためのプログラムを記録した記録媒体
US20100205667A1 (en) * 2009-02-06 2010-08-12 Oculis Labs Video-Based Privacy Supporting System
JP2014115587A (ja) * 2012-12-12 2014-06-26 Canon Marketing Japan Inc 携帯端末、情報処理方法、プログラム
JP2015175983A (ja) * 2014-03-14 2015-10-05 キヤノン株式会社 音声認識装置、音声認識方法及びプログラム
JP2015225493A (ja) * 2014-05-28 2015-12-14 京セラ株式会社 携帯端末、ジェスチャ制御プログラムおよびジェスチャ制御方法
CN105184134A (zh) * 2015-08-26 2015-12-23 广东欧珀移动通信有限公司 一种基于智能手表的信息显示方法及智能手表
JP2016018264A (ja) * 2014-07-04 2016-02-01 株式会社リコー 画像形成装置、画像形成方法、及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100713281B1 (ko) * 2005-03-29 2007-05-04 엘지전자 주식회사 감정 상태에 따른 프로그램 추천 기능을 갖는 영상표시기기및 그 제어방법
KR20120051212A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치
US11099652B2 (en) * 2012-10-05 2021-08-24 Microsoft Technology Licensing, Llc Data and user interaction based on device proximity
KR102188090B1 (ko) * 2013-12-11 2020-12-04 엘지전자 주식회사 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템
CN103824011A (zh) * 2014-03-24 2014-05-28 联想(北京)有限公司 一种安全认证过程中的信息提示方法及电子设备
US9766702B2 (en) * 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
CN104978019B (zh) * 2014-07-11 2019-09-20 腾讯科技（深圳）有限公司 一种浏览器显示控制方法及电子终端
US20160057090A1 (en) * 2014-08-20 2016-02-25 Google Inc. Displaying private information on personal devices
CN105045140B (zh) * 2015-05-26 2019-01-01 深圳创维－Rgb电子有限公司 智能控制受控设备的方法和装置
CN105872685A (zh) * 2016-03-24 2016-08-17 深圳市国华识别科技开发有限公司 智能终端控制方法和系统、智能终端

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099076A (ja) * 1998-09-25 2000-04-07 Fujitsu Ltd 音声認識を活用した実行環境設定装置及び方法
JP2000322358A (ja) * 1999-05-11 2000-11-24 Fujitsu Ltd データ表示装置及び情報表示のためのプログラムを記録した記録媒体
US20100205667A1 (en) * 2009-02-06 2010-08-12 Oculis Labs Video-Based Privacy Supporting System
JP2014115587A (ja) * 2012-12-12 2014-06-26 Canon Marketing Japan Inc 携帯端末、情報処理方法、プログラム
JP2015175983A (ja) * 2014-03-14 2015-10-05 キヤノン株式会社 音声認識装置、音声認識方法及びプログラム
JP2015225493A (ja) * 2014-05-28 2015-12-14 京セラ株式会社 携帯端末、ジェスチャ制御プログラムおよびジェスチャ制御方法
JP2016018264A (ja) * 2014-07-04 2016-02-01 株式会社リコー 画像形成装置、画像形成方法、及びプログラム
CN105184134A (zh) * 2015-08-26 2015-12-23 广东欧珀移动通信有限公司 一种基于智能手表的信息显示方法及智能手表

Also Published As

Publication number Publication date
WO2017162019A1 (zh) 2017-09-28
CN105872685A (zh) 2016-08-17
EP3422726A4 (en) 2019-08-07
US20190104340A1 (en) 2019-04-04
EP3422726A1 (en) 2019-01-02

Similar Documents

Publication Publication Date Title
JP2019519830A (ja) スマート端末を制御する方法、及びスマート端末
US10999628B2 (en) TV mode change in accordance with number of viewers present
JP6401865B2 (ja) 写真共有方法、装置、プログラム及び記録媒体
US9014685B2 (en) Mobile device which automatically determines operating mode
US10116781B2 (en) Method, device and computer-readable medium for controlling a device
US20160028741A1 (en) Methods and devices for verification using verification code
WO2017028448A1 (zh) 显示设备的控制方法、装置及智能垫体
US10462071B2 (en) Method and device for removing a control relationship between a user account and a device
US10425403B2 (en) Method and device for accessing smart camera
WO2018095439A1 (zh) 信息交互方法、装置和存储介质
CN110677682B (zh) 直播检测与数据处理方法、设备、系统及存储介质
WO2023056766A1 (zh) 信息显示方法及装置
WO2017219497A1 (zh) 消息生成方法及装置
CN114846433A (zh) 指定子显示屏的基于手势的方法和系统
WO2021190404A1 (zh) 建立会议、会议创建方法、设备、系统及存储介质
CN104363205A (zh) 应用登录方法和装置
CN105578113A (zh) 一种视频通信的方法、装置和系统
WO2020078078A1 (zh) 一种即时通信的通知方法、装置、电子设备及存储介质
WO2020108024A1 (zh) 信息交互方法、装置、电子设备及存储介质
CN106464976B (zh) 显示设备、用户终端设备、服务器及其控制方法
US10809889B2 (en) Live interactive event indication based on notification profile for display device
CN105744206A (zh) 一种视频通信的方法、装置和系统
CN105630286B (zh) 图标排列方法及装置
CN111448564B (zh) 一种在电子处理设备的屏幕上显示内容的方法
KR102467041B1 (ko) 전자 장치 및 전자 장치에서 방송 콘텐트와 관련된 서비스 정보 제공 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191119

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200616