JP2019101492A - コミュニケーション装置 - Google Patents

コミュニケーション装置 Download PDF

Info

Publication number
JP2019101492A
JP2019101492A JP2017228233A JP2017228233A JP2019101492A JP 2019101492 A JP2019101492 A JP 2019101492A JP 2017228233 A JP2017228233 A JP 2017228233A JP 2017228233 A JP2017228233 A JP 2017228233A JP 2019101492 A JP2019101492 A JP 2019101492A
Authority
JP
Japan
Prior art keywords
communication device
display
user
eye
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017228233A
Other languages
English (en)
Inventor
美奈 舩造
Mina Funatsukuri
美奈 舩造
加来　航
Ko Kako
航 加来
真太郎 吉澤
Shintaro Yoshizawa
真太郎 吉澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017228233A priority Critical patent/JP2019101492A/ja
Priority to US16/156,103 priority patent/US11188811B2/en
Priority to EP18199768.5A priority patent/EP3498429A1/en
Priority to CN201811416695.6A priority patent/CN110014431B/zh
Publication of JP2019101492A publication Critical patent/JP2019101492A/ja
Priority to JP2021158759A priority patent/JP2022008613A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/0015—Face robots, animated artificial faces for imitating human expressions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Toys (AREA)
  • Manipulator (AREA)

Abstract

【課題】コミュニケーション性の向上を図ることができるコミュニケーション装置を提供すること。【解決手段】コミュニケーション装置は、右目及び左目を模擬した構成を機械的な動き又は表示によって実現する顔部を備える。また、コミュニケーション装置は、コミュニケーション相手との距離及び方向を検出する検出部と、前記検出部により検出された距離及び方向に、右目及び左目のそれぞれの視点を合わせるように、前記構成の機械的な動き又は表示を制御する制御部と、を備える。【選択図】図４

Description

本発明は、コミュニケーション装置に関し、特に、顔部を備えるコミュニケーション装置に関する。
近年、ユーザとコミュニケーションをとるコミュニケーション装置の開発が進んでいる。関連技術として、コミュニケーション装置に顔部を設けた技術が知られている。
例えば、特許文献１には、右目及び左目に対応する構成を顔部に有するコミュニケーション装置（ロボット）が開示されている。特許文献１に開示されたコミュニケーション装置は、右目及び左目が、それぞれ上下左右に可動に構成されており、センサを用いて、装置正面方向とコミュニケーション相手の方向とのズレ角を検出し、検出したズレ角に基づいて右目及び左目の両方の視線を対象物の方向へ動かす。
これにより、特許文献１に開示されたコミュニケーション装置は、コミュニケーション相手へ視線を向けた状態で、コミュニケーション相手とコミュニケーションをとることが可能となっている。
特許第５１８６７２３号公報
しかし、特許文献１に開示されたコミュニケーション装置において、右目及び左目の視線が両方ともズレ角分動く場合、例えば、コミュニケーション相手がコミュニケーション装置の近く（目の前など）にいるようなときに、コミュニケーション相手に対して両目の視点が合っていないような違和感を生じさせてしまう可能性があり、コミュニケーション性に改善の余地があつた。
本発明は、上記を鑑みなされたものであって、コミュニケーション性の向上を図ることができるコミュニケーション装置を提供するものである。
本発明の一態様に係るコミュニケーション装置は、
右目及び左目を模擬した構成を機械的な動き又は表示によって実現する顔部を備えるコミュニケーション装置であって、
コミュニケーション相手との距離及び方向を検出する検出部と、
前記検出部により検出された距離及び方向に、右目及び左目のそれぞれの視点を合わせるように、前記構成の機械的な動き又は表示を制御する制御部と、を備える。
上述した本発明の態様によれば、コミュニケーション性の向上を図ることができるコミュニケーション装置を提供することができる。
実施の形態１に係るコミュニケーション装置の外観構成の一例を示す正面図である。 実施の形態１に係るコミュニケーション装置において、視線方向が右方向である場合の右目及び左目の表示例を示す図である。 実施の形態１に係るコミュニケーション装置のハードウェア構成の一例を示すブロック図である。 実施の形態１に係るコミュニケーション装置のソフトウェア構成の一例を示すブロック図である。 ユーザとコミュニケーション装置との位置関係の一例を示す図である。 ユーザとコミュニケーション装置との位置関係の一例を示す図である。 カメラ画像上のユーザの顔画像サイズを使用して、ユーザとコミュニケーション装置との距離を推定する方法の一例を示す図である。 右目及び左目を、右目及び左目の眼球を模擬したアクチュエータで実現する、コミュニケーション装置の構成の一例を示す図である。 右目及び左目を、右目及び左目の眼球を模擬した構成のディスプレイへの表示で実現する、実施の形態１に係るコミュニケーション装置の構成の一例を示す図である。 実施の形態１に係るコミュニケーション装置において、ディスプレイ上の右目の座標を算出する方法の一例を示す図である。 カメラ画像座標系の一例を示す図である。 センサ座標系の一例を示す図である。 センサ座標系の一例を示す図である。 カメラ画像上のユーザの顔画像サイズを使用して、ユーザとコミュニケーション装置との距離を推定する方法の一例を示す図である。 ディスプレイ画像座標系の一例を示す図である。 実施の形態２に係るコミュニケーション装置のソフトウェア構成の一例を示すブロック図である。 実施の形態２に係るコミュニケーション装置において、視線方向が右方向で、感情がネガティブである場合の右目及び左目の表示例を示す図である。
以下、図面を参照して本発明の実施の形態について説明する。
＜実施の形態１＞
図１は、本実施の形態１に係るコミュニケーション装置１の外観構成の一例を示す正面図である。図１に示されるように、本実施の形態１に係るコミュニケーション装置１は、動物を模した外観を有する装置（ロボット）であり、顔部１０と、胴部２０と、腕部３０Ａ，３０Ｂと、脚部４０Ａ，４０Ｂと、を備えている。
顔部１０は、目部としてのディスプレイ１１Ａ，１１Ｂ、鼻部１２、耳部１３Ａ，１３Ｂなどが設けられている。ディスプレイ１１Ａは、コミュニケーション装置１の顔の右目を構成している。ディスプレイ１１Ａの表示画面（表示パネル）は、顔部１０において表現される右目の大きさ及び形状に対応する大きさ及び形状を有する。同様に、ディスプレイ１１Ｂは、コミュニケーション装置１の顔の左目を構成している。ディスプレイ１１Ｂの表示画面（表示パネル）は、顔部１０において表現される左目の大きさ及び形状に対応する大きさ及び形状を有する。すなわち、コミュニケーション装置１においては、顔部１０全体がディスプレイにより構成されているのではなく、顔部１０における目に相当する部分のみがディスプレイ１１Ａ，１１Ｂにおいて構成されている。コミュニケーション装置１において、顔部１０の目以外の部分については顔の構成要素を模したディスプレイ以外の部材により構成されている。このように、本実施の形態１では、コミュニケーション装置１の顔における目以外の部分は、ディスプレイにより構成されていない。したがって、目以外の顔の部分をより現実感のある部材により構成することが可能となる。また、顔部１０の全てをディスプレイにより構成した場合、後述するカメラ１５０などの各種センサ機器を顔部１０に設けることが難しいが、本実施の形態１では、ディスプレイで構成される範囲が限定的であるため、設計自由度を向上することができる。
以下、ディスプレイ１１Ａとディスプレイ１１Ｂとを特に区別せずに言及する場合、単にディスプレイ１１と呼ぶこととする。ディスプレイ１１の表示パネルは例えば液晶パネルであるが、これに限らず他の構成のディスプレイが用いられてもよい。
ディスプレイ１１Ａ，１１Ｂは、それぞれ目についての画像を表示する。このため、ディスプレイ１１の表示により図２に示されるようにコミュニケーション装置１の視線を表現することができる。図２では、視線方向が右方向である場合の右目及び左目の表示例を示している。なお、目についての画像は、目球のみならず、瞼、眉、涙などの目に関連する要素の画像を含んでもよい。
本実施の形態１において、鼻部１２は、動物の鼻を模すために、顔部１０において前方に突出している。そして、鼻部１２の突出した先端には、後述する環境測定装置１５として機能するカメラ１５０が設けられている。本実施の形態１では、このようにカメラ１５０が顔部の突出した位置に設けられているため、カメラ１５０からコミュニケーション装置１の周辺を見渡すことが可能となる。したがって、カメラ１５０はコミュニケーション装置１の周辺の環境を良好に撮影することができる。
耳部１３Ａ，１３Ｂには、それぞれ、後述する環境測定装置１５として機能するマイクロフォン（不図示）が設けられている。このマイクロフォンにより、コミュニケーション装置１の周辺の環境の音が測定される。なお、マイクロフォンは、耳部１３Ａ又は耳部１３Ｂのいずれか一方のみに設けられていてよいし、顔部１０における耳部１３Ａ，１３Ｂ以外の部分に設けられていてもよいし、コミュニケーション装置１における顔部１０以外の部分に設けられていてもよい。
次に、コミュニケーション装置１のハードウェア構成について説明する。図３は、コミュニケーション装置１のハードウェア構成の一例を示すブロック図である。図３に示されるように、コミュニケーション装置１は、ディスプレイ１１と、スピーカ１４と、環境測定装置１５と、制御装置１６と、を備えている。
ディスプレイ１１は、制御装置１６の制御に従って、目についての画像を表示する。スピーカ１４は、制御装置１６の制御に従って、音声等を出力する。これにより、コミュニケーション装置１は、ユーザ（コミュニケーション相手）に対し、話し掛けることができる。
環境測定装置１５は、コミュニケーション装置１の周辺の環境についての情報を取得するために、周辺の環境を測定する装置である。具体的には、環境測定装置１５には、カメラ１５０及びマクロフォンが含まれる。環境測定装置１５は、測定したデータを制御装置１６に出力する。したがって、環境測定装置１５は、例えば、ユーザを含む周辺環境の画像を撮影する。また、環境測定装置１５は、例えば、ユーザが発した音声、又は周辺環境における物音などを検出する。なお、環境測定装置１５は、周辺の環境を測定することができる装置であればよく、カメラ１５０及びマイクロフォンに限られない。例えば、環境測定装置１５は、対象物までの距離を測定するレーザレンジファインダ等の距離センサであってもよい。
制御装置１６は、メモリ１６０及びプロセッサ１６１を含む。メモリ１６０は、例えば、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１６０は、プロセッサ１６１により実行されるソフトウェア（コンピュータプログラム）などを格納するために使用される。
このプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、Compact Disc Read Only Memory（CD-ROM）、CD-R、CD-R/W、半導体メモリ（例えば、マスクROM、Programmable ROM（PROM）、Erasable PROM（EPROM）、フラッシュROM、Random Access Memory（RAM））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
プロセッサ１６１は、メモリ１６０からソフトウェア（コンピュータプログラム）を読み出して実行することで、後述する図４に示す各部の処理を行う。このように、制御装置１６は、コンピュータとしての機能を備えている。プロセッサ１６１は、例えば、マイクロプロセッサ、ＭＰＵ（Micro Processing Unit）、又はＣＰＵ（Central Processing Unit）であってもよい。プロセッサ１６１は、複数のプロセッサを含んでもよい。
次に、プロセッサ１６１がソフトウェアを実行することで実現されるコミュニケーション装置１の構成について説明する。図４は、コミュニケーション装置１のソフトウェア構成の一例を示すブロック図である。図４に示されるように、コミュニケーション装置１は、位置検出部１１０と、座標算出部１２０と、出力部１３０と、を備えている。なお、座標算出部１２０及び出力部１３０は、制御部の構成要素の一例である。
位置検出部１１０は、ユーザの位置（距離及び方向）を検出する。ユーザの位置は、例えば、ユーザの顔の中心として良い。ただし、ユーザの目の検出が可能であれば、ユーザの位置は、両目の中心とするのが良い。ユーザの位置を両目の中心とすれば、コミュニケーション装置１の視線を、ユーザの視線に合わせやすくなる。
座標算出部１２０は、位置検出部１１０により検出されたユーザの位置（距離及び方向）に、ディスプレイ１１Ａ上に表示される右目及びディスプレイ１１Ｂ上に表示される左目のそれぞれの視線を合わせるように、ディスプレイ１１Ａ上の右目を表示する座標、及び、ディスプレイ１１Ｂ上の左目を表示する座標、をそれぞれ算出する。
出力部１３０は、座標算出部１２０により算出されたディスプレイ１１Ａ上の座標に右目の画像を表示すると共に、座標算出部１２０により算出されたディスプレイ１１Ｂ上の座標に左目の画像を表示する。
以下、位置検出部１１０及び座標算出部１２０について詳細に説明する。
まず、位置検出部１１０について説明する。図５及び図６は、ユーザとコミュニケーション装置１との位置関係の一例を示す図である。図５及び図６に示されるように、位置検出部１１０は、コミュニケーション装置１から見たユーザの位置座標（ｘ，ｙ）を計測する他、ユーザとの間の距離座標（ｚ）を計測する。これら座標の計測には、カメラ１５０で撮影されたカメラ画像のみを使用しても良いし、距離センサや３次元位置測定センサなどのセンサを追加で使用しても良い。この際、コミュニケーション装置１に搭載されたデバイスのみで、上記の座標の計測が可能であれば、場所を選ばずにコミュニケーション装置１を使用することができる。
次に、カメラ画像上のユーザの顔画像サイズを使用して、ユーザとコミュニケーション装置１との距離（ｙ座標）を推定する方法について説明する。この場合、事前に、平均的な顔の大きさを持つユーザ（又は、コミュニケーション相手のユーザ）について、カメラ画像上のユーザの顔画像サイズと距離（ｙ座標）との相関データを予め入力しておく。そして、図７に示されるように、位置検出部１１０は、カメラ１５０で撮影されたカメラ画像上のユーザの顔画像サイズと、予め入力された相関データと、に基づいて、ユーザとの距離（ｙ座標）を推定する。図７の例では、カメラ画像上のユーザの顔の縦長さが８０ｐｘ（ｐｉｘｅｌ）であるときは、距離（ｙ座標）を１ｍと推定し、ユーザの顔の縦長さが２００ｐｘ（ｐｉｘｅｌ）であるときは、距離（ｙ座標）を３０ｃｍと推定している。
次に、座標算出部１２０について説明する。座標算出部１２０は、位置検出部１１０により検出されたユーザの位置（距離及び方向）に、ディスプレイ１１Ａ上に表示される右目及びディスプレイ１１Ｂ上に表示される左目のそれぞれの視線を合わせるように、ディスプレイ１１Ａ上の右目を表示する座標、及び、ディスプレイ１１Ｂ上の左目を表示する座標、をそれぞれ算出する。この際、ディスプレイ１１上の表示位置（座標）は、右目と左目とで異なる表示位置となる。
図８に示されるコミュニケーション装置では、右目及び左目は、右目及び左目の眼球を模擬（仮想化）した機械的なアクチュエータで実現されている。図８に示されるように、右目と左目とは動きが異なり、ユーザから距離がある方の目は、大きく移動する。図８の例では、コミュニケーション装置から見て、正面よりも左側にユーザが位置しているため、右目が大きく回転して、ユーザの位置に視線を合わせている。
一方、図９に示される本実施の形態１に係るコミュニケーション装置１では、右目及び左目は、ディスプレイ１１へ表示することで実現されている。この際、右目及び左目の視線をユーザの位置に合わせながら、実際に人間が行っている右目及び左目の動きに近い動きを実現している。そのために、右目及び左目の眼球を模擬（仮想化）し、模擬した構成１１１Ａ，１１１Ｂのディスプレイ１１への表示を制御する。
以下、具体的な制御方法について、右目を例に挙げて説明する。位置検出部１１０は、右目の眼球を模擬した構成１１１Ａの視線をユーザの位置に合わせたときの構成１１１Ａの回転角度を算出する。そして、座標算出部１２０は、図１０に示されるように、その回転角度で配置した構成１１１Ａの右目の黒目部分を平面のディスプレイ１１Ａに投影した場合の位置座標を、ディスプレイ１１Ａ上の右目の黒目を表示する座標として算出する。これにより、出力部１３０は、右目の眼球が存在すると仮定した場合に、右目の黒目が移動すべきディスプレイ１１Ａ上の位置に、右目の黒目を表示することができる。左目についても同様の制御が行われる。
なお、ディスプレイ１１に右目及び左目を表示する際は、構成１１１Ａ，１１１Ｂの右目及び左目の眼球の表面に当たる平面に、レンズ等を利用して右目及び左目をそれぞれ写すことができれば、より自然に右目及び左目を表示することができる。
次に、図１１〜図１５を参照して、ディスプレイ１１上に表示される右目及び左目の座標の算出方法について、詳細に説明する。
以下の手順に従い、ディスプレイ１１Ａ上に表示される右目の黒目座標（Xeb-right, Yeb-right）及びディスプレイ１１Ｂ上に表示される左目の黒目座標（Xeb-left, Yeb-left）を算出する。
手順１）
図１１は、カメラ１５０で撮影されたカメラ画像の座標系であって、カメラ画像の画像中心を原点とした座標系（以下、カメラ画像座標系）の一例を示している。図１２及び図１３は、カメラ１５０でセンシングを行う領域の座標系であって、カメラ１５０のレンズ中心を原点とした座標系（以下、センサ座標系）の一例を示している。
まず、位置検出部１１０は、カメラ画像座標系におけるユーザの位置（Xsu, Ysu）を推定する（図１１を参照）。ここでは、ユーザの位置は、両目の中心としている。また、コミュニケーション装置１から見て、正面よりも左側にユーザが位置している。
次に、位置検出部１１０は、カメラ画像座標系におけるユーザの位置（Xsu, Ysu）及びカメラ１５０の画角仕様を使用して、以下のようにして、センサ座標系におけるユーザの方位（Pitchcu, Yawcu）を推定する（図１２及び図１３を参照）。
Pitchcu = −(垂直方向の画角/2)× Ysu / (カメラ画像の縦解像度/2)
Yawcu = −(水平方向の画角/2)× Xsu / (カメラ画像の横解像度/2)
手順２）
図１４は、カメラ画像上のユーザの顔画像サイズを使用して、ユーザとコミュニケーション装置１との距離（Dcu）を推定する方法の一例を示す図である。
事前に、位置検出部１１０には、カメラ画像上のユーザの顔画像サイズと距離との相関データを予め入力しておく（図１４を参照）。図１４のα, β, Acu, Bcu は、実機にて得られたパラメータとなっている。そして、位置検出部１１０は、カメラ１５０で撮影されたカメラ画像上のユーザの顔画像サイズと、予め入力された相関データと、に基づいて、ユーザとコミュニケーション装置１との距離（Dcu）を推定する。なお、ユーザの顔画像サイズは、カメラ画像から推定しても良いし、顔認識用ソフトウェアから取得しも良い。
次に、位置検出部１１０は、センサ座標系におけるユーザの方位（Pitchcu, Yawcu）、ユーザとコミュニケーション装置１との距離（Dcu）を使用して、センサ座標系におけるユーザの位置（Ycu, Zcu）を推定する（図１３を参照）。
手順３）
次に、位置検出部１１０は、ユーザの位置（Ycu, Zcu）を使用して、右目の眼球を模擬した構成１１１Ａの回転角度 Yawce-rightを求めると共に、左目の眼球を模擬した構成１１１Ｂの回転角度 Yawce-leftを求める（図１３を参照）。
手順４）
図１５は、ディスプレイ１１に表示されたディスプレイ画像の座標系であって、ディスプレイ画像の画像中心を原点とした座標系（以下、ディスプレイ画像座標系）の一例を示している。
その後、座標算出部１２０は、回転角度Pitchcu及びYawce-rightを使用して、これら回転角度で配置した右目の構成１１１Ａの黒目部分をディスプレイ１１Ａに投影した場合の位置座標を、ディスプレイ１１Ａ上の右目の黒目座標（Xeb-right, Yeb-right）として算出する。また、座標算出部１２０は、回転角度Pitchcu及びYawce-leftを使用して、これら回転角度で配置した左目の構成１１１Ｂの黒目部分をディスプレイ１１Ｂに投影した場合の位置座標を、ディスプレイ１１Ｂ上の左目の黒目座標（Xeb-left, Yeb-left）として算出する（図１５を参照）。
上述したように本実施の形態１によれば、右目及び左目の眼球を模擬した構成１１１Ａ，１１１Ｂをディスプレイ１１Ａ，１１Ｂへの表示によって実現する顔部１０を備える。そして、ユーザとの距離及び方向を検出し、検出された距離及び方向に、右目及び左目のそれぞれの視点を合わせるように、右目及び左目を模擬した構成１１１Ａ，１１１Ｂの表示を制御する。
このように、右目及び左目の視点をそれぞれ個別に制御することから、ユーザとの距離が近いほど、両目の視線の間隔がより狭くなるため、ユーザに対して、両目の視点が合っていないような違和感を生じさせてしまうことが抑制される。従って、コミュニケーション性の向上を図ることができる。
また、コミュニケーション装置１とユーザとの位置関係に応じて、コミュニケーション装置１の表出が変化するため、ユーザは、コミュニケーション装置１とのコミュニケーションに飽きにくくなる。また、コミュニケーション装置１がユーザの振る舞いを認識していることを、ユーザに示すことができる。
＜実施の形態２＞
図１５は、本実施の形態２に係るコミュニケーション装置２のソフトウェア構成の一例を示すブロック図である。図１５に示されるように、コミュニケーション装置２は、実施の形態１に係るコミュニケーション装置１と比較して、感情生成部１４０を追加している点が異なる。なお、コミュニケーション装置２は、外観構成、ハードウェア構成については、実施の形態１に係るコミュニケーション装置１と同様であるため、説明を省略する。
感情生成部１４０は、予め定められた規則に従って、顔部１０において表現するコミュニケーション装置２の感情（より具体的には、感情を示すパラメータ）を生成する。感情生成部１４０により感情が生成され、ディスプレイ１１に表示される顔部１０の表出において感情が表現されることにより、コミュニケーション装置２の気持ち又は状態などをユーザに伝えることができる。よって、コミュニケーションを円滑に進めることを補助することができる。また、コミュニケーション装置２が飽きられることを抑制することもできる。なお、上述の規則としては、例えば、次のようなものが挙げられる。ただし、下記の規則には限定されない。
第１に、カメラ１５０の撮影画像から取得したユーザの顔からユーザの感情を推定し、その感情に共感する感情をコミュニケーション装置２の感情として生成する規則が挙げられる。すなわち、この場合、感情生成部１４０は、ユーザの顔に応じた感情を生成することとなる。これにより、ユーザの感情に応じた感情を表示することが可能となる。このため、ユーザとの自然なコミュニケーションを実現することができる。なお、感情の推定は、例えば、所定の顔画像とカメラ１５０の撮影画像とのパターンマッチング等により行うことができる。
第２に、マイクロフォンにより検出した音声を解析して、ユーザとの対話内容を判定し、判定した対話内容から相手の感情を推定し、その感情に共感する感情をコミュニケーション装置２の感情として生成する規則が挙げられる。すなわち、この場合、感情生成部１４０は、対話内容に応じた感情を生成することとなる。これにより、対話内容に応じた感情を表示することが可能となる。このため、ユーザとの自然なコミュニケーションを実現することができる。なお、感情の推定は、例えば、所定の会話内容と対話内容とのパターンマッチング等により行うことができる。
第３に、コミュニケーション装置２の内部状態から自発的な感情を生成する規則が挙げられる。すなわち、この場合、感情生成部１４０は、内部状態に応じた感情を生成することとなる。これにより、自発的な感情の表示が可能となる。なお、内部状態とは、例えば、コミュニケーション装置２に電力を供給するためのバッテリの残量の減少度合い、コミュニケーション装置１の継続使用時間などである。例えば、感情生成部１４０は、内部状態に応じて疲れなどの感情を生成してもよい。
また、第４に、カメラ１５０の撮影画像から取得したユーザの行動（所作、手振りなど）に基づいて、コミュニケーション装置２の感情を生成する規則が挙げられる。この規則では、例えば、予め定められた行動に対して予め関連付けられている感情が生成される。すなわち、この場合、感情生成部１４０は、ユーザの行動に応じた感情を生成することとなる。これにより、ユーザの行動に反応した感情を表示することが可能となる。
本実施の形態２は、顔部１０について生成された感情が表出されるように、右目及び左目を模擬した構成１１１Ａ，１１１Ｂの表示を制御するものであり、ユーザの位置（距離及び方向）に、右目及び左目のそれぞれの視点を合わせながら、上記の制御を実行する。
図１６は、感情生成部１４０により生成された感情が「ネガティブ」であり、座標算出部１２０により算出された座標が、視線方向が右方向に向いている座標である場合の右目及び左目の表示例を示している。この場合、出力部１３０は、右方向を向いて泣いた目の画像をディスプレイ１１に表示する。
上述したように本実施の形態２によれば、ユーザの位置（距離及び方向）に、右目及び左目のそれぞれの視点を合わせながら、顔部１０について生成された感情が表出されるように、右目及び左目を模擬した構成１１１Ａ，１１１Ｂの表示を制御する。
例えば、顔部１０の喜びや悲しみなどの感情の表出を、予め設定された表示アニメーションのパターンに沿って実行するようにするだけでは、ユーザとの距離の大小に応じて調整している両目の視線の向きと、上記のパターンで規定されている視線の向きと、がずれている場合、不連続に視線の向きが変化してしまうことになり、ユーザに違和感を生じさせてしまう。
これに対して、本実施の形態２は、ユーザの距離及び方向に、右目及び左目の視点を合わせながら、顔部１０の感情を表出するため、顔部１０の感情の表出を、滑らかな視線で、違和感なく実現できるようになる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
例えば、上記実施の形態に係るコミュニケーション装置は、右目及び左目を、右目及び左目を模擬した構成をディスプレイへ表示することで実現していたが、これには限定されない。本発明に係るコミュニケーション装置は、図８に示されるように、右目及び左目を、右目及び左目を模擬した機械的なアクチュエータで実現しても良い。この場合、アクチュエータの機械的な動きを制御して、コミュニケーション相手の位置（距離及び方向）に、右目及び左目のそれぞれの視点を合わせれば良い。なお、アクチュエータの制御は、モータ制御などの周知の制御を行えば良い。
また、上記実施の形態に係るコミュニケーション装置の処理は、全てコミュニケーション装置が実行しても良い。又は、外部サーバとコミュニケーション装置とが通信を行い、コミュニケーション装置の処理の一部又は全てを外部サーバが実行しても良い。
外部サーバに処理を委託するメリットとしては、以下が考えられる。
・コミュニケーション装置の処理を減らし、コミュニケーション装置を小型化・軽量化することができる
・外部サーバ側の処理能力を増強して複雑な応答をすることができる
・保守、更新などのメンテナシスが容易となる（コミュニケーション装置を保守、更新する場合、保守者がコミュニケーション装置のところまで向かう必要がある）
・表出画像などのデータを大量に持つことができる
一方、コミュニケーション装置が全ての処理を実行するメリットとしては、以下が考えられる。
・ユーザに対する応答速度を上げ、即時性を高めることができる
・外部サーバとの通信状況に依存しない性能を出すことができる（電波が弱く、外部サーバと通信できない場所でも、対話性能は変わらない）
１，２ コミュニケーション装置
１０ 顔部
１１，１１Ａ，１１Ｂ ディスプレイ
１１１Ａ 右目を模擬した構成
１１１Ｂ 左目を模擬した構成
１５ 環境測定装置
１６ 制御装置
１１０ 位置検出部
１２０ 座標算出部
１３０ 出力部
１４０ 感情生成部
１５０ カメラ

Claims (2)

  1. 右目及び左目を模擬した構成を機械的な動き又は表示によって実現する顔部を備えるコミュニケーション装置であって、
    コミュニケーション相手との距離及び方向を検出する検出部と、
    前記検出部により検出された距離及び方向に、右目及び左目のそれぞれの視点を合わせるように、前記構成の機械的な動き又は表示を制御する制御部と、を備える、
    コミュニケーション装置。
  2. 予め定められた規則に従って、前記顔部において表現する前記コミュニケーション装置の感情を生成する感情生成部をさらに備え、
    前記制御部は、
    前記顔部の感情が表出されるように、前記構成の機械的な動き又は表示を制御するものであり、
    前記検出部により検出された距離及び方向に、右目及び左目のそれぞれの視点を合わせながら、前記制御を実行する、
    請求項１に記載のコミュニケーション装置。
JP2017228233A 2017-11-28 2017-11-28 コミュニケーション装置 Pending JP2019101492A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017228233A JP2019101492A (ja) 2017-11-28 2017-11-28 コミュニケーション装置
US16/156,103 US11188811B2 (en) 2017-11-28 2018-10-10 Communication apparatus
EP18199768.5A EP3498429A1 (en) 2017-11-28 2018-10-11 Communication apparatus
CN201811416695.6A CN110014431B (zh) 2017-11-28 2018-11-26 通信装置
JP2021158759A JP2022008613A (ja) 2017-11-28 2021-09-29 コミュニケーション装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017228233A JP2019101492A (ja) 2017-11-28 2017-11-28 コミュニケーション装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021158759A Division JP2022008613A (ja) 2017-11-28 2021-09-29 コミュニケーション装置

Publications (1)

Publication Number Publication Date
JP2019101492A true JP2019101492A (ja) 2019-06-24

Family

ID=64048667

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017228233A Pending JP2019101492A (ja) 2017-11-28 2017-11-28 コミュニケーション装置
JP2021158759A Pending JP2022008613A (ja) 2017-11-28 2021-09-29 コミュニケーション装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021158759A Pending JP2022008613A (ja) 2017-11-28 2021-09-29 コミュニケーション装置

Country Status (4)

Country Link
US (1) US11188811B2 (ja)
EP (1) EP3498429A1 (ja)
JP (2) JP2019101492A (ja)
CN (1) CN110014431B (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001312604A (ja) * 2000-02-10 2001-11-09 Sony Corp 自動装置及び自動装置の動作生成方法、情報提供装置及び情報提供方法、ロボット装置及びロボット装置の行動生成方法並びに商取引システム及び商取引方法
JP2004042151A (ja) * 2002-07-09 2004-02-12 Advanced Telecommunication Research Institute International コミュニケーションロボット
JP2006289508A (ja) * 2005-04-05 2006-10-26 Sony Corp ロボット装置及びその表情制御方法
JP2007323150A (ja) * 2006-05-30 2007-12-13 Keio Gijuku 人体器官擬似装置
US20130078600A1 (en) * 2011-08-29 2013-03-28 Worcester Polytechnic Institute System and method of pervasive developmental disorder interventions
JP2013154458A (ja) * 2012-01-31 2013-08-15 Fujitsu Ltd 対話装置、対話プログラムおよび対話方法
JP2016076799A (ja) * 2014-10-03 2016-05-12 シャープ株式会社 家電管理システム、家電、リモコン装置、ロボット

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5084099A (en) 1991-06-17 1992-01-28 Tektronix, Inc. Phase change ink colorants and phase change inks produced therefrom
US6118888A (en) * 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
TW519826B (en) * 1999-11-29 2003-02-01 Koninkl Philips Electronics Nv Personality-based intelligent camera system
DE60216411T2 (de) * 2001-08-23 2007-10-04 Sony Corp. Robotervorrichtung, gesichtserkennungsverfahren und gesichtserkennungsvorrichtung
US7762665B2 (en) * 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
JP5186723B2 (ja) 2006-01-05 2013-04-24 株式会社国際電気通信基礎技術研究所 コミュニケーションロボットシステムおよびコミュニケーションロボットの視線制御方法
JP4565196B2 (ja) 2007-08-30 2010-10-20 株式会社国際電気通信基礎技術研究所 コミュニケーションロボット
CN101745226A (zh) * 2008-12-01 2010-06-23 鸿富锦精密工业（深圳）有限公司 仿真眼睛
JP2011055076A (ja) * 2009-08-31 2011-03-17 Fujitsu Ltd 音声通話装置及び音声通話方法
US8651916B2 (en) * 2010-01-18 2014-02-18 Disney Enterprises, Inc. System and method for generating realistic eyes
JP2011175583A (ja) * 2010-02-25 2011-09-08 Casio Computer Co Ltd 表示装置及びプログラム
US20130217300A1 (en) * 2012-02-17 2013-08-22 Eric E. Skifstrom Light emitting diode (led) and method of making
JP5651639B2 (ja) 2012-06-29 2015-01-14 株式会社東芝 情報処理装置、情報表示装置、情報処理方法およびプログラム
US20150314454A1 (en) * 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
US9636594B2 (en) * 2013-10-01 2017-05-02 Rehco, Llc System for controlled distribution of light in toy characters
US10363192B2 (en) * 2016-06-16 2019-07-30 Matthew Casey Device and method for instilling intrinsic motivation regarding eye contact in children affected by eye contact disorders
US10062216B2 (en) * 2016-09-13 2018-08-28 Aleksey Konoplev Applying facial masks to faces in live video
JP6544333B2 (ja) 2016-10-13 2019-07-17 トヨタ自動車株式会社 コミュニケーション装置
CN110024000B (zh) * 2016-11-24 2023-12-26 Groove X 株式会社 使瞳部变化的行为自主型机器人
CN106648074A (zh) * 2016-11-25 2017-05-10 合肥优智领英智能科技有限公司 一种智能机器人的人机交互方法
CN106625678B (zh) * 2016-12-30 2017-12-08 首都师范大学 机器人表情控制方法和装置
JP6841167B2 (ja) 2017-06-14 2021-03-10 トヨタ自動車株式会社 コミュニケーション装置、コミュニケーションロボットおよびコミュニケーション制御プログラム
JP2019005842A (ja) * 2017-06-23 2019-01-17 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
CN107307865A (zh) * 2017-08-04 2017-11-03 湖州健凯康复产品有限公司 一种自闭症儿童辅助交流装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001312604A (ja) * 2000-02-10 2001-11-09 Sony Corp 自動装置及び自動装置の動作生成方法、情報提供装置及び情報提供方法、ロボット装置及びロボット装置の行動生成方法並びに商取引システム及び商取引方法
JP2004042151A (ja) * 2002-07-09 2004-02-12 Advanced Telecommunication Research Institute International コミュニケーションロボット
JP2006289508A (ja) * 2005-04-05 2006-10-26 Sony Corp ロボット装置及びその表情制御方法
JP2007323150A (ja) * 2006-05-30 2007-12-13 Keio Gijuku 人体器官擬似装置
US20130078600A1 (en) * 2011-08-29 2013-03-28 Worcester Polytechnic Institute System and method of pervasive developmental disorder interventions
JP2013154458A (ja) * 2012-01-31 2013-08-15 Fujitsu Ltd 対話装置、対話プログラムおよび対話方法
JP2016076799A (ja) * 2014-10-03 2016-05-12 シャープ株式会社 家電管理システム、家電、リモコン装置、ロボット

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALESSANDRO RONCONE ET AL.: "A Cartesian 6-DoF Gaze Controller for Humanoid Robots", PROCEEDINGS OF ROBOTICS: SCIENCE AND SYSTEMS XII, JPN6020042719, June 2016 (2016-06-01), ISSN: 0004653869 *
佐藤 直希、外３名: "雰囲気推定を用いたロボットによる自発的行動を促す目配せ表出", 情報処理学会第７９回全国大会講演論文集（３）, JPN6020042721, 16 March 2017 (2017-03-16), pages 3 - 509, ISSN: 0004653870 *

Also Published As

Publication number Publication date
US20190164032A1 (en) 2019-05-30
CN110014431A (zh) 2019-07-16
JP2022008613A (ja) 2022-01-13
US11188811B2 (en) 2021-11-30
EP3498429A1 (en) 2019-06-19
CN110014431B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
JP7307119B2 (ja) 完全な顔画像の眼球周囲およびオーディオ合成
JP7437327B2 (ja) 異種入力の補間のための方法およびシステム
JP7342008B2 (ja) 仮想アバタのためのメッシュの合致
JP6911107B2 (ja) 表面モデル化システムおよび方法
US20210097875A1 (en) Individual viewing in a shared space
KR20190101834A (ko) 얼굴의 특징점의 움직임에 따라 모션이 수행된 아바타를 표시하는 전자 장치와 이의 동작 방법
JP2023520463A (ja) 最適視線弁別のためのアバタカスタマイズ
US8779908B2 (en) System and method for social dancing
US11380072B2 (en) Neutral avatars
US10576633B2 (en) Communication device
JP2006192548A (ja) 身まねロボットシステムとその身まね動作制御方法
US20240054712A1 (en) Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters
US20180373324A1 (en) Systems and processes for providing virtual sexual experiences
KR101276429B1 (ko) 모션 캡처에서의 안구 운동 데이터 대체 장치 및 컴퓨터 판독 가능 저장 매체
JP2019101492A (ja) コミュニケーション装置
US11403830B2 (en) Image processing device, image processing method, and program
CN111708428B (zh) 通信系统和用于控制通信系统的方法
TW202343384A (zh) 具有前後攝影機捕捉的行動裝置全像呼叫

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210929

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210929

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211008

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211012

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20211203

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20211207

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220104

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220405

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220412

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220517

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220906

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20221011

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20221011