JP2006510081A - ビデオホン画像における頭部姿勢を補正する方法及び装置 - Google Patents
ビデオホン画像における頭部姿勢を補正する方法及び装置 Download PDFInfo
- Publication number
- JP2006510081A JP2006510081A JP2004558270A JP2004558270A JP2006510081A JP 2006510081 A JP2006510081 A JP 2006510081A JP 2004558270 A JP2004558270 A JP 2004558270A JP 2004558270 A JP2004558270 A JP 2004558270A JP 2006510081 A JP2006510081 A JP 2006510081A
- Authority
- JP
- Japan
- Prior art keywords
- image
- head
- dimensional
- face surface
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
Claims (23)
- ビデオホンシステムにおいて人間の頭部の少なくとも一部分を含む画像を処理する方法であって、
パターン認識技術を用いて前記画像における前記頭部の向きを推定する段階と、
コンピュータビジョン技術を用いて前記人間の顔表面の3次元モデルを計算する段階と、
正面画像を供給するよう前記3次元顔表面モデルの向きを調整する段階と、
を有する方法。 - 前記計算段階は更に、横顔画像に対し、完全な3次元顔表面モデルを得るために対称顔仮定を使用する段階を有する請求項1記載の方法。
- 前記計算段階は更に、前記3次元顔表面モデルを得るために動作からの構築化技術を使用する段階を有する請求項1記載の方法。
- 前記推定段階は、分類技術を使用する請求項1記載の方法。
- 前記計算段階は、変形可能な3次元モデルを生成する請求項1記載の方法。
- 調整された向きを有する前記3次元顔表面モデルを、2次元空間にマッピングする段階を更に有する請求項1記載の方法。
- 前記調整された画像を、遠隔ユーザに伝送する段階を更に有する請求項1記載の方法。
- 前記調整された画像を、ローカルユーザに提示する段階を更に有する請求項1記載の方法。
- ビデオホンシステムにおいて使用するための画像プロセッサであって、
人間の頭部の少なくとも一部分を含む画像を格納するメモリと、
(i)パターン認識技術を用いて前記画像における前記頭部の向きを推定し、(ii)コンピュータビジョン技術を用いて前記人間の顔表面の3次元モデルを計算し、(iii)正面画像を供給するよう前記3次元顔表面モデルの向きを調整する頭部姿勢補正器と、
を有する画像プロセッサ。 - 前記頭部姿勢補正器は更に、横顔画像に対し、完全な3次元顔表面モデルを得るために対称顔仮定を使用するよう構成される請求項9記載の画像プロセッサ。
- 前記頭部姿勢補正器は更に、前記3次元顔表面モデルを得るために動作からの構築化技術を使用するよう構成される請求項9記載の画像プロセッサ。
- 前記頭部姿勢補正器は更に、前記頭部の向きを得るために、分類技術を使用するよう構成される請求項9記載の画像プロセッサ。
- 前記3次元顔表面モデルは、変形可能な3次元モデルである請求項9記載の画像プロセッサ。
- 前記頭部姿勢補正器は更に、調整された向きを有する前記3次元顔表面モデルを、2次元修正画像にマッピングするよう構成される請求項9記載の画像プロセッサ。
- 前記2次元修正画像は、遠隔ユーザに伝送される請求項14記載の画像プロセッサ。
- 前記2次元修正画像は、ローカルユーザに提示される請求項14記載の画像プロセッサ。
- 人間の頭部の少なくとも一部分を含む画像を格納するメモリと、
(i)パターン認識技術を用いて前記画像における前記頭部の向きを推定し、(ii)コンピュータビジョン技術を用いて前記人間の顔表面の3次元モデルを計算し、(iii)正面画像を供給するよう前記3次元顔表面モデルの向きを調整する頭部姿勢補正器と、
を有するビデオホンシステム。 - 前記頭部姿勢補正器は更に、横顔画像に対し、完全な3次元顔表面モデルを得るために対称顔仮定を使用するよう構成される請求項17記載のビデオホンシステム。
- 前記頭部姿勢補正器は更に、前記3次元顔表面モデルを得るために動作からの構築化技術を使用するよう構成される請求項17記載のビデオホンシステム。
- 前記頭部姿勢補正器は更に、前記頭部の向きを得るために、分類技術を使用するよう構成される請求項17記載のビデオホンシステム。
- 前記頭部姿勢補正器は更に、調整された向きを有する前記3次元顔表面モデルを、2次元修正画像にマッピングするよう構成される請求項17記載のビデオホンシステム。
- 前記2次元修正画像は、遠隔ユーザに伝送される請求項21記載のビデオホンシステム。
- 前記2次元修正画像は、ローカルユーザに提示される請求項21記載のビデオホンシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US43253902P | 2002-12-11 | 2002-12-11 | |
PCT/IB2003/005773 WO2004053795A2 (en) | 2002-12-11 | 2003-12-08 | Method and apparatus for correcting a head pose in a video phone image |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006510081A true JP2006510081A (ja) | 2006-03-23 |
JP4568607B2 JP4568607B2 (ja) | 2010-10-27 |
Family
ID=32507954
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004558270A Expired - Fee Related JP4568607B2 (ja) | 2002-12-11 | 2003-12-08 | ビデオホン画像における頭部姿勢を補正する方法、画像プロセッサ及びワイヤレスビデオホンシステム |
Country Status (8)
Country | Link |
---|---|
US (1) | US7778444B2 (ja) |
EP (1) | EP1573674A2 (ja) |
JP (1) | JP4568607B2 (ja) |
KR (1) | KR20050084263A (ja) |
CN (1) | CN100446038C (ja) |
AU (1) | AU2003286303A1 (ja) |
TW (1) | TW200502874A (ja) |
WO (1) | WO2004053795A2 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7961909B2 (en) | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
GB0426523D0 (en) * | 2004-12-02 | 2005-01-05 | British Telecomm | Video processing |
US7594169B2 (en) * | 2005-08-18 | 2009-09-22 | Adobe Systems Incorporated | Compressing, and extracting a value from, a page descriptor format file |
CN100389430C (zh) * | 2006-06-13 | 2008-05-21 | 北京中星微电子有限公司 | 基于aam的头部姿态实时估算方法及系统 |
CN101874404B (zh) * | 2007-09-24 | 2013-09-18 | 高通股份有限公司 | 用于语音和视频通信的增强接口 |
KR101620502B1 (ko) * | 2010-01-04 | 2016-05-23 | 엘지전자 주식회사 | 디스플레이 장치 및 그 제어방법 |
BE1019551A3 (nl) * | 2010-10-25 | 2012-08-07 | Mastervoice In Het Kort Mtv Nv | Gebruik van een video-conferentiesysteem. |
US8525866B2 (en) * | 2010-12-10 | 2013-09-03 | Mitel Networks Corporation | Method and system for audio-video communications |
WO2012168069A1 (en) | 2011-06-10 | 2012-12-13 | International Business Machines Corporation | Adapted digital device and adapter for a digital device |
KR101868597B1 (ko) | 2011-09-20 | 2018-06-19 | 삼성전자 주식회사 | 올바른 기기사용자세 유도 장치 및 방법 |
US9684953B2 (en) | 2012-02-27 | 2017-06-20 | Eth Zurich | Method and system for image processing in video conferencing |
EP2639674B1 (en) * | 2012-03-12 | 2016-06-01 | Alcatel Lucent | Method for control of a video interface, face orientation detector, and video conferencing server |
US9563886B1 (en) * | 2012-04-24 | 2017-02-07 | Ecr Software Corporation | Systems and methods for an improved self-checkout with speed tender transaction options |
JP2013235562A (ja) * | 2012-05-04 | 2013-11-21 | Commonwealth Scientific & Industrial Research Organization | ビデオにおける眼位のためのシステムおよび方法 |
EP2755164A3 (en) * | 2013-01-09 | 2017-03-01 | Samsung Electronics Co., Ltd | Display apparatus and control method for adjusting the eyes of a photographed user |
DE102014110349A1 (de) * | 2013-08-09 | 2015-02-12 | Samsung Electronics Co., Ltd. | Hybride visuelle Kommunikation |
CN104537708B (zh) * | 2014-12-12 | 2017-05-17 | 北京师范大学 | 一种基于测地线的躺卧三维颅面模型的直立矫正方法 |
US9805252B2 (en) * | 2015-05-15 | 2017-10-31 | Toshiba Tec Kabushiki Kaisha | Video based facial recognition for customer verification at touchless checkout |
CN104917997B (zh) * | 2015-07-07 | 2018-06-15 | 山东耀智信息科技有限公司 | 视频通话装置及方法 |
CN106557730A (zh) * | 2015-09-30 | 2017-04-05 | 北京奇虎科技有限公司 | 视频通话过程中的人脸纠正方法及装置 |
US11577159B2 (en) | 2016-05-26 | 2023-02-14 | Electronic Scripting Products Inc. | Realistic virtual/augmented/mixed reality viewing and interactions |
CN106558037B (zh) * | 2016-11-18 | 2019-11-01 | 深圳开立生物医疗科技股份有限公司 | 超声三维图像的矫正方法及系统 |
KR101908851B1 (ko) | 2017-04-14 | 2018-10-17 | 한국 한의학 연구원 | 얼굴 자세 보정 장치 및 방법 |
CN112584079A (zh) * | 2019-09-30 | 2021-03-30 | 华为技术有限公司 | 视频通话人脸呈现方法、视频通话装置及汽车 |
US20230254437A1 (en) * | 2022-02-07 | 2023-08-10 | Samsung Electronics Co., Ltd. | Perspective de-skewing of electronic images |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0690445A (ja) * | 1992-09-09 | 1994-03-29 | Hitachi Ltd | 映像入出力装置 |
JPH10320588A (ja) * | 1997-01-07 | 1998-12-04 | Toshiba Corp | 画像処理装置および画像処理方法 |
WO1999057900A1 (en) * | 1998-05-03 | 1999-11-11 | John Karl Myers | Videophone with enhanced user defined imaging system |
JP2001136500A (ja) * | 1999-11-05 | 2001-05-18 | Matsushita Electric Ind Co Ltd | 画像通信装置及び画像通信方法 |
US20020106114A1 (en) * | 2000-12-01 | 2002-08-08 | Jie Yan | System and method for face recognition using synthesized training images |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5512939A (en) * | 1994-04-06 | 1996-04-30 | At&T Corp. | Low bit rate audio-visual communication system having integrated perceptual speech and video coding |
SG91841A1 (en) * | 1999-11-03 | 2002-10-15 | Kent Ridge Digital Labs | Face direction estimation using a single gray-level image |
US6806898B1 (en) * | 2000-03-20 | 2004-10-19 | Microsoft Corp. | System and method for automatically adjusting gaze and head orientation for video conferencing |
EP1158801A3 (en) * | 2000-05-22 | 2006-09-13 | Matsushita Electric Industrial Co., Ltd. | Image communication terminal |
US6829384B2 (en) * | 2001-02-28 | 2004-12-07 | Carnegie Mellon University | Object finder for photographic images |
KR100438433B1 (ko) * | 2001-06-26 | 2004-07-03 | 삼성전자주식회사 | 피디에이 겸용 디지털 카메라 통신 휴대 장치 |
US20030222846A1 (en) * | 2002-05-31 | 2003-12-04 | Huy Nguyen | Multi-functional handheld device having moveable segments |
-
2003
- 2003-12-08 CN CNB200380105663XA patent/CN100446038C/zh not_active Expired - Fee Related
- 2003-12-08 KR KR1020057010673A patent/KR20050084263A/ko active IP Right Grant
- 2003-12-08 AU AU2003286303A patent/AU2003286303A1/en not_active Abandoned
- 2003-12-08 WO PCT/IB2003/005773 patent/WO2004053795A2/en active Application Filing
- 2003-12-08 US US10/538,204 patent/US7778444B2/en not_active Expired - Fee Related
- 2003-12-08 TW TW092134562A patent/TW200502874A/zh unknown
- 2003-12-08 JP JP2004558270A patent/JP4568607B2/ja not_active Expired - Fee Related
- 2003-12-08 EP EP03777046A patent/EP1573674A2/en not_active Ceased
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0690445A (ja) * | 1992-09-09 | 1994-03-29 | Hitachi Ltd | 映像入出力装置 |
JPH10320588A (ja) * | 1997-01-07 | 1998-12-04 | Toshiba Corp | 画像処理装置および画像処理方法 |
WO1999057900A1 (en) * | 1998-05-03 | 1999-11-11 | John Karl Myers | Videophone with enhanced user defined imaging system |
JP2001136500A (ja) * | 1999-11-05 | 2001-05-18 | Matsushita Electric Ind Co Ltd | 画像通信装置及び画像通信方法 |
US20020106114A1 (en) * | 2000-12-01 | 2002-08-08 | Jie Yan | System and method for face recognition using synthesized training images |
Also Published As
Publication number | Publication date |
---|---|
US20060017804A1 (en) | 2006-01-26 |
EP1573674A2 (en) | 2005-09-14 |
WO2004053795A3 (en) | 2005-06-16 |
KR20050084263A (ko) | 2005-08-26 |
JP4568607B2 (ja) | 2010-10-27 |
AU2003286303A1 (en) | 2004-06-30 |
CN100446038C (zh) | 2008-12-24 |
WO2004053795A2 (en) | 2004-06-24 |
CN1774726A (zh) | 2006-05-17 |
AU2003286303A8 (en) | 2004-06-30 |
TW200502874A (en) | 2005-01-16 |
US7778444B2 (en) | 2010-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4568607B2 (ja) | ビデオホン画像における頭部姿勢を補正する方法、画像プロセッサ及びワイヤレスビデオホンシステム | |
CN102104767B (zh) | 具有透视失真校正的脸部姿势改进 | |
JP5784226B2 (ja) | 画像モデルの構築のための方法および装置 | |
US20220070371A1 (en) | Merging webcam signals from multiple cameras | |
CN107911644A (zh) | 基于虚拟人脸表情进行视频通话的方法及装置 | |
JP6486377B2 (ja) | ビデオ送信 | |
US20090315974A1 (en) | Video conferencing device for a communications device and method of manufacturing and using the same | |
WO2001010121A1 (en) | Method and apparatus for enabling a videoconferencing participant to appear focused on camera to corresponding users | |
JP4144492B2 (ja) | 画像表示装置 | |
WO2011007489A1 (ja) | テレビ会議装置及び映像表示処理方法 | |
JP6946684B2 (ja) | 電子情報ボードシステム、画像処理装置、及びプログラム | |
CN112335264A (zh) | 用于呈现用于向用户回放的音频信号的装置和方法 | |
JP3488096B2 (ja) | 3次元共有仮想空間通信サービスにおける顔画像制御方法,3次元共有仮想空間通信用装置およびそのプログラム記録媒体 | |
JP2006331065A (ja) | 顔情報送信装置、顔情報送信方法及びそのプログラムを記録した記録媒体 | |
JP2014049797A (ja) | カメラ付き表示装置 | |
CN109788227B (zh) | 一种图像处理方法及其装置、设备和存储介质 | |
JP2003111041A (ja) | 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム | |
JP2003009108A (ja) | 画像通信システム、画像通信装置、および画像通信方法 | |
WO2020003695A1 (ja) | 情報処理装置及び情報処理方法、並びに情報処理システム | |
KR102171332B1 (ko) | 얼굴 영상 보정 장치, 방법 및 컴퓨터 프로그램이 기록된 기록매체 | |
US20200186729A1 (en) | Image processing apparatus, image processing method, program, and remote communication system | |
JP4586447B2 (ja) | 画像処理装置及び方法、プログラム | |
WO2021095537A1 (ja) | 情報処理装置、情報処理方法、並びにプログラム | |
JP7286838B2 (ja) | 携帯情報端末 | |
JP2023099729A (ja) | 携帯情報端末 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090421 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090818 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20091117 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20091125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091222 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100525 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100608 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100713 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100809 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130813 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |