JP2006185329A - 画像合成装置 - Google Patents
画像合成装置 Download PDFInfo
- Publication number
- JP2006185329A JP2006185329A JP2004380415A JP2004380415A JP2006185329A JP 2006185329 A JP2006185329 A JP 2006185329A JP 2004380415 A JP2004380415 A JP 2004380415A JP 2004380415 A JP2004380415 A JP 2004380415A JP 2006185329 A JP2006185329 A JP 2006185329A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- feature data
- feature
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000203 mixture Substances 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 63
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 238000003860 storage Methods 0.000 claims abstract description 17
- 230000014509 gene expression Effects 0.000 claims abstract description 11
- 230000008921 facial expression Effects 0.000 claims description 56
- 239000002131 composite material Substances 0.000 claims description 14
- 230000002194 synthesizing effect Effects 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 3
- 230000005236 sound signal Effects 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 2
- 230000015572 biosynthetic process Effects 0.000 description 26
- 238000003786 synthesis reaction Methods 0.000 description 26
- 238000000034 method Methods 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
- G10L2021/105—Synthesis of the lips movements from speech, e.g. for talking heads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】画像処理装置10は、画像入力部10で取り込んだ被写体の像を画像データ24として表情特徴抽出部14に出力し、画像データ24に含まれる顔の表情を表す特徴データ26を抽出し、オブジェクト格納部20からオブジェクトデータ34を読み出し、追従処理部18で読み出したオブジェクトデータ34に対して特徴データ26に応じた追従処理を施し、追従処理した画像データ30を表情合成部16に供給し、表情合成部16で供給される画像データの一つ、たとえばキャラクタデータ28と画像データ30とを合成して出力する。
【選択図】図1
Description
12 画像入力部
14 表情特徴抽出部
16 表情合成部
18 追従処理部
20 オブジェクト格納部
Claims (6)
- 被写体を映像信号として取り込み、画像データにして出力する画像入力手段と、
前記画像データに含まれる顔の表情を表す特徴データを抽出する特徴抽出手段と、
供給される複数の画像データを合成して、合成画像を生成する画像合成手段と、
前記複数の画像データのうち、基本モデル画像としてのキャラクタデータを除く、付随的な対象である副次的な画像データとして格納するオブジェクト格納手段と、
前記特徴データに応じて前記副次的な画像に対して追従処理を施し、得られた副次的な画像データを出力する追従処理手段とを含み、
前記表情合成手段は、供給される副次的な画像データおよび前記キャラクタデータを基に前記キャラクタ合成画像を生成することを特徴とする画像合成装置。 - 請求項1に記載の装置において、前記特徴抽出手段は、正面の顔画像を基準とし、入力された顔画像における各部位の位置から顔の向きおよび移動量を解析することを特徴とする画像合成装置。
- 請求項1または2に記載の装置において、該装置は、前記画像データが示す顔画像が持つ表情を認識し、該認識に応じて表情特徴データを生成する表情認識手段と、
該表情特徴データおよび前記特徴データを合成して、合成特徴データを出力する特徴合成手段とを含み、
前記追従処理手段は、前記合成特徴データを基に前記副次的な画像データを生成することを特徴とする画像合成装置。 - 請求項1または2に記載の装置において、該装置は、周囲の音を音声信号として取り込み、音声データにして出力する音声入力手段と、
前記音声データを基に音声を認識し、該認識に応じて音声特徴データを生成する音声認識手段と、
該音声特徴データおよび前記特徴データを合成して、合成特徴データを出力する特徴合成手段とを含み、
前記追従処理手段は、前記合成特徴データを基に前記副次的な画像データを生成することを特徴とする画像合成装置。 - 請求項1または2に記載の装置において、該装置は、ユーザの操作により所定のイベントを入力する操作手段と、
該所定のイベントを認識し、該認識に応じてイベント特徴データを生成するイベント認識手段と、
該イベント特徴データおよび前記特徴データを合成して、合成特徴データを出力する特徴合成手段とを含み、
前記追従処理手段は、前記合成特徴データを基に前記副次的な画像データを生成することを特徴とする画像合成装置。 - 請求項1ないし5のいずれか一項に記載の装置において、前記画像合成手段は、前記特徴データに基づいて前記ユーザが選択したキャラクタデータを変形させて、キャラクタ合成画像を生成する表情合成手段を含むことを特徴とする画像合成装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004380415A JP3920889B2 (ja) | 2004-12-28 | 2004-12-28 | 画像合成装置 |
KR1020077014829A KR20070086774A (ko) | 2004-12-28 | 2005-12-22 | 화상 합성 장치 |
US11/793,602 US20080043039A1 (en) | 2004-12-28 | 2005-12-22 | Image Composer |
EP05819829A EP1833025A1 (en) | 2004-12-28 | 2005-12-22 | Image composition device |
PCT/JP2005/023567 WO2006070680A1 (ja) | 2004-12-28 | 2005-12-22 | 画像合成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004380415A JP3920889B2 (ja) | 2004-12-28 | 2004-12-28 | 画像合成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006185329A true JP2006185329A (ja) | 2006-07-13 |
JP3920889B2 JP3920889B2 (ja) | 2007-05-30 |
Family
ID=36614797
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004380415A Expired - Fee Related JP3920889B2 (ja) | 2004-12-28 | 2004-12-28 | 画像合成装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20080043039A1 (ja) |
EP (1) | EP1833025A1 (ja) |
JP (1) | JP3920889B2 (ja) |
KR (1) | KR20070086774A (ja) |
WO (1) | WO2006070680A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009211450A (ja) * | 2008-03-05 | 2009-09-17 | Seiko Epson Corp | 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム |
JP2011114744A (ja) * | 2009-11-30 | 2011-06-09 | Furyu Kk | 写真シール作成装置、写真シール作成方法、およびプログラム |
WO2011115119A1 (ja) * | 2010-03-16 | 2011-09-22 | 株式会社ニコン | 眼鏡販売システム、レンズ企業端末、フレーム企業端末、眼鏡販売方法、および眼鏡販売プログラム |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1574988B1 (en) * | 2004-03-08 | 2014-06-18 | Siemens Product Lifecycle Management Software Inc. | Determining and using geometric feature data |
TWI332639B (en) * | 2006-09-27 | 2010-11-01 | Compal Electronics Inc | Method for displaying expressional image |
KR100886489B1 (ko) * | 2007-11-19 | 2009-03-05 | (주)올라웍스 | 영상 통화 시 얼굴의 표정에 따라 꾸미기 효과를 합성하는방법 및 시스템 |
KR100974165B1 (ko) * | 2008-02-15 | 2010-08-04 | 한양대학교 산학협력단 | 비선형 회귀 분석을 이용한 얼굴 표정 합성 시스템 및 방법 |
KR100935482B1 (ko) * | 2008-03-27 | 2010-01-06 | 주식회사 제스틴 | 합성이미지 제공시스템 및 방법 |
KR100958595B1 (ko) * | 2008-06-03 | 2010-05-18 | 이현주 | 영상통신단말기의 영상 합성 장치 및 방법 |
CN109840485B (zh) * | 2019-01-23 | 2021-10-08 | 科大讯飞股份有限公司 | 一种微表情特征提取方法、装置、设备及可读存储介质 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6661906B1 (en) * | 1996-12-19 | 2003-12-09 | Omron Corporation | Image creating apparatus |
JP3713891B2 (ja) * | 1997-05-13 | 2005-11-09 | コニカミノルタビジネステクノロジーズ株式会社 | 情報処理装置および方法並びに情報処理プログラムを記録した記録媒体 |
KR100812903B1 (ko) * | 1998-05-19 | 2008-03-11 | 가부시키가이샤 소니 컴퓨터 엔터테인먼트 | 화상 처리 장치와 방법 및 프로그램 기록 매체 |
JP3810943B2 (ja) * | 1999-05-06 | 2006-08-16 | 株式会社東芝 | 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 |
US6583792B1 (en) * | 1999-11-09 | 2003-06-24 | Newag Digital, Llc | System and method for accurately displaying superimposed images |
KR20010056965A (ko) * | 1999-12-17 | 2001-07-04 | 박희완 | 부분 이미지 합성에 의한 인물 캐릭터 생성 방법 |
JP4291963B2 (ja) * | 2000-04-13 | 2009-07-08 | 富士フイルム株式会社 | 画像処理方法 |
JP2003283604A (ja) * | 2002-03-20 | 2003-10-03 | Oki Electric Ind Co Ltd | 表情伝送機能付情報端末装置 |
KR100523742B1 (ko) * | 2002-03-26 | 2005-10-26 | 김소운 | 3차원 안경 시뮬레이션 시스템 및 방법 |
US7053915B1 (en) * | 2002-07-30 | 2006-05-30 | Advanced Interfaces, Inc | Method and system for enhancing virtual stage experience |
JP2004094773A (ja) * | 2002-09-03 | 2004-03-25 | Nec Corp | 頭部装着物画像合成方法、化粧画像合成方法、頭部装着物画像合成装置、化粧画像合成装置及びプログラム |
US7619638B2 (en) * | 2002-11-06 | 2009-11-17 | Vista Print Technologies Limited | Custom composite image system and method |
EP1434170A3 (en) * | 2002-11-07 | 2006-04-05 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for adding ornaments to an image of a person |
JP4351023B2 (ja) * | 2002-11-07 | 2009-10-28 | パナソニック株式会社 | 画像処理方法及びその装置 |
JP2004199386A (ja) * | 2002-12-18 | 2004-07-15 | Oki Electric Ind Co Ltd | 顔画像合成装置および顔画像の瞬き検出方法 |
-
2004
- 2004-12-28 JP JP2004380415A patent/JP3920889B2/ja not_active Expired - Fee Related
-
2005
- 2005-12-22 KR KR1020077014829A patent/KR20070086774A/ko not_active Application Discontinuation
- 2005-12-22 EP EP05819829A patent/EP1833025A1/en not_active Withdrawn
- 2005-12-22 US US11/793,602 patent/US20080043039A1/en not_active Abandoned
- 2005-12-22 WO PCT/JP2005/023567 patent/WO2006070680A1/ja active Application Filing
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009211450A (ja) * | 2008-03-05 | 2009-09-17 | Seiko Epson Corp | 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム |
JP2011114744A (ja) * | 2009-11-30 | 2011-06-09 | Furyu Kk | 写真シール作成装置、写真シール作成方法、およびプログラム |
WO2011115119A1 (ja) * | 2010-03-16 | 2011-09-22 | 株式会社ニコン | 眼鏡販売システム、レンズ企業端末、フレーム企業端末、眼鏡販売方法、および眼鏡販売プログラム |
JP2011192189A (ja) * | 2010-03-16 | 2011-09-29 | Nikon Corp | 眼鏡販売システム、レンズ企業端末、フレーム企業端末、眼鏡販売方法、および眼鏡販売プログラム |
US10043207B2 (en) | 2010-03-16 | 2018-08-07 | Nikon Corporation | Glasses selling system, lens company terminal, frame company terminal, glasses selling method, and glasses selling program |
US11017453B2 (en) | 2010-03-16 | 2021-05-25 | Nikon Corporation | Glasses selling system, lens company terminal, frame company terminal, glasses selling method, and glasses selling program |
Also Published As
Publication number | Publication date |
---|---|
JP3920889B2 (ja) | 2007-05-30 |
KR20070086774A (ko) | 2007-08-27 |
WO2006070680A1 (ja) | 2006-07-06 |
US20080043039A1 (en) | 2008-02-21 |
EP1833025A1 (en) | 2007-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110941954B (zh) | 文本播报方法、装置、电子设备及存储介质 | |
WO2022048403A1 (zh) | 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端 | |
WO2006070680A1 (ja) | 画像合成装置 | |
JP6019108B2 (ja) | 文字に基づく映像生成 | |
US7663628B2 (en) | Apparatus and method for efficient animation of believable speaking 3D characters in real time | |
US20020024519A1 (en) | System and method for producing three-dimensional moving picture authoring tool supporting synthesis of motion, facial expression, lip synchronizing and lip synchronized voice of three-dimensional character | |
EP1269465B1 (en) | Character animation | |
JP6656447B1 (ja) | 動画出力システム | |
CN102568023A (zh) | 用于富于表情的化身的实时动画 | |
CN109949390B (zh) | 图像生成方法、动态表情图像生成方法及装置 | |
JP2014519082A5 (ja) | ||
KR102098734B1 (ko) | 대화 상대의 외형을 반영한 수어 영상 제공 방법, 장치 및 단말 | |
JP2009533786A (ja) | 自分でできるフォトリアリスティックなトーキングヘッド作成システム及び方法 | |
JP2002150317A (ja) | 映像表示装置 | |
CN115662388A (zh) | 虚拟形象面部驱动方法、装置、电子设备及介质 | |
CN114567693A (zh) | 视频生成方法、装置和电子设备 | |
KR20160010810A (ko) | 실음성 표출 가능한 실사형 캐릭터 생성 방법 및 생성 시스템 | |
JP4254400B2 (ja) | 画像生成装置およびその画像生成方法、ならびにコンピュータ読み取り可能な記録媒体 | |
JPH11149285A (ja) | 映像音響システム | |
US10139780B2 (en) | Motion communication system and method | |
CN110166844A (zh) | 一种数据处理方法和装置、一种用于数据处理的装置 | |
Nunes et al. | Talking avatar for web-based interfaces | |
CN117576608A (zh) | 一种基于语音驱动的可控相似关键帧虚拟人脸视频生成方法以及交互装置 | |
TWI311310B (ja) | ||
CN118250523A (zh) | 数字人视频生成方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060605 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070215 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110223 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110223 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120223 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130223 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |