JP2020160341A - Video output system - Google Patents
Video output system Download PDFInfo
- Publication number
- JP2020160341A JP2020160341A JP2019061491A JP2019061491A JP2020160341A JP 2020160341 A JP2020160341 A JP 2020160341A JP 2019061491 A JP2019061491 A JP 2019061491A JP 2019061491 A JP2019061491 A JP 2019061491A JP 2020160341 A JP2020160341 A JP 2020160341A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- deceased
- moving image
- unit
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000006243 chemical reaction Methods 0.000 claims abstract description 26
- 230000000193 eyeblink Effects 0.000 claims abstract 2
- 238000000034 method Methods 0.000 claims description 44
- 230000008569 process Effects 0.000 claims description 39
- 230000008921 facial expression Effects 0.000 claims description 12
- 230000033001 locomotion Effects 0.000 claims description 12
- 238000004148 unit process Methods 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 6
- 230000014509 gene expression Effects 0.000 abstract description 4
- 230000003068 static effect Effects 0.000 abstract 1
- 238000000605 extraction Methods 0.000 description 37
- 230000004044 response Effects 0.000 description 29
- 210000000214 mouth Anatomy 0.000 description 20
- 230000006870 function Effects 0.000 description 18
- 239000004973 liquid crystal related substance Substances 0.000 description 15
- 230000015572 biosynthetic process Effects 0.000 description 13
- 238000003786 synthesis reaction Methods 0.000 description 13
- 239000000284 extract Substances 0.000 description 12
- 230000009471 action Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000002269 spontaneous effect Effects 0.000 description 6
- 230000004397 blinking Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 210000004709 eyebrow Anatomy 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 210000001260 vocal cord Anatomy 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 240000002853 Nelumbo nucifera Species 0.000 description 1
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 1
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、動画出力システムに関する。 The present invention relates to a moving image output system.
身近な人物であれば実際にコミュニケーションをとることが可能である一方、故人や有名人等が対象である場合、実際のコミュニケーションをとることは難しい。例えば下記の特許文献1には、故人や有名人など実際のコミュニケーションが困難な対象人物に関する情報をホームページサーバに登録しておき、人物毎のホームページの閲覧により対象人物に関する情報をインターネット上で閲覧可能とする技術的思想が記載されている。
While it is possible to actually communicate with a person close to you, it is difficult to actually communicate with a deceased person or a celebrity. For example, in
しかしながら、例えば対象人物が故人であれば生前に得た情報しか入手できず、有名人であれば一般に公開されている写真などの汎用的な情報以外は入手が難しいため、ホームページで閲覧可能な情報が限られた情報のみとなり、対象人物を身近に感じることが難しいという問題がある。 However, for example, if the target person is a deceased person, only the information obtained during his lifetime can be obtained, and if it is a celebrity, it is difficult to obtain information other than general-purpose information such as photographs that are open to the public. There is a problem that it is difficult to feel close to the target person because only limited information is available.
本案は上記事情に鑑み、情報入手が難しい人物であっても、見る側がより身近に感じられるように表現できる動画出力システムを提供することを目的とするものである。 In view of the above circumstances, the purpose of this proposal is to provide a moving image output system that can express a person whose information is difficult to obtain so that the viewer can feel closer to him / her.
本発明の動画出力システムは、集音マイクを介して入力された音声を加工し、声色及び話し方の少なくともいずれかが異なる音声に変換して出力可能である。さらに、この動画出力システムは、人の顔が撮像された静止画を元にして音声に同期した動画を生成し、音声と共に動画を出力可能である。 The moving image output system of the present invention can process a voice input via a sound collecting microphone, convert it into a voice having at least one of a different voice color and speaking style, and output it. Further, this moving image output system can generate a moving image synchronized with the sound based on a still image of a human face, and output the moving image together with the sound.
本発明の動画出力システムによれば、入力する音声次第で、多様な意味内容の音声を出力可能である。したがって、この動画出力システムによれば、限られた情報しか入手できない人物であっても、多様な情報を含む音声を動画と共に出力可能である。このように動画と共に音声を出力すれば、見る側にとって、その人物をより身近に感じられるようになる。 According to the moving image output system of the present invention, it is possible to output audio having various meanings depending on the input audio. Therefore, according to this moving image output system, even a person who can obtain only limited information can output audio including various information together with the moving image. By outputting the audio together with the video in this way, the viewer can feel the person closer.
このように本発明の動画出力システムは、情報入手が難しい人物であっても、見る側がより身近に感じられるように表現できる優れた特性の動画出力システムである。 As described above, the moving image output system of the present invention is a moving image output system having excellent characteristics that can be expressed so that the viewer can feel closer to the viewer even if the person has difficulty in obtaining information.
本発明の実施の形態につき、以下の実施例を用いて具体的に説明する。
(実施例1)
本例は、音声と共に動画を出力可能なデジタルポートレート1に関する例である。この内容について、図1〜図7を用いて説明する。
動画出力システムの一例をなすデジタルポートレート1は、音声付の動画による故人の遺影として利用される。デジタルポートレート1は、遺影の故人が参列者の問掛けに受け答えする高機能の出力装置として機能する。
Embodiments of the present invention will be specifically described with reference to the following examples.
(Example 1)
This example is an example relating to
デジタルポートレート1(図1)は、漆塗の黒色のフレーム1Fを有し、フレーム1Fの内側に液晶ディスプレイ21(図3参照。)の表示画面210が配置されている。デジタルポートレート1の背面側には、フレーム1Fよりもひと回り小さい筐体13が設けられ、電気的な構成の収容スペースが確保されている。
Digital portrait 1 (FIG. 1) has a lacquered
筐体13(図1及び図2)の外周では、内蔵スピーカ223が左右両側の側面に設けられているほか、電源スイッチ131や、外部端子132〜135などが配設されている。外部端子としては、スピーカ端子134や、マイク端子135や、USB端子133や、外部モニタ端子132などがある。また、フレーム1Fの前面には、内蔵カメラ221、内蔵マイク222が埋設されている。内蔵マイク222は、例えば葬儀の参列者等が個人に問掛ける音声を取得するための集音マイクである。内蔵カメラ221は、故人に向かって問掛ける参列者を撮像するための撮像カメラである。
On the outer periphery of the housing 13 (FIGS. 1 and 2), built-in
USB端子133には、USB規格のキーボードやマウスなどを接続可能である。キーボードやマウスを接続すれば、一般的なPCと同様にデジタルポートレート1を操作でき、各種の設定操作が可能である。設定操作の際には、黒塗りのフレーム1Fに囲まれた表示画面210をモニタとして利用することも可能である。さらに、USB端子133には、一般的なUSBメモリ等の外付メモリ39(図3)を装着可能である。USBメモリなどの記憶媒体を利用すれば、動画の元になる故人の静止画の画像データや、故人の音声データや、デジタルポートレート1の機能を高めるためのソフトウェアなどの転送が可能である。
A USB standard keyboard, mouse, or the like can be connected to the
マイク端子135には、外部マイク(集音マイク)31を接続可能である。外部マイク31を利用すれば、バックヤードに控えたオペレータ300が音声を入力可能である。マイク端子135を複数系統設けることも良い。この場合には、参列者が音声を入力するための外部マイクを接続できる。祭壇に飾られた遺影の間近に参列者が近づけない場合であっても、参列者用の外部マイクがあれば、問掛け音声を確実性高く入力できる。
An external microphone (sound collecting microphone) 31 can be connected to the
スピーカ端子134には、外部スピーカ32を接続可能である。例えば、参列者の問掛け音声に対応するオペレータ300が控えるバックヤードに外部スピーカ32を設置すると良い。問掛け音声を出力する外部スピーカ32を設定すれば、問掛け音声に対応するオペレータ300が控えるバックヤードの設置自由度が高くなる。
An
外部モニタ端子132には、汎用のPCモニタを接続可能である。例えば、オペレータ300が控えるバックヤードに外部モニタ33を設置し、内蔵カメラ221による参列者の撮像画像を表示することも良い。参列者を表示する外部モニタ33をバックヤードに設置すれば、オペレータ300が参列者の表情やしぐさを確認しながら、参列者の問掛けに対してより的確に対応できる。また例えば、デジタルポートレート1の設定操作を実施する際、例えばオペレータ300が作業する机上に、キーボード、マウス、外部モニタが揃っていれば、デジタルポートレート1の各種の設定操作や機能の切替操作などをバックヤードから実施できる。また、バックヤードに2台目の外部モニタを設置することも良い。参列者の問掛け音声に対する対応作業と並行して、デジタルポートレート1の設定操作等を実施できる。
A general-purpose PC monitor can be connected to the
なお、外部端子の機能は、全て、Bluetooth(登録商標)やワイヤレスディスプレイなど、無線技術によって代替可能である。無線技術によれば、設定操作や、問掛け音声に応答するオペレータ300が控えるバックヤードの設置自由度を格段に向上できる。オペレータ300が控えるバックヤードを遠隔地に設けることも可能である。例えばインターネットを利用すれば、遠隔地のオペレータ300が問掛け音声に対応可能である。
All the functions of the external terminals can be replaced by wireless technology such as Bluetooth (registered trademark) and wireless display. According to the wireless technology, it is possible to significantly improve the degree of freedom in setting the backyard, which is reserved by the
筐体13には、図3のごとく、動画生成部202や音声変換部204等としての機能を実現するメイン基板2や、液晶ディスプレイ21を制御する表示制御基板211や、ハードディスク(HD)24などの記憶装置や、内蔵スピーカ223や内蔵マイク222のアンプ基板22や、内蔵カメラ221、図示しない電源回路などが収容されている。
As shown in FIG. 3, the
メイン基板2は、各種の演算処理を実行するCPU(Central Processing Unit)20、ROM207やRAM208などの記憶素子や、入出力を制御するI/Oコントローラ209などが実装された電子基板である。デジタルポートレート1は、ディスプレイ一体型のPC(Personal Computer)と同様のハードウェア構成を備えている。デジタルポートレート1には、ウィンドウズ(登録商標)やLinux(登録商標)などの汎用OS(Operating System)を組込みしても良く、独自のOSを組込みしても良い。
The
ハードディスク24は、メイン基板2のCPU20が読み出し可能な記憶領域をなし、故人情報記憶部240としての機能を備えている。故人情報記憶部240は、故人の静止画及び音声データのほか、故人に関わる各種の情報を記憶するための記憶領域をなしている。
The
CPU20は、ハードディスク24に格納されたソフトウェアプログラムを実行することで、故人の3次元モデルを生成する故人モデル化部201、故人の動画を生成する動画生成部202、故人の声色情報(話者情報の一例)を抽出する話者情報抽出部203、オペレータの返答音声の声色を変換する音声変換部204、音声認識部205等としての各種の機能を実現する。
The
次に、(1)故人情報記憶部240、(2)故人モデル化部201、(3)動画生成部202、(4)話者情報抽出部203、(5)音声変換部204、(6)音声認識部205の各機能について説明する。
Next, (1) deceased
(1)故人情報記憶部(話者情報記憶部)
故人情報記憶部240は、例えば、故人に関わる以下の各情報を記憶している。
(1.1)故人の静止画:予め撮影された故人の静止画。
(1.2)故人の音声データ:予め録音された故人の音声データ。
(1.3)故人の声色情報:故人の声色を特定する声色情報。
(1.4)故人の3次元モデルデータ:故人の静止画に基づく3次元モデル(ワイヤフレームモデル)のデータ。
(1.5)故人の情報:故人の趣味や好物や交友関係や姻戚関係等の情報。故人と交友関係や姻戚関係を有する人物の顔画像や個人情報などを、故人の情報に含めることも良い。なお、故人の情報は、オペレータによる操作に応じて適宜、参照可能に構成しておくと良い。故人の情報があれば、オペレータが参列者の問掛けに対してより的確に対応できる。
(1) Deceased information storage unit (speaker information storage unit)
The deceased
(1.1) Still image of the deceased: A still image of the deceased taken in advance.
(1.2) Voice data of the deceased: Pre-recorded voice data of the deceased.
(1.3) Voice information of the deceased: Voice information that identifies the voice of the deceased.
(1.4) Three-dimensional model data of the deceased: Data of a three-dimensional model (wireframe model) based on a still image of the deceased.
(1.5) Information on the deceased: Information on the deceased's hobbies, favorite foods, friendships, and relatives. The information on the deceased may include facial images and personal information of persons who have a friendship or relative relationship with the deceased. It is preferable that the information of the deceased person can be referred to as appropriate according to the operation by the operator. With the information of the deceased, the operator can respond more accurately to the questions of the attendees.
(2)故人モデル化部
故人モデル化部201は、顔の特徴点を抽出する特徴点抽出部、3次元モデル生成部により構成されている。
(2.1)特徴点抽出部
特徴点抽出部は、故人の静止画の顔領域について、目、鼻、唇、眉などの特徴点FP(図4参照。)を抽出する特徴点抽出処理(画像処理の一例)を実行する。例えば目については、目頭、目尻、黒目、目の輪郭をなす点などが特徴点FPとして抽出される。例えば口については、口角、上唇の輪郭をなす点、下唇の輪郭をなす点などが特徴点FPとして抽出される。
(2.2)3次元モデル生成部
3次元モデル生成部は、故人の3次元モデルを生成する3次元モデル生成処理を実行する。画像処理の一例をなす3次元モデル生成処理は、標準的な顔(標準顔)の3次元的な形状を表すワイヤフレームモデルである標準3次元モデルを故人に適合するように変形させることで、故人の3次元モデルを生成する処理である。
(2) Deceased Modeling Unit The
(2.1) Feature point extraction unit The feature point extraction unit extracts feature point FPs (see FIG. 4) such as eyes, nose, lips, and eyebrows from the face area of the deceased still image (see FIG. 4). Execute an example of image processing). For example, for the eyes, the inner corners of the eyes, the outer corners of the eyes, the black eyes, the points forming the contour of the eyes, and the like are extracted as feature points FP. For example, for the mouth, corners of the mouth, points forming the contour of the upper lip, points forming the contour of the lower lip, and the like are extracted as feature points FP.
(2.2) 3D model generation unit The 3D model generation unit executes a 3D model generation process for generating a 3D model of the deceased. The 3D model generation process, which is an example of image processing, is to transform the standard 3D model, which is a wireframe model representing the 3D shape of a standard face (standard face), to fit the deceased. This is a process to generate a three-dimensional model of the deceased.
標準3次元モデルは、例えば、目、鼻、唇、眉などに対応する特徴点が、頂点あるいは交点として規定されたワイヤフレームモデルである。3次元モデル生成処理では、故人の静止画から抽出された特徴点と、標準3次元モデルの特徴点と、の対応付けが行われる。故人に係る特徴点の位置関係に合致するように標準3次元モデルを変形することで、故人の3次元モデルを生成できる。故人の3次元モデルをなすワイヤフレームモデルの各サーフェスには、静止画の対応領域の色やテクスチャーを割り付けると良い。 The standard three-dimensional model is a wire frame model in which feature points corresponding to eyes, nose, lips, eyebrows, etc. are defined as vertices or intersections, for example. In the 3D model generation process, the feature points extracted from the still image of the deceased and the feature points of the standard 3D model are associated with each other. A 3D model of the deceased can be generated by modifying the standard 3D model so as to match the positional relationship of the feature points related to the deceased. It is advisable to assign the color and texture of the corresponding area of the still image to each surface of the wireframe model that forms the three-dimensional model of the deceased.
(3)動画生成部
動画生成部202は、故人の3次元モデルを変形させて動きを生み出す動画生成処理を実行する。この動画生成処理では、3次元モデルをなすワイヤフレームモデルを局所的あるいは全体的に変形させる処理が行われる。例えば、瞼を閉じる動作を実現する際には、目を構成する特徴点などワイヤフレームモデルの頂点あるいは交点を変位させると良い。例えば、口を開く動作を実現する際には、口を構成する特徴点を変位させる処理が行われる。さらに例えば、頷く動作を実現する際には、故人の3次元モデルをなすワイヤフレームモデルの局所的な変形に代えて、軽く前回りさせるようにワイヤフレームモデル全体を回転変位させた後、すぐに元の位置に戻す処理が行われる。さらに、怒りの表情を故人に行わせる際には、眉や目尻を吊り上げるようなワイヤフレームモデルの変形処理が行われる。例えば故人の発話中では、目のまばたきや、口の開閉や、頷きなどを適宜組み合わせることで、故人の自然な発話動作を再現できる。
(3) Movie Generation Unit The
(4)話者情報抽出部
話者情報抽出部203は、予め録音された故人の音声データから声色情報を分離、抽出する話者情報抽出処理を実行する。音声データに信号処理を施すと、声帯の振動に由来する音源情報と、話者のあごの骨格や口腔形状等が反映された声色情報に分解できる。音源情報は、音の強弱や音程など、音源から発生する音の特性を表す情報である。声色情報は、音源から生じた音が伝達される経路の特性を表す情報である。声色情報は、声質を表す情報であり、声帯の振動が伝わる口腔の形状などが反映される情報である。話者情報抽出部203によって抽出された声色情報は、故人の声色の特徴を表す情報として、故人情報記憶部240としてのハードディスク24に保存される。
(4) Speaker Information Extraction Unit The speaker
(5)音声変換部
音声変換部204は、バックヤードに控えるオペレータの返答音声の声色を変換(加工)する音声変換処理を実行する。音声変換部204は、返答音声の音声データから音源情報を抽出する音源情報抽出部、音源情報に対して故人に係る声色情報を組み合わせる音声合成部、を含んで構成される。
(5.1)音源情報抽出部
音源情報抽出部は、外部マイク31を利用して入力されたオペレータの音声データ(返答音声)から音源情報を分離、抽出する音源情報抽出処理を実行する。この音源情報抽出部は、上記の話者情報抽出部203と構成が似通っている。音源情報抽出部は、音声データを音源情報と声色情報とに分解する点において、話者情報抽出部203と同様の技術的構成を備えている。話者情報抽出部203が声色情報を分離、抽出するのに対して、音源情報抽出部は、音源情報を分離、抽出する点が相違している。
(5.2)音声合成部
音声合成部は、音源情報抽出部によって抽出された音源情報に対して、故人に係る声色情報を組み合わせて新たな音声を生成する音声合成処理を実行する。音声合成部によって合成された音声データは、内蔵スピーカ223から出力される。
(5) Voice conversion unit The
(5.1) Sound Source Information Extraction Unit The sound source information extraction unit executes a sound source information extraction process that separates and extracts sound source information from the operator's voice data (response voice) input using the
(5.2) Voice synthesis unit The voice synthesis unit executes a voice synthesis process for generating a new voice by combining the voice color information related to the deceased with the sound source information extracted by the sound source information extraction unit. The voice data synthesized by the voice synthesis unit is output from the built-in
(6)音声認識部
音声認識部205は、参列者の問掛け音声及びオペレータの返答音声の意味内容を特定するための音声認識処理を実行する。本例の音声認識部205は、音声の意味内容を厳密に特定するものではなく、穏やかなものか、ユーモラスなものか、シリアスなものか、悲しみを含むものか、等を特定するものである。本例の音声認識処理では、例えば、音韻論で分析される最小の音韻的単位である音素の単位時間当たりの個数(発話速度)、音声の音程や、音声の音量、笑い声の有無、等によって、上記のような意味内容が特定される。
(6) Voice recognition unit The
以上のような構成のデジタルポートレート1は、例えば、故人の葬儀が執り行われる祭場において、祭壇の遺影とは別に、故人を偲ぶための遺影として活用される。デジタルポートレート1は、例えば、故人を偲ぶために設けられたスペースの壁面に取り付けられ、参列者は、デジタルポートレート1の故人との対話が可能である。デジタルポートレート1による音声は、バックヤードに控えるオペレータ300(図2参照。)の音声が故人の声色に変換されたものである。参列者にとっては、生前の故人と対話するように感じられ、故人を懐かしむことが可能である。
The
次に、このようなデジタルポートレート1の運用を可能とするための(a)準備作業、(b)運用について、順番に説明する。
(a)準備作業
デジタルポートレート1を運用する際には、故人の静止画及び音声データを予め、故人情報記憶部240としてのハードディスク24に保存しておく必要がある。例えば、故人の静止画及び音声データを保存したUSBメモリ等の外付メモリ39を利用すれば、静止画等のデータをデジタルポートレート1に容易に転送できる。なお、精度の高い声色情報を抽出するためには、故人の存命中に、所定パターンの会話文を音読させて記録しておくと良い。所定パターンの会話文には、声色情報を精度高く抽出可能な会話のパターンを設定すると良い。
Next, (a) preparatory work and (b) operation for enabling such operation of
(A) Preparatory work When operating the
さらに、故人情報記憶部240としてのハードディスク24には、上記の(1.5)故人の情報を保存しておくと良い。故人の情報は、参列者の問掛け音声にオペレータが返答する際の参考情報として有用である。なお、上記の通り、故人情報記憶部240に記憶させる故人に係る情報(静止画、音声データ、故人の情報)は、例えばUSBメモリを利用してデジタルポートレート1に転送可能である。USBメモリ等に代えて、フラッシュROMを内蔵するSDカードを利用することも良い。さらに、デジタルポートレート1がWiFi(登録商標)などの無線通信機能を備えていれば、別体のPC装置から無線でデータ転送することも良い。さらにデジタルポートレート1がWiFi(登録商標)等を介してインターネットに接続可能であれば、インターネットを介してデジタルポートレート1と接続可能な別体のPC装置あるいはサーバ装置からデータ転送することも良い。
Further, the
デジタルポートレート1を運用可能な状態に設定するためには、ハードディスク24に保存されたスタンバイプログラムによる所定のスタンバイ処理の実行が必要である。このスタンバイ処理は、上記の特徴点抽出処理、3次元モデル生成処理、及び話者情報抽出処理を含む処理である。スタンバイ処理の内容について図5及び図6を参照して説明する。
In order to set the
スタンバイ処理では、図5のごとく、メイン基板2のCPU20が、まず、故人情報記憶部240としてのハードディスク24から故人の静止画の画像データを読み込む(S101)。そして、故人の静止画について特徴点FPを抽出する特徴点抽出処理を実行する(S102、図4参照。)。
In the standby process, as shown in FIG. 5, the
メイン基板2のCPU20は、抽出された故人の特徴点FPによって標準3次元モデルを変形する処理を実行し、故人の3次元モデルを生成する(S103、3次元モデル生成処理)。CPU20は、故人情報記憶部240としてのハードディスク24に故人の3次元モデルを書き込む(S104)。これにより、デジタルポートレート1の運用中に、CPU20が故人の3次元モデルを利用可能になる。
The
さらにスタンバイ処理では、図6のごとく、メイン基板2のCPU20が、故人情報記憶部240としてのハードディスク24から故人の音声データを読み込む(S201)。そして、CPU20は、故人の音声データから声色情報を分離、抽出する話者情報抽出処理を実行する(S202)。CPU20は、故人情報記憶部240としてのハードディスク24に故人の声色情報を書き込む(S203)。これにより、デジタルポートレート1の運用中に、CPU20が故人の声色情報を利用可能になる。
Further, in the standby process, as shown in FIG. 6, the
(b)運用
デジタルポートレート1は、所定の運用プログラムの実行によって運用される。デジタルポートレート1の運用中では、故人の動画が表示画面210に表示され、対話も可能である。デジタルポートレート1の故人は、まばたきや、時折、頭を傾けたり、顔の向きを変えるといった動作を行う。特に、会話中の故人は、発話に合わせて口を開閉したり、話の内容に応じて軽く頷くといった様々な動作を行う。
(B)
デジタルポートレート1の故人に対面する参列者は、フレーム1Fに埋設された内蔵カメラ221によって撮像されてバックヤードの外部モニタ33に表示される。また、その参列者が故人に問掛けた音声は、フレーム1Fに埋設された内蔵マイク222によって電気信号に変換され、デジタルポートレート1を経由して、バックヤードの外部スピーカ32から出力される。
Attendees facing the deceased in
参列者に応対するオペレータが控えるバックヤードには、上記のごとく、外部スピーカ32のほかに、オペレータの音声を電気信号に変換する外部マイク31や、参列者の撮像画像を表示する外部モニタ33等が設置されている。オペレータは、外部モニタ33に表示された参列者を視認しながら、問掛け音声に対して適宜、返答できる。オペレータによる返答音声は、音声合成により故人の声色に変換されて内蔵スピーカ223から出力される。
As described above, in the backyard where the operator who responds to the attendees refrains, in addition to the
上記のようなデジタルポートレート1の動作の流れを、図7のフロー図を参照して説明する。メイン基板2のCPU20は、デジタルポートレート1の運用開始時に、まず、故人情報記憶部240としてのハードディスク24から故人の3次元モデル及び声色情報を読み込む(S301)。
The operation flow of the
続いてCPU20は、参列者の音声あるいはオペレータの音声の有無、すなわち音声の入力状態であるか否かを判断する(S302)。音声としては、参列者の問掛け音声、問掛け音声に対するオペレータの返答音声、オペレータの挨拶音声等がある。挨拶音声は、定型文の読み上げ音声などである。定型文としては、例えば「本日は、私の葬儀に御列席頂き、まことにありがとうございます。・・・・」等の挨拶文などがある。
Subsequently, the
いずれかの音声が有る場合には(S302:有)、CPU20は、その音声の音声データの取込を実行する(S303)。CPU20は、音声の発話元がオペレータであるか参列者であるかを判断する(S304)。バックヤードのオペレータが発話元であるとき、CPU20は、音声データに対して上記の音源情報抽出処理を適用して、オペレータの音声から音源情報を分離、抽出する(S304:YES→S305)。そして、CPU20は、オペレータの音声から抽出された音源情報に対して、故人の声色情報を組み合わせる音声合成を実行する(S306)。一方、音声の発話元がオペレータではなく参列者であったとき(S304:NO)、CPU20は、故人の声を音声合成によって再現するための上記のS305、S306の処理を迂回する。
When any of the voices is present (S302: Yes), the
CPU20は、音声の発話元がオペレータであるか参列者であるかに関わらず、上記のS303で取り込みした音声に対して音声認識処理を適用し、音声の意味内容を特定する(S307)。なお上記の通り、このときの音声認識は、音声の意味内容を厳密に特定するものではない。例えば、単位時間当たりの音素の数(発話速度)、音声の音程や、音声の音量、笑い声の有無、等によって、音声の意味内容が、穏やかか、ユーモラスか、シリアスか、悲しみを含むものか、等の意味内容を特定するのみである。
The
続いてCPU20は、デジタルポートレート1に表示された故人に動きを与えるために、上記のS301で読み込んだ故人の3次元モデルを適宜、変形させる処理を実行する(S308)。上記のごとく、3次元モデルの変形態様としては、目のまばたきや、口の開閉や、頷きや、顔の向きの変更や、顔の表情の変化などがある。
Subsequently, the
参列者の音声もオペレータの音声も入力されていない場合(S302:無)、故人の動作は、目のまばたき、辺りを見まわすような顔の向きの変更などが主体的になる。参列者の問掛け音声の入力中(S302:有→S304:NO)における故人の動作は、問掛け音声の時間的な間や区切り等に応じた頷き、問掛け音声の意味内容に応じた故人の表情変化などがある。また、オペレータの発話中(S302:有→・・・→S304:YES)における故人の動作は、返答音声の発話に応じた口の開閉や、返答音声の意味内容に応じた表情変化などがある。 When neither the attendee's voice nor the operator's voice is input (S302: None), the deceased's movements are mainly blinking eyes and changing the direction of the face to look around. The movement of the deceased while inputting the questioning voice of the attendees (S302: Yes → S304: NO) is a nod according to the time interval or division of the questioning voice, and the deceased according to the meaning and content of the questioning voice. There is a change in facial expression. In addition, the movement of the deceased during the operator's utterance (S302: Yes → ... → S304: YES) includes opening and closing of the mouth according to the utterance of the reply voice, and a facial expression change according to the meaning and content of the reply voice. ..
例えば、発話に合わせて口を開閉させる際には、例えば、返答音声を構成する音源データの強弱や音源情報の種別(母音か子音か等)に応じて口を開閉させるための変形処理を故人の3次元モデルに適用すると良い。変形処理は、3次元モデルをなすワイヤフレームモデルの頂点あるいは交点の一部または全部を変位させる処理である。例えば、口を開閉させる際には、CPU20は、口の輪郭を形成するワイヤフレームモデルの頂点あるいは交点を適宜、変位させることで、口の開閉動作を実現する。
For example, when opening and closing the mouth according to the utterance, for example, the deceased performs a transformation process for opening and closing the mouth according to the strength of the sound source data constituting the response voice and the type of sound source information (vowel or consonant, etc.). It is good to apply it to the 3D model of. The deformation process is a process of displacing a part or all of the vertices or intersections of the wireframe model forming the three-dimensional model. For example, when opening and closing the mouth, the
CPU20は、故人の3次元モデルを正面から見た2次元画像に随時、変換し、表示画面210の故人の画像を更新する。これにより、デジタルポートレート1に故人の動画を表示できる(S309)。オペレータが発話中のとき、CPU20は、故人の動画と同期して、上記のS306で音声合成した故人の音声を内蔵スピーカ223から出力する。故人の音声としては、参列者の問掛け音声に対する返答音声と、定型の挨拶文の読み上げ音声等がある。
The
以上のように構成されたデジタルポートレート1は、デジタル技術を利用して故人を動画で表示すると共に、故人との対話が可能な高機能の遺影である。このデジタルポートレート1を活用すれば、故人との対話を通じて故人を偲び懐かしむことができる。故人との対話中では、参列者からの問掛けに応じて故人が頷いたり、話の内容に応じて故人の表情が変わることもある。問掛ける側の参列者にとっては、自分の問掛けに応じて故人が反応を示すように感じられ、故人を身近に感じることができる。
The
さらに参列者は、故人に問掛けたとき、故人の声色で返答を受けることができる。さらに、デジタルポートレート1の故人は、返答する際に口を開閉させたり、返答の内容によって笑ったり怒ったり等、様々な表情を見せる。参列者にとっては、自分の問掛けに応じて故人が生前と同様、誠実に返答してくれるように感じられ、故人に対して親しみを感じることができる。
Furthermore, when asking the deceased, the attendees can receive a reply in the voice of the deceased. Furthermore, the deceased person of
なお、内蔵カメラ221による撮像画像に画像処理を施し、デジタルポートレート1の前を通り過ぎる参列者や、立ち止まる参列者を検出することも良い。通り過ぎる参列者を目で追うような動きをデジタルポートレート1の故人に行わせることも良く、前を通る参列者に対して会釈する動作を故人に行わせることも良い。
It is also possible to perform image processing on the image captured by the built-in
メイン基板2のCPU20の機能として、参列者を特定するための人物特定処理を実行する人物特定部としての機能を追加することも良い。この人物特定部は、例えば、内蔵カメラ221による参列者の撮像画像から顔領域を切り出し、故人に縁のある人物の顔画像等を故人の情報として記憶するハードディスク24の記憶領域を参照することで、参列者を特定する。参列者を特定したとき、メイン基板2のCPU20が、その参列者に関する情報をハードディスク24から読み出してオペレータに提示すると良い。提示方法としては、参列者の撮像画像を表示する外部モニタ33の表示画面の一部を占有する表示窓を設け、参列者に関する情報を表示することも良い。この場合には、バックヤードのオペレータは、参列者の様子を視認すると共に、参列者に関する情報を把握した上で、参列者の問掛けに対して適切に返答できる。参列者と故人との関係や参列者の情報等を把握していれば、問掛け音声に対してオペレータが的確に返答可能である。なお、オペレータの操作に応じて、表示窓の表示内容が外部モニタ33の表示画面に大きく表示されるように切り替えることも良い。参列者を特定できたとき、参列者に関する情報が有る旨をオペレータに報知する手段を設けることも良い。この場合、参列者の情報を求めるオペレータの切替操作に応じて、外部モニタ33の表示画面を参列者に関する情報の表示画面に切り替えると良い。
As a function of the
本例では、予め故人の音声データをハードディスク24等に保存しておき、スタンバイ処理の実行により故人の声色情報(話者情報の一例)を生成してハードディスク24に保存している。これに代えて、故人の音声データを取得したとき、直ちにその声色情報を分離、抽出しておくことも良い。そして、故人情報記憶部240としてのハードディスク24に、故人の声色情報を保存しておくことも良い。
In this example, the voice data of the deceased is stored in the
本例では、故人の存命中に所定パターンの会話文を音読させることで音声データを収集する例を説明している。これに代えて、生前の故人が撮影されたビデオ画像等の中から故人の音声データを切り出し、声色情報を抽出することも可能である。あるいは、兄弟や親子など声質の似た親族に所定パターンの会話文を音読させ、声色情報を抽出することも良い。近親者の場合、声質を左右する口腔形状や骨格の形状が似通っていることが多いため、故人の声色情報として利用できる可能性がある。 In this example, an example of collecting voice data by reading aloud a predetermined pattern of conversational sentences during the life of the deceased is described. Instead of this, it is also possible to cut out the voice data of the deceased from the video image or the like taken by the deceased before life and extract the voice color information. Alternatively, it is also possible to have relatives with similar voice qualities, such as siblings and parents and children, read aloud a predetermined pattern of conversational sentences to extract voice information. In the case of close relatives, the shape of the oral cavity and the shape of the skeleton, which affect the voice quality, are often similar, so it may be used as voice information for the deceased.
また、本例では、予め故人の静止画をハードディスク24等に保存しておき、スタンバイ処理の実行により、故人の3次元モデルを生成してハードディスク24に保存する例を説明している。これに代えて、静止画に基づく故人の3次元モデルを予め生成しておき、ハードディスク24に保存しておくことも良い。
Further, in this example, an example is described in which a still image of the deceased is stored in the
本例では、参列者による問掛け音声に対してオペレータが考えて返答する構成を例示している。さらに、オペレータを補助する機能として、参列者の撮像画像を外部モニタ33に表示する機能や、参列者に関する情報や、故人の情報などのテキスト表示を外部モニタ33に表示する機能等を例示している。これに代えて、メイン基板2のCPU20が返答テキストを生成し、外部モニタ33にテキスト表示する構成を採用しても良い。メイン基板2のCPU20が返答のテキストを生成するための構成としては、例えば、問掛け音声の意味内容を音声認識によって特定し、その認識結果に応じて返答例を生成する構成がある。このときの音声認識により特定する意味内容としては、問掛け音声に対する対話が可能なレベルであると良い。対話可能なレベルまで問掛け音声の意味内容を特定できた場合、メイン基板2のCPU20が、ハードディスク24に保存された故人の情報の中から、問掛け音声の意味内容に対応する情報を選択的に取得できる。問掛け音声の意味内容に対応する故人の情報を取得できれば、その情報を反映させた返答例のテキストを生成できる。なお、問掛け音声の意味内容の特定(音声認識)、故人の情報の選択的な取得、故人の情報に基づく返答例のテキスト生成、などの各処理については、例えば機械学習を利用する人工知能的なアプローチを適用できる。人工知能の技術を活用すれば、これらの処理を効率的、かつ精度高く実行できる。
In this example, the configuration in which the operator thinks and responds to the question voice by the attendee is illustrated. Further, as a function of assisting the operator, a function of displaying a captured image of an attendee on an
故人の音声データから音声合成に必要な音素を切り出し、故人の音素データとしてハードディスク24に保存しておくことも良い。この場合には、故人の音素データに基づく音声合成により、予め用意された挨拶文等のテキストや、メイン基板2のCPU20が生成した返答のテキスト等を、故人の声色で読み上げできる。オペレータが返答テキストを打ち込み、CPU20がそのテキストを音声合成する態様を採用することも良い。
It is also possible to cut out the phonemes necessary for voice synthesis from the voice data of the deceased and save them on the
なお、本例では、参列者の問掛け音声に対して故人が返答するデジタルポートレート1を例示しているが、デジタルポートレート1の故人が返答せず、微笑むだけといったように音声出力しないようにしても良いし、あるいは定型の挨拶を行うだけの態様であっても良い。故人が微笑む表情を行う動作は、周囲の音に反応して実行しても良く、一定時間毎に実行しても良く、前を通過する人の検出を契機として実行しても良く、参列者の問掛け音声の入力を契機として実行しても良い。
In this example, the
本例は、デジタルポートレート1を遺影として利用する例である。動画出力システム1Sの一例であるデジタルポートレート1は、遺影のほか、芸能人や文化人などの有名人のポートレートや、会社や店の経営者のポートレートや、デパートや会社の受付嬢のポートレート等として幅広く活用できる。例えば、会社等の受付嬢のポートレートとして活用する場合であれば、インターネットを利用してバックヤードを遠隔地に設け、一人のオペレータが複数の会社の受付業務を兼業することも可能である。
This example is an example of using
本例では、音声に合わせた動画を生成する構成を例示したが、例えば笑った表情や悲しい表情等の表情のパターンを指定することで、その指定された表情のパターンにて動画生成しても良く、この場合、音声に合わせて指定された表情での動画としても良い。
また、本例では、例えば遺影への適用において、遺影となる1枚の静止画に基づいて動画を生成する構成を例示している。この場合、遺影となる静止画としては、故人に対する親しみを感じられるよう、亡くなるよりも少し前の故人の撮像画像が選ばれることが多い。亡くなるよりも少し前の故人の静止画に基づく動画生成に加えて、例えば、故人の10代の頃の静止画や、20代の頃の静止画や、30代の頃の静止画などに基づき、若い年代の頃の故人の動画を生成することも良い。この場合には、遺影だけでなく故人の人生を年代別に顧みたり、思い出深い年代における故人を偲んだりすることが可能となる。このような運用は、遺影だけでなく、上述した有名人のような他のポートレートを対象とした運用においても有用である。
In this example, a configuration for generating a moving image according to the voice is illustrated, but for example, by specifying a facial expression pattern such as a laughing expression or a sad expression, the moving image can be generated with the specified facial expression pattern. Well, in this case, it may be a moving image with a facial expression specified according to the sound.
Further, in this example, for example, in application to an iei, a configuration in which a moving image is generated based on one still image that becomes an iei is illustrated. In this case, as the still image to be the deceased, a captured image of the deceased a little before the death is often selected so that the deceased can feel familiarity. In addition to video generation based on the deceased's still image shortly before his death, for example, based on the deceased's teenage still image, 20's still image, 30's still image, etc. It is also good to generate a video of the deceased when he was young. In this case, it is possible to look back not only on the deceased but also on the life of the deceased by age group, and to remember the deceased in a memorable age. Such an operation is useful not only for the ghost but also for other portraits such as the celebrity mentioned above.
(実施例2)
本例は、実施例1のデジタルポートレートに基づいて、故人の話し方を話者情報に含めた例である。本例の構成のうち、故人の音声データから話者情報を抽出する話者情報抽出部、及びオペレータの音声を変換する音声変換部の構成が実施例1とは相違している。本例の内容について、図8及び図9を参照して説明する。図8は、話者情報抽出部による処理の流れを示すフロー図である。図9は、音声変換部による処理の流れを示すフロー図である。
(Example 2)
This example is an example in which the speaking style of the deceased is included in the speaker information based on the digital portrait of Example 1. Among the configurations of this example, the configurations of the speaker information extraction unit that extracts speaker information from the voice data of the deceased and the voice conversion unit that converts the operator's voice are different from those of the first embodiment. The contents of this example will be described with reference to FIGS. 8 and 9. FIG. 8 is a flow chart showing a processing flow by the speaker information extraction unit. FIG. 9 is a flow chart showing a processing flow by the voice conversion unit.
実施例1では、故人の話者情報として、故人の声色を特定可能な声色情報を例示している。これに対して、本例は、声色情報に加えて、故人の話し方を特定可能な話し方情報を話者情報に含める構成例である。本例の話し方情報は、標準語を含めて秋田弁や熊本弁や名古屋弁などの話し方の種別情報である。 In the first embodiment, voice information that can identify the voice of the deceased is illustrated as the speaker information of the deceased. On the other hand, this example is a configuration example in which, in addition to the voice information, the speaker information includes the speech information that can identify the speech of the deceased. The speaking style information in this example is the type information of speaking styles such as Akita dialect, Kumamoto dialect, and Nagoya dialect, including standard language.
次に、図8を参照して話者情報抽出部が話者情報を抽出する手順を説明する。話者情報抽出部は、まず、所定パターンの会話文の音読による故人の音声データを読み込む(S401)。そして、故人の音声データに話者情報抽出処理を適用することで、声色情報、話し方情報を抽出する(S402)。 Next, a procedure for the speaker information extraction unit to extract speaker information will be described with reference to FIG. The speaker information extraction unit first reads the voice data of the deceased by reading aloud a conversational sentence having a predetermined pattern (S401). Then, by applying the speaker information extraction process to the voice data of the deceased, the voice color information and the speaking style information are extracted (S402).
話者情報抽出部は、音声データを音素に分解して音声認識処理を施すことで、音声をテキスト化する。そして、特定の単語をなす音素列や、特定の文節をなす音素列を切り出し、そのイントネーションから方言の種別を特定する。例えば、地名である「なごや」に対応する音素列について、1文字目の「な」にアクセントがあったり、「あんたぁなにいっとるの」の音素列のなかで3文字目の「た」と最後から3文字目の「と」にアクセントがある等の音声データについては、名古屋弁に分類できる。 The speaker information extraction unit decomposes the voice data into phonemes and performs voice recognition processing to convert the voice into text. Then, the phoneme sequence forming a specific word or the phoneme sequence forming a specific phrase is cut out, and the type of dialect is specified from the intonation. For example, regarding the phoneme string corresponding to the place name "Nagoya", the first letter "na" has an accent, or the third letter "ta" in the phoneme string of "You are what you want". Voice data such as the accent on the third character "to" from the end can be classified as Nagoya dialect.
話者情報抽出部は、実施例1と同様、声色情報及び話し方情報を、話者情報としてハードディスクに書き込む(S403)。例えば、名古屋弁に分類された音声データについては、声色情報に加えて、名古屋弁を表す話し方の種別情報を含む話者情報がハードディスクに保存される。 As in the first embodiment, the speaker information extraction unit writes the voice color information and the speaking style information to the hard disk as speaker information (S403). For example, for voice data classified into the Nagoya dialect, speaker information including voice type information representing the Nagoya dialect is stored in the hard disk in addition to the voice color information.
次に、図9を参照して本例の音声変換部が音声を変換する手順を説明する。音声変換部は、実施例1と同様、まず、オペレータの音声を取り込み(S501)、音源情報を分離、抽出する(S502)。そして、抽出された音源情報に対して、故人の声色情報を組み合わせる音声合成を実行すると共に(S503)、話し方の変換処理を実行する(S504)。 Next, a procedure in which the voice conversion unit of this example converts voice will be described with reference to FIG. Similar to the first embodiment, the voice conversion unit first captures the operator's voice (S501), separates and extracts the sound source information (S502). Then, with respect to the extracted sound source information, voice synthesis that combines the voice color information of the deceased is executed (S503), and the speaking style conversion process is executed (S504).
なお、S504の話し方の変換処理では、オペレータの音声を音素に分解して音声認識処理を施すことで、音声をテキスト化する。そして、特定の単語や特定の文節等が現れたとき、その単語に所定パターンのイントネーションを割り当てる。例えば、「あんた、なにいってるの」という文節に対しては、3文字目の「た」と、最後から3文字目の「て」にアクセントを付けると良い。さらに、「た」を「たぁ」と音を伸ばすと共に、「て」の発音を(te)から(to)に近づけるように変更すると、名古屋弁らしくなる。なお、イントネーションを変更する対象の上記の特定の単語あるいは文節は、話し方情報が表す話し方の種別(方言の種類)に応じて異なる。話し方の種別によって、特徴ある単語や文節が相違するからである。 In the speech conversion process of S504, the operator's voice is decomposed into phonemes and voice recognition processing is performed to convert the voice into text. Then, when a specific word, a specific phrase, or the like appears, a predetermined pattern of intonation is assigned to the word. For example, for the phrase "you, what are you talking about", it is advisable to add accents to the third letter "ta" and the third letter "te" from the end. Furthermore, if the sound of "ta" is extended to "ta" and the pronunciation of "te" is changed from (te) to (to), it becomes more like a Nagoya dialect. The above-mentioned specific word or phrase whose intonation is to be changed differs depending on the type of speech (type of dialect) represented by the speech information. This is because characteristic words and phrases differ depending on the type of speech.
本例のデジタルポートレート(動画出力システム)は、オペレータの音声の声色を変換すると共に話し方も変換する。このデジタルポートレートによれば、出力する音声を故人の音声により近づけることで、生前の故人の再現性を向上できる。 The digital portrait (video output system) of this example converts the voice color of the operator's voice as well as the speaking style. According to this digital portrait, the reproducibility of the deceased person in his lifetime can be improved by bringing the output sound closer to the sound of the deceased person.
なお、話者情報として、故人の話し方のうちの特徴あるイントネーションのパターンを音声データから抽出しておき、話者情報としてハードディスクに保存しておくことも良い。さらに、イントネーションのパターンには、テキストを対応付けておくと良い。音声変換部は、オペレータの音声を処理して得られたテキストを元にして、音声合成によりオペレータの音声を故人の音声に変換すると良い。テキストのうち、イントネーションのパターンに該当しない部分については、標準語に近いイントネーションを割り当てると良い。一方、イントネーションのパターンに係るテキストに該当する部分については、話者情報をなすイントネーションのパターンを割り当てると良い。
なお、その他の構成及び作用効果については実施例1と同様である。
It is also possible to extract a characteristic intonation pattern of the deceased's speaking style from the voice data as speaker information and save it on the hard disk as speaker information. Furthermore, it is advisable to associate text with the intonation pattern. The voice conversion unit may convert the operator's voice into the deceased's voice by voice synthesis based on the text obtained by processing the operator's voice. For the part of the text that does not correspond to the intonation pattern, it is advisable to assign an intonation close to the standard language. On the other hand, for the part corresponding to the text related to the intonation pattern, it is preferable to assign the intonation pattern that forms speaker information.
The other configurations and actions and effects are the same as in Example 1.
(実施例3)
本例は、実施例1のデジタルポートレート(動画出力システム)に基づいて、バックヤードのオペレータを必要としない構成例である。
本例の構成では、デジタルポートレートのハードディスクが、音声パターンを記憶する音声パターン記憶部としての機能を備えている。音声パターン記憶部としてのハードディスクには、故人が自発的に発話するパターン(自発パターン)や、問掛けに対する返答パターンなどの音声パターンが記録されている。デジタルポートレートは、音声パターンの音源情報に対して故人の声色情報を組み合わせる(加工)ことで、故人の音声を生成する。なお、音声パターンは、予め録音されたアナウンサーなどの音声でも良く、音声から分離、抽出された音源情報であっても良い。
(Example 3)
This example is a configuration example that does not require a backyard operator based on the digital portrait (video output system) of the first embodiment.
In the configuration of this example, the digital portrait hard disk has a function as a voice pattern storage unit for storing voice patterns. The hard disk as the voice pattern storage unit records voice patterns such as a pattern in which the deceased spontaneously speaks (spontaneous pattern) and a response pattern to a question. The digital portrait generates the voice of the deceased by combining (processing) the voice color information of the deceased with the sound source information of the voice pattern. The voice pattern may be a voice recorded in advance by an announcer or the like, or may be sound source information separated and extracted from the voice.
自発パターンとしては、例えば、「おはようございます。」、「ようこそお越し頂きました。」等の挨拶のパターンなどがある。自発パターンに基づく故人の音声は、所定の時刻になったときなどに出力しても良く、デジタルポートレートの前を誰かが横切ったときに出力しても良い。誰かが前を横切ったときの挨拶のパターンは、朝であれば「おはようございます。」、昼であれば「こんにちは。」等、時間帯に応じて変えると良い。デジタルポートレートは、選択された自発パターンの音源情報に対して、故人の声色情報を組み合わせることで故人の音声を生成し、出力する。 Spontaneous patterns include, for example, greeting patterns such as "Good morning" and "Welcome to you." The voice of the deceased based on the spontaneous pattern may be output when a predetermined time is reached, or when someone crosses in front of the digital portrait. Pattern of greeting when someone across the front, if the morning, "Good morning.", If it is daytime, "Hello.", Etc., may vary depending on the time zone. The digital portrait generates and outputs the voice of the deceased by combining the voice information of the deceased with the sound source information of the selected spontaneous pattern.
返答パターンとしては、参列者との間で想定される問答に対応するパターンが用意される。デジタルポートレートは、参列者の問掛け音声の意味内容を特定し(音声認識処理)、対応する返答パターンを選択する。そして、返答パターンの音源情報に対して故人の声色情報を組み合わせることで返答パターンの故人の返答音声を生成し、出力する。 As a response pattern, a pattern corresponding to a question and answer expected with attendees is prepared. The digital portrait identifies the meaning and content of the attendee's question voice (voice recognition processing) and selects the corresponding response pattern. Then, the response voice of the deceased in the response pattern is generated and output by combining the voice color information of the deceased with the sound source information of the response pattern.
本例のデジタルポートレートでは、オペレータが音声を入力しなくても、故人の声による発話、対話が可能である。
なお、自発パターンや返答パターンは、テキストであっても良い。故人の声色情報を利用し、故人の声色でテキストを読み上げることで故人の音声を生成できる。
自発パターンや返答パターンに係る故人の音声は、発話する際に音声合成等により生成しても良いが、各パターンを予め故人の音声に変換しておき、音声パターン記憶部としてのハードディスクに保存しておくことも良い。この場合には、各パターンが必要になったとき、ハードディスクから読み出して直ちに出力可能できる。故人の音声への変換処理は、デジタルポートレート本体で行っても良いが、別体のPC装置で変換した音声をデジタルポートレートに転送しても良い。音声の転送は、例えばUSBメモリなどの記録媒体を利用しても良く、WiFi(登録商標)等の無線通信を利用して転送しても良い。インターネットを経由して遠隔地のサーバ装置等から故人の音声をデジタルポートレートに転送しても良い。
なお、その他の構成及び作用効果については実施例1と同様である。
In the digital portrait of this example, it is possible to speak and interact with the voice of the deceased without the operator inputting voice.
The spontaneous pattern and the response pattern may be text. The voice of the deceased can be generated by reading the text in the voice of the deceased using the voice information of the deceased.
The voice of the deceased related to the spontaneous pattern and the response pattern may be generated by voice synthesis or the like when speaking, but each pattern is converted into the voice of the deceased in advance and saved in the hard disk as the voice pattern storage unit. It is also good to keep it. In this case, when each pattern is needed, it can be read from the hard disk and output immediately. The conversion process to the voice of the deceased may be performed by the digital portrait main body, but the voice converted by another PC device may be transferred to the digital portrait. The voice transfer may be performed using a recording medium such as a USB memory, or may be transferred using wireless communication such as WiFi (registered trademark). The voice of the deceased may be transferred to a digital portrait from a remote server device or the like via the Internet.
The other configurations and actions and effects are the same as in Example 1.
(実施例4)
本例は、実施例1に基づいて、別体のPC装置100にて生成された動画をデジタルポートレート1が表示するように構成された動画出力システム1Sの例である。本例の内容について、図10を参照して説明する。
本例のデジタルポートレート1は、業者が利用者に提供して運用されるレンタル機器である。デジタルポートレート1の利用者は、故人の静止画等を保存したUSBメモリ391等を一旦、業者に送るか引き渡すと、別体のPC装置100で生成された動画等が保存されたUSBメモリ391の返却を受けることができる。USBメモリ391を利用してやり取りする情報には、動画に加えて、音声を含めても良い。
(Example 4)
This example is an example of the moving
The
デジタルポートレート1を利用するに当たって、利用者は、デジタルポートレート1のUSB端子に、業者から返却されたUSBメモリ391を装着するだけで良い。USBメモリ391に保存された動画等は、出力装置としてのデジタルポートレート1のCPUによって自動的に読み出され、出力可能な状態になる。
In using the
業者が予め用意する動画としては、目のまばたきのパターン、口の開閉パターン、微笑みのパターン、頷きのパターンなど、各種の動作パターンがある。デジタルポートレート1は、問掛け音声や、故人が発話する音声等の内容や、周囲の状況に応じて、動作パターンを組み合わせることで、故人を動画で表示する。
There are various motion patterns such as blinking eyes, opening and closing of the mouth, smiling patterns, and nodding patterns as videos prepared in advance by the vendor. The
本例は、デジタルポートレート1と別体のPC装置100との組み合わせにより動画出力システム1Sを構成した例である。本例の構成では、故人の静止画から3次元モデルを生成する故人モデル化部、故人の動画を生成する動画生成部などの機能を、外部のPC装置100に持たせている。本例の動画出力システム1Sでは、デジタルポートレート1の処理負担を軽減でき、製品コストを低減できる。
This example is an example in which the moving
なお、本例の構成では、デジタルポートレート1、及び外部のPC装置100の双方が、データのやり取りを実現するための構成を備えている必要がある。USBメモリ391等の記録媒体を利用してデータをやり取りする場合であれば、双方がUSBメモリ等の記録媒体から直接的あるいは間接的にデータを読み取るための構成が必要である。
In the configuration of this example, both the
本例では、静止画や動画等のデータの記録媒体としてUSBメモリ391を例示しているが、記録媒体はUSBメモリ391に限定されず、SDカード、CD−Rなど様々な記録媒体を利用できる。
In this example, the
利用者から業者への静止画等のデータ供給、及び業者から利用者への動画等のデータ供給のうちの少なくともいずれか一方については、USBメモリ391等の記録媒体を利用する態様に代えて、インターネットを利用する通信による態様により実現することも良い。
For at least one of the data supply of still images and the like from the user to the trader and the data supply of the moving image and the like from the trader to the user, instead of using a recording medium such as a
デジタルポートレート1がWiFiあるいは有線LAN等の通信機能を備えており、インターネットに接続された状態であっても良い。この場合には、静止画あるいは音声のデータを保存するUSBメモリ391がUSB端子に装着されたとき、静止画等を自動的に読み出し、インターネット経由で業者が運用する専用サイトに静止画等のデータを送信すると良い。専用サイトにて、静止画に基づく動画等を生成して、送信元のデジタルポートレート1に返信するように構成すると良い。デジタルポートレート1では、専用サイトから受信した動画や音声を出力できる。この場合には、故人の静止画や故人の音声データを保存するUSBメモリ391をUSB端子に装着するだけで、デジタルポートレート1が故人の動画や音声を出力できるようになる。
The
なお、静止画に基づいて動画を生成するアプリケーションソフト、あるいはそのアプリケーションソフトがインストールされたPC装置を、販売、貸与等により利用者に提供することも良い。この場合には、デジタルポートレート1の利用者が、自分のPC装置あるいは提供を受けたPC装置を利用して動画等を生成できる。生成した動画は、デジタルポートレート1にて出力可能である。
It is also possible to provide the user with application software that generates a moving image based on a still image, or a PC device in which the application software is installed, by selling, renting, or the like. In this case, the user of
なお、本例では、各種の動画パターンを保存したUSBメモリ391を利用者に返却しているが、動画生成に必要な故人の3次元モデルを保存したUSBメモリを利用者に返却することも良い。この場合には、デジタルポートレート1側で3次元モデルを適宜、変形させる処理を実行することで、故人の動画を生成できる。
なお、その他の構成及び作用効果については実施例1と同様である。
In this example, the
The other configurations and actions and effects are the same as in Example 1.
(実施例5)
本例は、実施例1のデジタルポートレートに基づいて、インターネット101を介在してデジタルポートレート1を運用する動画出力システム1Sの例である。この内容について、図11を参照して説明する。
(Example 5)
This example is an example of a moving
本例の動画出力システム1Sでは、故人の動画や音声を出力する出力装置であるデジタルポートレート1と、動画や音声を生成するサーバ装置100と、が別の場所に設置され、両者がインターネット101を介して通信可能に接続されている。オペレータ300は、サーバ装置100と通信可能に接続されたPC装置(図示略)を利用して、参列者の問掛け音声に対する返答が可能である。
In the
なお、オペレータ300のPC装置は、サーバ装置100とは別の場所に設置することも良い。インターネット101を利用すれば、サーバ装置100とPC装置との間でのデータ通信が可能になる。オペレータ300のPC装置を省略し、サーバ装置100に外部マイク31や外部モニタ33や外部スピーカ32等を設けることも良い。
The PC device of the
動画出力システム1Sでは、デジタルポートレート1にサーバ装置100が管理する専用サイトが登録されている。デジタルポートレート1は、例えばUSBメモリ391等の記録媒体から故人の静止画や、故人の音声データや、故人の情報等を読み込むと、上記の専用サイトに自動的にアクセスするアクセス手段を備えている。サーバ装置100が管理する専用サイトへの自動アクセスに応じて、USBメモリ391等の記録媒体に保存された故人の静止画や、故人の音声データや、故人の情報等が、サーバ装置100にアップロードされる。
In the moving
また、参列者がデジタルポートレート1の故人に問い掛けると、その問掛け音声や、参列者の撮像画像等がサーバ装置100にアップロードされ、オペレータ300のPC装置に転送される。また、オペレータの音声は、サーバ装置100に送信され、故人の音声に変換された上でデジタルポートレート1に送信される。デジタルポートレート1は、このようにサーバ装置100から受信した音声や動画を出力する。本例の動画出力システム1Sにおけるデジタルポートレート1は、参列者の問掛け音声や撮像画像をアップロードし、インターネット101を介して受信する動画や故人の音声等を出力するのみの端末となる。
Further, when the attendee asks the deceased person of the
サーバ装置100は、故人情報記憶部、故人モデル化部、動画生成部、話者情報抽出部、音声変換部、音声認識部、としての機能を備えている。サーバ装置100は、参列者の問掛け音声の意味内容の特定、故人の3次元モデルの生成、故人の動画生成、オペレータの返答音声の変換等の処理を実行する。特に、故人の動画の生成に当たっては、音声の意味内容に応じた動作あるいは表情を実現できるように故人の動画を生成する。
The
本例の構成では、例えば、故人の静止画や音声や情報を保存したUSBメモリ391等の記録媒体をデジタルポートレート1に装着したとき、インターネット経由で故人の静止画等がサーバ装置に送信されると良い。この構成では、USB端子、USBメモリからデータを読み取るCPU等が、故人の静止画を取得するための静止画取得部を構成している。この静止画取得部によって取得された静止画等は、デジタルポートレート1の識別情報を対応付けて、動画生成部としてのサーバ装置100にアップロードすると良い。サーバ装置100側では、動画生成部が生成する動画に対して、元データである静止画に係る識別情報を対応付けると良い。出力装置であるデジタルポートレート1の識別情報が動画に対応付けされていれば、対応するデジタルポートレート1に確実に動画を送信できる。
In the configuration of this example, for example, when a recording medium such as a
なお、デジタルポートレート1から故人の静止画等が自動的あるい半自動的にサーバ装置100にアップロードされる構成に代えて、デジタルポートレート1の操作によりサーバ装置が管理する専用サイトにアクセスし、故人の静止画や音声をアップロードする構成を採用しても良い。故人の静止画等のアップロードの際、対応するデジタルポートレート1の識別情報を対応付けると良い。
なお、その他の構成及び作用効果については実施例1と同様である。
Instead of the configuration in which the still image of the deceased is automatically or semi-automatically uploaded from the
The other configurations and actions and effects are the same as in Example 1.
(実施例6)
本例は、実施例1を元にして、動画の生成方法を変更した構成例である。この内容について、図12を参照して説明する。
(Example 6)
This example is a configuration example in which the method of generating a moving image is changed based on the first embodiment. This content will be described with reference to FIG.
本例の動画出力システムをなすデジタルポートレートには、バックヤードのオペレータを撮像する外部カメラが接続されている。デジタルポートレートは、オペレータの撮像画像を利用して、故人の動画を生成する構成を備えている。 An external camera that captures the operator in the backyard is connected to the digital portrait that forms the video output system of this example. The digital portrait has a configuration in which a moving image of the deceased is generated by using an image captured by the operator.
本例のデジタルポートレートが動画を生成する動作について、図12のフロー図を参照して説明する。同図は、故人の3次元データを読み込み済みであることを前提とした処理の流れを説明するためのフロー図である。ここでは、デジタルポートレートが備えるメイン基板のCPU(図3中の符号20)を主体として処理の内容を説明する。
The operation of the digital portrait of this example to generate a moving image will be described with reference to the flow chart of FIG. The figure is a flow chart for explaining the flow of processing on the premise that the three-dimensional data of the deceased has been read. Here, the content of the processing will be described mainly by the CPU (
メイン基板のCPUは、バックヤードのオペレータの撮像画像を取り込み(S601)、撮像画像から顔領域の切り出しを実行する(S602)。そして、CPUは、オペレータの顔の特徴点を抽出し(S603)、故人の特徴点と、の対応付けを実行する(S604)。特徴点の対応付けは、例えば、オペレータの口元と故人の口元との対応付け、オペレータの目と故人の目との対応付け等、対応する部位の特徴点が対応付けられる。 The CPU of the main board captures the captured image of the operator in the backyard (S601) and cuts out the face region from the captured image (S602). Then, the CPU extracts the feature points of the operator's face (S603) and executes the association with the feature points of the deceased person (S604). The feature points of the corresponding parts are associated with each other, for example, the association between the operator's mouth and the deceased's mouth, the association between the operator's eyes and the deceased's eyes, and the like.
このような特徴点の対応付けがなされた状態で、CPUは、オペレータの撮像画像(動画)について、特徴点の動きを検出する(S605)。そしてCPUは、オペレータに係る各特徴点の動きの情報に基づき、故人に係る各特徴点に同様の動きが生じるように故人の3次元モデルを変形させる(S606)。そして、この3次元モデルに基づく動画を表示する(S607)。 In the state where the feature points are associated with each other, the CPU detects the movement of the feature points in the captured image (moving image) of the operator (S605). Then, the CPU deforms the three-dimensional model of the deceased so that the same movement occurs at each feature point related to the deceased based on the information of the movement of each feature point related to the operator (S606). Then, a moving image based on this three-dimensional model is displayed (S607).
本例の構成によれば、オペレータと同様の表情および動作を、デジタルポートレートの中の故人に行わせることが可能である。例えば、参列者との会話中にオペレータが微笑めば、デジタルポートレートの故人も微笑むことになる。また、例えば、参列者との会話中にオペレータが頷けば、デジタルポートレートの故人が同様に頷くことになる。
なお、その他の構成及び作用効果については実施例1と同様である。
According to the configuration of this example, it is possible to make the deceased person in the digital portrait perform the same facial expressions and movements as the operator. For example, if the operator smiles during a conversation with attendees, the deceased in Digital Portrait will also smile. Also, for example, if the operator nods during a conversation with the attendees, the deceased in the digital portrait will nod as well.
The other configurations and actions and effects are the same as in Example 1.
(実施例7)
本例は、実施例1のデジタルポートレートに基づいて、動画の立体表示を可能とした構成例である。この内容について、図13〜図16を参照して説明する。
本例は、故人を立体的に表示するための立体表示部5が組み込まれたデジタルポートレートの例である。
立体表示部5(図13)は、ハーフミラー50を利用して故人511を立体的に表示させるように構成されている。さらに、この立体表示部5では、立体的に表示された故人511と重ねて像531が表示される。
(Example 7)
This example is a configuration example that enables stereoscopic display of a moving image based on the digital portrait of Example 1. This content will be described with reference to FIGS. 13 to 16.
This example is an example of a digital portrait in which a three-
The three-dimensional display unit 5 (FIG. 13) is configured to display the deceased 511 three-dimensionally by using the
立体表示部5は、参列者等の観者に対面して配設される透明なガラスパネル500の内側に、ハーフミラー50が斜めに配設された空間を有している。この空間の底面には、ハーフミラー50に対して斜めに対面するように液晶ディスプレイ51が配設されている。観者の視線は、ハーフミラー50によって曲げられて液晶ディスプレイ51に向かう。
The three-
ハーフミラー50を介して観者と対面する空間の奥側の壁面53には、各種の像531が描かれている。本例では、仏様の背景に描かれることが多い蓮、鳥などの像531が壁面53に描かれている。観者は、ハーフミラー50を透して像531を見込むことが可能である。
本例の立体表示部5では、ガラスパネル500の内側を見込む観者の視線の一部がハーフミラー50によって曲げられ、空間の底面に沿うように配設された液晶ディスプレイ51の故人511に向かう。一方、観者の視線の一部は、ハーフミラー50を通過して壁面53に向かっている。このとき、ガラスパネル500に対面している観者の目には、故人の立体像511Aと像531とが重なって視認される(図14)。
In the
壁面53の奥行き方向の位置を調整することで、図14のように観者に視認される像に奥行感を持たせることも可能である。例えば、壁面53を奥側に移動させれば、像531に対して故人511が飛び出しているように観者に感じさせることができる。
空間の底面に配設される液晶ディスプレイ51に代えて、液晶プロジェクターと映像を映し出すスクリーンとの組み合わせを採用することもできる。この場合、液晶ディスプレイ51に代えてスクリーンを配置すると共に、スクリーンと対面する空間の天井に液晶プロジェクターを配設すれば良い。
By adjusting the position of the
Instead of the
本例では、壁面53として、像531を描いた壁面を例示しているが、これに代えて、液晶ディスプレイを壁面に設けることも良い。液晶ディスプレイを壁面に設ければ、故人の立体像511Aの背景の像の変更表示が可能である。
In this example, the
本例に代えて、図15の立体表示部5を採用しても良い。同図の立体表示部5では、ハーフミラー50の斜めの角度が変更されており、故人511を表示する液晶ディスプレイ51が空間の天井に沿って配設されている。また、観者と対面する壁面には、表示パネル53が配設されている。同図の表示パネル53は、光源となるLEDがちりばめて配置された光源パネルである。この表示パネル53では、一部または全部のLEDを選択的に点灯できる。
Instead of this example, the
さらに、図15の立体表示部5では、ハーフミラー50が配設された空間が奥行き方向に延長されている。この立体表示部5では、故人511の立体像511Aの背面側に光源となるLEDが位置している。それ故、この立体表示部5では、故人511の立体像511Aが、表示パネル53の手前側に結像する。
Further, in the
図15の立体表示部5では、観者が、背面側に光源であるLED538が位置する状態で、故人511の立体像511Aを視認できる(図16)。観者側から見て、立体像511Aよりも離れた位置で点灯するLED538は、立体像511Aに一層の奥行感を与えるという効果を生じさせる。例えば、図16のLED538を結ぶ多角形状の相似形を維持したまま、多角形状の大きさが次第に小さくなるように点灯状態のLEDを切り替えることも良い。この場合には、背景が遠ざかるのに相対して、立体像511Aが手前側にせり出すように観者に感じさせることができる。なお、LED538をちりばめた表示パネル53に代えて、液晶ディスプレイを採用することも良い。
なお、その他の構成及び作用効果については実施例1と同様である。
In the
The other configurations and actions and effects are the same as in Example 1.
(実施例8)
本例は、実施例7のデジタルポートレートに基づいて、故人の全身表示の動画を立体的に表示可能に構成した例である。この内容について、図17及び図18を参照して説明する。本例のデジタルポートレート1は、図17のように故人の全身表示が可能であるうえ、故人を立体的に表示可能である。
(Example 8)
This example is an example in which a moving image of the whole body of the deceased can be displayed three-dimensionally based on the digital portrait of Example 7. This content will be described with reference to FIGS. 17 and 18. The
デジタルポートレート1が備える立体表示部5の構造について、図17中のA−A矢視断面の構造を示す図18の断面図を参照して説明する。立体表示部5は、参列者等の観者に対面して配設される透明なガラスパネル500の内側に、ハーフミラー50が斜めに配設された空間を有している。この空間の側面には、ハーフミラー50に対して斜めに対面するように故人511の全身を動画表示する液晶ディスプレイ51が配設されている。
The structure of the three-
この立体表示部5によれば、ハーフミラー50の裏側に結像する立体像511Aを観者に視認させることができる。このデジタルポートレート1は、例えば、葬儀会場のエントランス等への設置に好適である。
According to the
本例に代えて、透明スクリーン52と、下方から斜め上方に向けて透明スクリーン52に像を投影するプロジェクタ521と、を備える図19のデジタルポートレート1を採用することも良い。このデジタルポートレート1では、透明スクリーン52に、故人の像521Aを結像できる。観者にとっては、故人の像521Aが空間に浮かぶ立体像として視認できる。
なお、その他の構成及び作用効果については実施例7と同様である。
Instead of this example, it is also possible to employ the
The other configurations and actions and effects are the same as in Example 7.
以上、実施例のごとく本発明の具体例を詳細に説明したが、これらの具体例は、特許請求の範囲に包含される技術の一例を開示しているにすぎない。言うまでもなく、具体例の構成や数値等によって、特許請求の範囲が限定的に解釈されるべきではない。特許請求の範囲は、公知技術や当業者の知識等を利用して前記具体例を多様に変形、変更あるいは適宜組み合わせた技術を包含している。 Although the specific examples of the present invention have been described in detail as in the examples, these specific examples merely disclose an example of the technology included in the claims. Needless to say, the scope of claims should not be construed in a limited manner depending on the composition and numerical values of specific examples. The scope of claims includes technologies that are variously modified, modified, or appropriately combined with the specific examples by utilizing known technologies, knowledge of those skilled in the art, and the like.
1 デジタルポートレート(出力装置)
1S 動画出力システム
13 筐体
133 USB端子
201 故人モデル化部
202 動画生成部
203 話者情報抽出部
204 音声変換部
205 音声認識部
21 液晶ディスプレイ
210 表示画面
221 内蔵カメラ
222 内蔵マイク
223 内蔵スピーカ
24 ハードディスク(HD)
240 故人情報記憶部
300 オペレータ
31 外部マイク(集音マイク)
32 外部スピーカ
33 外部モニタ
39 外付メモリ
391 USBメモリ
5 立体表示部
50 ハーフミラー
511A、521A 立体像
1 Digital portrait (output device)
1S
240 Deceased
32
本発明の動画出力システムは、集音マイクを介して入力された音声を加工し、声色及び話し方の少なくともいずれかが異なる音声に変換して出力可能である。さらに、この動画出力システムは、年代の異なる同一の人物の顔が撮像された複数の静止画を元にして、音声に同期して変化する同一人物の年代別の動画を生成する。この動画出力システムによれば、同一人物の年代別の動画を音声と共に出力可能である。 The moving image output system of the present invention can process a voice input via a sound collecting microphone, convert it into a voice having at least one of a different voice color and speaking style, and output it. Furthermore, the video output system, face different same person the ages based on a plurality of still image captured to generate the age of video of the same person which varies in synchronization with the audio. According to this video output system can output the age of video of the same person to the voice and co.
Claims (7)
音を電気信号に変換する集音マイクを介して入力された音声を加工し、声色及び話し方のうちの少なくともいずれかが異なる音声に変換する音声変換部と、
前記動画生成部により生成された動画、及び前記音声変換部により変換された音声を出力する出力装置と、を含み、
前記動画生成部は、前記出力装置によって出力する音声に同期して変化する動画を生成する動画出力システム。 A video that produces a video that includes at least one of facial expression changes, eye blinks, mouth movements, and face orientation changes by applying image processing to a still image of a human face. Generation part and
A voice conversion unit that processes voice input via a sound collecting microphone that converts sound into an electric signal and converts it into voice that has at least one of voice color and speaking style different.
Including a moving image generated by the moving image generation unit and an output device for outputting the sound converted by the audio conversion unit.
The moving image generation unit is a moving image output system that generates a moving image that changes in synchronization with the sound output by the output device.
前記音声変換部は、前記音声パターンに係る音声を加工し、
前記出力装置は、前記音声認識部が特定した問掛け音声の意味内容に対応すると共に加工された音声パターンに係る音声を出力するように構成されている請求項1〜3のいずれか1項に記載の動画出力システム。 It includes a voice pattern storage unit that stores in advance a voice pattern for realizing a dialogue with a question voice input via a sound collecting microphone, and a voice recognition unit that specifies the meaning and content of the question voice.
The voice conversion unit processes the voice related to the voice pattern and processes the voice.
The output device according to any one of claims 1 to 3, wherein the output device is configured to output a voice related to a processed voice pattern while corresponding to the meaning and content of the question voice specified by the voice recognition unit. Described video output system.
該静止画取得部により取得された静止画は、該静止画を元にした動画の出力先の出力装置の識別情報を対応付けて前記動画生成部に送信され、
該動画生成部により生成された動画は、元になった静止画に対応付けられた識別情報に係る出力装置に送信される請求項1〜4のいずれか1項に記載の動画出力システム。 The still image acquisition unit for acquiring the still image is included.
The still image acquired by the still image acquisition unit is transmitted to the moving image generation unit in association with the identification information of the output device of the output destination of the moving image based on the still image.
The moving image output system according to any one of claims 1 to 4, wherein the moving image generated by the moving image generating unit is transmitted to an output device relating to identification information associated with the original still image.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019061491A JP6656447B1 (en) | 2019-03-27 | 2019-03-27 | Video output system |
JP2020017514A JP6902127B2 (en) | 2019-03-27 | 2020-02-04 | Video output system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019061491A JP6656447B1 (en) | 2019-03-27 | 2019-03-27 | Video output system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020017514A Division JP6902127B2 (en) | 2019-03-27 | 2020-02-04 | Video output system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6656447B1 JP6656447B1 (en) | 2020-03-04 |
JP2020160341A true JP2020160341A (en) | 2020-10-01 |
Family
ID=69997862
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019061491A Expired - Fee Related JP6656447B1 (en) | 2019-03-27 | 2019-03-27 | Video output system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6656447B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022046731A (en) * | 2021-06-22 | 2022-03-23 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | Voice generation method, device, electronic apparatus, and storage medium |
JP2022107933A (en) * | 2021-01-12 | 2022-07-25 | 智久 末重 | dialogue system |
JP7432556B2 (en) | 2020-12-30 | 2024-02-16 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | Methods, devices, equipment and media for man-machine interaction |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111723898A (en) * | 2020-05-25 | 2020-09-29 | 成都时空穿梭智能科技有限公司 | Intelligent robot for simulating human |
CN111857343B (en) * | 2020-07-21 | 2024-04-19 | 心行者科技(杭州)有限责任公司 | System capable of realizing digital immortalization and interacting with user |
JP7024027B1 (en) | 2020-09-11 | 2022-02-22 | 株式会社セガトイズ | Video creation device, video creation system and video creation program |
CN112367526B (en) * | 2020-10-26 | 2022-03-25 | 联想(北京)有限公司 | Video generation method and device, electronic equipment and storage medium |
CN113035198B (en) * | 2021-02-26 | 2023-11-21 | 北京百度网讯科技有限公司 | Three-dimensional face lip movement control method, equipment and medium |
CN115700873A (en) * | 2022-07-01 | 2023-02-07 | 南京硅基智能科技有限公司 | Intelligent figure repeated engraving terminal |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09179576A (en) * | 1995-12-21 | 1997-07-11 | Toshiba Corp | Voice synthesizing method |
JPH11215248A (en) * | 1998-01-28 | 1999-08-06 | Uniden Corp | Communication system and its radio communication terminal |
JP2005051554A (en) * | 2003-07-29 | 2005-02-24 | Mitsubishi Electric Corp | Customer terminal and operator terminal in responding call center system |
JP2006053403A (en) * | 2004-08-12 | 2006-02-23 | Sony Corp | Stereoscopic image display apparatus, optical reflector and stereoscopic image display method |
JP2006268428A (en) * | 2005-03-24 | 2006-10-05 | Kenwood Corp | Information presenting device, information presentation method and information-presenting program |
JP2006323875A (en) * | 2006-08-25 | 2006-11-30 | Fujitsu Ltd | Character interface system |
JP2008085421A (en) * | 2006-09-26 | 2008-04-10 | Asahi Kasei Corp | Video telephone, calling method, program, voice quality conversion-image editing service providing system, and server |
JP2009038708A (en) * | 2007-08-03 | 2009-02-19 | Kddi Corp | System for managing information on deceased |
JP2010141447A (en) * | 2008-12-10 | 2010-06-24 | Casio Computer Co Ltd | Mobile information terminal with camera |
JP2010171573A (en) * | 2009-01-21 | 2010-08-05 | Epson Imaging Devices Corp | Three-dimensional image display-imaging device, communication system, and display device |
JP2016170309A (en) * | 2015-03-13 | 2016-09-23 | 株式会社東芝 | Electronic apparatus |
JP2019086858A (en) * | 2017-11-02 | 2019-06-06 | 株式会社UsideU | Customer service system and customer service method |
-
2019
- 2019-03-27 JP JP2019061491A patent/JP6656447B1/en not_active Expired - Fee Related
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09179576A (en) * | 1995-12-21 | 1997-07-11 | Toshiba Corp | Voice synthesizing method |
JPH11215248A (en) * | 1998-01-28 | 1999-08-06 | Uniden Corp | Communication system and its radio communication terminal |
JP2005051554A (en) * | 2003-07-29 | 2005-02-24 | Mitsubishi Electric Corp | Customer terminal and operator terminal in responding call center system |
JP2006053403A (en) * | 2004-08-12 | 2006-02-23 | Sony Corp | Stereoscopic image display apparatus, optical reflector and stereoscopic image display method |
JP2006268428A (en) * | 2005-03-24 | 2006-10-05 | Kenwood Corp | Information presenting device, information presentation method and information-presenting program |
JP2006323875A (en) * | 2006-08-25 | 2006-11-30 | Fujitsu Ltd | Character interface system |
JP2008085421A (en) * | 2006-09-26 | 2008-04-10 | Asahi Kasei Corp | Video telephone, calling method, program, voice quality conversion-image editing service providing system, and server |
JP2009038708A (en) * | 2007-08-03 | 2009-02-19 | Kddi Corp | System for managing information on deceased |
JP2010141447A (en) * | 2008-12-10 | 2010-06-24 | Casio Computer Co Ltd | Mobile information terminal with camera |
JP2010171573A (en) * | 2009-01-21 | 2010-08-05 | Epson Imaging Devices Corp | Three-dimensional image display-imaging device, communication system, and display device |
JP2016170309A (en) * | 2015-03-13 | 2016-09-23 | 株式会社東芝 | Electronic apparatus |
JP2019086858A (en) * | 2017-11-02 | 2019-06-06 | 株式会社UsideU | Customer service system and customer service method |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7432556B2 (en) | 2020-12-30 | 2024-02-16 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | Methods, devices, equipment and media for man-machine interaction |
JP2022107933A (en) * | 2021-01-12 | 2022-07-25 | 智久 末重 | dialogue system |
JP7339615B2 (en) | 2021-01-12 | 2023-09-06 | 智久 末重 | dialogue system |
JP2022046731A (en) * | 2021-06-22 | 2022-03-23 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | Voice generation method, device, electronic apparatus, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP6656447B1 (en) | 2020-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6656447B1 (en) | Video output system | |
WO2022048403A1 (en) | Virtual role-based multimodal interaction method, apparatus and system, storage medium, and terminal | |
US20200279553A1 (en) | Linguistic style matching agent | |
US7349852B2 (en) | System and method of providing conversational visual prosody for talking heads | |
US8131551B1 (en) | System and method of providing conversational visual prosody for talking heads | |
US20180203946A1 (en) | Computer generated emulation of a subject | |
JP6109901B2 (en) | Computer generated head | |
US20150042662A1 (en) | Synthetic audiovisual storyteller | |
KR20170034409A (en) | Method and apparatus to synthesize voice based on facial structures | |
CN102568023A (en) | Real-time animation for an expressive avatar | |
CN111145777A (en) | Virtual image display method and device, electronic equipment and storage medium | |
CN110162598B (en) | Data processing method and device for data processing | |
GB2510201A (en) | Animating a computer generated head based on information to be output by the head | |
CN110148406B (en) | Data processing method and device for data processing | |
KR20150076128A (en) | System and method on education supporting of pronunciation ussing 3 dimensional multimedia | |
KR20110081364A (en) | Method and system for providing a speech and expression of emotion in 3d charactor | |
JP6902127B2 (en) | Video output system | |
Nordstrand et al. | Measurements of articulatory variation in expressive speech for a set of Swedish vowels | |
CN111311713A (en) | Cartoon processing method, cartoon display device, cartoon terminal and cartoon storage medium | |
JP2017182261A (en) | Information processing apparatus, information processing method, and program | |
Verma et al. | Animating expressive faces across languages | |
Kolivand et al. | Realistic lip syncing for virtual character using common viseme set | |
CN110166844A (en) | A kind of data processing method and device, a kind of device for data processing | |
WO2023167212A1 (en) | Computer program, information processing method, and information processing device | |
Fanelli et al. | Acquisition of a 3d audio-visual corpus of affective speech |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190724 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190724 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190917 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6656447 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |