CN1470039A - 视频信息产生设备 - Google Patents

Abstract

视频信息产生设备包括用于输入真实图象的3－D图象信息的输入设备，和处理来自输入设备的3－D图象信息的处理设备，处理设备具有存储真实图象3－D图象信息的功能，和使用图像处理技术向从存储功能读取的真实图象3－D图象信息提供运动以产生运动图象信息的功能。

Description

视频信息产生设备

技术领域

本发明涉及通过计算机图形技术产生运动图象的视频信息产生设备。

背景技术

通过计算机图形(CG)技术产生运动图象的视频信息产生设备在电影业和商业广告部门得到广泛应用。尤其在电影业，CG技术对于最先进电影而言不可或缺的时代已经到来，其中通过CG技术创造的动物担当主要角色，而人则变成机器人。

CG的技术要素包含产生三维物体(被称作建模)，通过在特定物体上投射光线(被称作渲染)得到三维物体的图片，和产生运动图象(被称作动画制作)。

建模包含各种细节技术，例如用于装饰三维物体的纹理贴图，和用于粘附动物毛发的毛发绘制。

建模工作将观察被渲染的三维物体并且校正任何非一致点。对于运动中的动物，确定骨架，并且通过固定接点和逐渐运动的可移动骨骼产生图象。存储所得到的图象以产生物体运动的屏幕。为了将复杂运动改变成自然的运动，用于测量接点位置的测量工具被运动中的人穿上，从而获得有关接点运动的数据(运动捕捉步骤)。

对于漫画，通过输入工作准备涉及运动图象信息的部分。CG的特征在于甚至可以表示实际不存在的世界。

以上是对CG技术的概括，有关CG技术的内容参见″FundamentalKnowledge of Computer Graphics″，Atsushi Shiokawa，Ohm出版。CG技术已经得到实际应用。

构成运动图象的部分包括可运动部分和非可运动背景部分。在用于产生运动图象的传统CG技术中，由操作人员人工使用计算机准备可运动部分和背景部分，以作为三维图象信息。考虑到需要逐个产生运动图象，这项任务需要高速计算机和大量的工作。

并且，对于真实物体(例如实际的人、动物、树、房屋、山脉、河流和日用品)，由于其三维图象信息仍然被处理成运动部分或背景部分，CG技术尚处于萌芽阶段。换言之，将真实物体处理成可自由运动部分的技术尚不成功。

因此，本发明的主要目的是提供一种视频信息产生设备，这种视频信息产生设备可以通过诸如廉价个人计算机的低速图象信息产生设备实现，以产生CG运动图象，尤其是将有关真实物体的三维图象信息处理成运动部分或背景部分，使得能够在降低节目生产成本的同时进一步拓展CG技术。

发明内容

(1)对于基于本发明的视频信息产生设备，通过引入以下功能可以实现如上所述的目的。在解释这些功能之前，先描述这里使用的术语。真实图象是不限类型的真实物体的图象。

运动图象可以被分成运动物体，非可运动(固定)物体和背景。非可运动固定物体可以被组合成背景。同时从多个方向拍照或成象而得到的构成真实部分的运动物体和背景的图象是真实图象三维图象信息，分别被称作运动部分和背景部分。通过诸如计算机图形技术的图像处理技术处理这些物体。

本发明的视频信息产生设备将输入设备用于构成真实部分的真实图象三维图象信息。例如，输入设备包含非接触式三维数字转换器和三维激光外形测量系统。

这些设备可以将真实部分(物体)的三维图象信息捕捉到诸如计算机的处理设备中。可选地，根据从真实部分的多个角度得到的摄影信息可以产生三维图象信息。

可以自动输入这种真实图象三维图象信息，因此可以节省工作量。在背景真实存在的情况下，从多个角度得到的摄影成象可以满足需要，从而降低了大型道具的生产成本和场所的成本。构成输入真实图象三维图象信息的处理设备的计算机通常是高速计算机。

并且，本发明的视频信息产生设备包括用于处理如上所述的输入设备所输入的真实图象三维图象信息的处理设备。

处理设备具有存储功能，和使用计算机图形技术将运动附加到从存储功能读取的真实图象三维图象信息上，以产生运动图象信息的功能。这种具有运动图象信息产生功能的处理设备从存储功能读取真实图象三维图象信息，并且使用诸如计算机图形技术的所需图像处理技术将期望运动附加到真实图象三维图象信息上，从而自动产生运动图象信息。

处理设备通过将真实图象处理成三维图象信息，可以计算和画出构成运动图象的多个屏幕。因此，不需要逐一画出屏幕，从而节省了大量工作。

这允许处理设备根据各个部分的三维图象信息自动产生各个角度的图象。其原因在于，虽然各个部分存在运动，然而可以根据相同三维图象信息产生由多个指示运动的屏幕构成的运动图象的所有图象。

如上所述，根据本发明，使用构成图像处理技术的计算机图形技术可以方便地自动产生真实物体或真人的运动图象。结果可以得到以下优点。

对于真人，以演员为例。一旦事先获得演员的真实图象三维图象信息(而不是让演员进行表演)，可以在任意时间读取演员的真实图象三维图象信息，并且演员的真实图象三维图象信息可以在图像处理技术的处理范围内自由运动，从而可以准备出所需运动的运动图象信息，即使演员不在场。于是不需要演员的实际表演，因此可以明显减少其签约时间以便降低生产成本。

真实演员实际上也不可能完成诸如从高处跳水的危险行为或诸如跳过宽阔河面的不实际动作。然而对于使用图像处理技术根据演员的真实图象三维图象信息产生的运动图象信息，则没有这种限制，因此可以在计算机图形技术的处理限制内自由产生任何期望状况下的运动图象信息。

对于背景，使用了有关实际物体的三维图象信息，因此不需要大型道具，从而可以大大降低节目生产成本。

如上所述，本发明的视频信息产生设备包括输入真实图象三维图象信息的输入设备，和诸如计算机、用于处理来自输入设备的三维图象信息的处理设备，其中处理设备包含存储从输入设备输入的真实图象三维图象信息的存储功能，和使用诸如计算机图形技术的图像处理技术将运动附加到从存储功能读取的真实图象三维图象信息上，以产生运动图象信息的功能。

对于这种结构，可以自动输入构成真实组成部分的真实图象三维图象信息，因此可以减少工作量。

并且，通过所需的计算机图形技术可以将期望运动增加到从存储功能读取的真实图象三维图象信息上，从而自动产生运动图象信息。

对于真实图象，通过计算机将其处理成三维图象信息，并且可以计算和画出构成运动图象的多个屏幕。因此，不需要逐一画出屏幕，于是可以节省大量工作。而对于背景，不需要大型道具，这同样利于较大地降低节目生产成本。

(2)本发明的视频信息产生设备包括输入真实图象三维图象信息的输入设备，和处理来自输入设备的三维图象信息的处理设备，其中处理设备包含输入真实图象三维图象信息的输入功能，存储来自输入设备的真实图象三维图象信息的存储功能，根据从存储功能读取的真实图象三维图象信息产生小图象信息的小图象信息产生功能，以彼此相关的方式存储真实图象三维图象信息和小图象信息的存储功能，显示三维空间表现的场景框(frame)的功能，从存储功能读取小图象信息并且在小图象框中显示小图象的功能，选择屏幕上小图象框中的小图象信息并且通过将其移动到场景框中的期望位置来附加小图象信息的功能，存储用于在场景框中布置附加在场景框中的小图象的信息的功能，在场景框中校正场景框内显示的小图象的表现模式的功能，在场景框中改变场景框内显示的小图象的操作模式的功能，在校正或改变之后更新小图象的布局信息的功能，通过计算场景框中从改变之前的小图象到改变之后的小图象的运动改变，产生一系列瞬时运动图象信息的运动图象信息产生功能，和存储产生的运动图象信息的功能。

本发明涉及角色的两种三维图象信息，一种包含详细图象信息，另一种包含简单图象信息。

角色的三维图象信息包括有关角色表面上点的位置和颜色的信息。然而可以缺少颜色信息(单色)。

通过高密度的表面点描述详细图象信息，而简单图象信息的表面点密度只有大约百分之一(一个例子)，所以信息量也只有百分之一。注意，这些数值只是用于举例参考，可以假定任意数值。

虽然根据简单图象信息产生的图象比较粗糙，然而足够认出运动图象。屏幕被称作角色的小图象，在此情况下根据简单图象信息产生从角色前端观察到的图象(例子)，或者产生指示特定角色的漫画，并且角色的唯一编号或名称被附加到屏幕上。假定这个小图象包含涉及角色的详细图象信息或简单图象信息的信息。

例如在具有建模、数字化、渲染等等功能的计算机图形产生系统中，在小图象框中显示根据真实图象三维图象信息产生的小图象信息(被称作缩略图显示)。

通常显示多个片段的小图象信息。通过例如拖放操作选择小图象框中显示的小图象信息的小图象，并且通过将其移动到场景框中的期望位置，附加小图象信息的小图象。

在处理中，将附加有小图象的位置存储成布局信息。

重复这个任务以在场景框中构成包括背景和运动物体的组合的临时场景。可以校正场景框中小图象的表现形式，以产生更好的场景。

校正包含精细调节尺寸、旋转、角度和位置向上、向下、向左和向右。并且可以改变小图象的运动形式。运动形式包含″站起″、″坐下″、″躺下″、″跳起″、″行走″、″奔跑″等等。对于校正或改变，看情况更新特定校正或改变之后小图象的布局信息。

为了将运动附加到小图象上，运动图象信息产生功能被用来计算场景框中从改变之前的小图象到改变之后的小图象的运动改变，并且产生瞬时系列运动图象信息。存储如此产生的运动图象信息。

在前面描述的操作中，计算机通过与作为真实存在角色的真实图象三维图象信息相关的小图象可以计算和画出构成运动图象的多个屏幕。于是，不需要逐一画出屏幕，从而节省了大量工作。

这是由于可以根据角色的三维图象信息从各个观察点自动产生图象，即使在角色移动的情况下，也可以根据三维图象信息产生构成多个指示运动的屏幕的运动图象的所有图象。

运动物体包含人、动物、汽车等等。人和动物的运动模式是行走、奔跑等等。定义对应于运动模式的动作，并且自动绘出运动动作。通过这种方式，可以节省工作量。

也可以自由产生角色的非现实图象，例如演员跳过宽阔河面。不需要演员进行表演，并且缩短了签约时间。于是也降低了生产成本。

在存在背景的情况下，足以从多个角度得到图片，从而能够降低制造大型道具和场所的成本。

根据本发明的优选实施例，处理设备的运动图象信息产生功能包含复制在其上附加有小图象的场景框的功能，在场景框内部移动复制场景框中的移动小图象的功能，指定小图象的具体移动模式的功能，指定场景框中从复制之前的小图象到复制之后的小图象的运动时间的功能，和以产生指定运动时间的运动图象信息的方式，控制与场景框内从复制之前的小图象到复制之后的小图象的运动改变相关的瞬时系列运动图象信息的产生的功能。

根据这个实施例，在复制在其上附加有小图象的场景框之后，在特定复制场景框内移动小图象。

现在，可以得到有关从初始场景框中小图象的位置到复制场景框中小图象的位置的切换的信息。并且，指定用于移动小图象的运动模式。

运动模式被定义成诸如″行走″、″奔跑″、″飞行″等等的运动形式。从复制之前的小图象到复制之后的小图象的运动时间在期望相对慢速的移动的情况下被指定较长的时间，而在期望相对快速的移动的情况下被指定较短的时间。

当进行如上所述的准备时，产生从复制之前的小图象到复制之后的小图象的运动改变的瞬时系列运动图象信息。同时，可以自动产生针对如上所述在运动模式中指定的运动时间的运动图象信息。

根据本发明的另一个优选实施例，处理设备还包含改变复制场景框的三维空间的视野的功能，和以产生改变视野的运动图象信息的方式，控制与从复制之前的小图象到复制之后的小图象的运动改变相关的瞬时系列运动图象信息的产生的功能。

这个功能不仅允许产生具有单独固定视野的瞬时系列运动图象信息，而且允许产生具有可移动视野的动态运动图象信息。具体地，可以通过缩放方式产生运动图象。

根据本发明的另一个优选实施例，处理设备还包含改变复制场景框的三维空间的观察点的功能，和控制与从复制之前的小图象到复制之后改变观察点的小图象的运动改变相关的瞬时系列运动图象信息的产生的功能。

这个实施例的操作如下所述。可以按照固定在某点上的观察点产生瞬时系列运动图象信息，或者通过移动观察点动态产生瞬时系列运动图象信息。换言之，可以产生照相机发生移动或视线方向发生改变(摆动镜头)的运动图象信息。

根据本发明的另一个优选实施例，处理设备还包含显示场景描述框的功能，其中场景描述框用于描述与特定场景框相联系的场景框的场景。显示台词框的功能，其中台词框用于描述场景框的场景中的台词，和将台词框中描述的台词附加到场景框中选择的小图象上的功能。

这个实施例的操作如下所述。产生运动图象节目(电影、电视节目等等)的过程概况包含编写原著、剧本制作、表演/成象、编辑和后期出品。原著是作者编写的普通书籍。选择出众或有特点的原著以便策划生产运动图象节目。

接着准备剧本。剧本是有关运动图象节目内容的描述。这里详细描述演员、场景构造、台词等等。剧本主要包括场景、场景描述和演员台词的组合(被称作情节串连图板(storyboard))。

通常情况下，经常由负责各个场景的多个制作人准备情节串连图板。为情节串连图板制作工具配备针对各个场景按照指定顺序合并或替换多个情节串连图板的功能。这个功能对应于节目生产的编辑工作。

在传统节目生产中，针对进行表演的演员拍摄出所有场景。

相反地，根据本发明，在诸如计算机的处理设备上准备演员的三维图象信息，并且在计算机上产生表演，从而能够产生运动图象。也可以在计算机上产生台词。

本发明被用来通过使用计算机方便地产生情节串连图板或剧本。并且，本发明被用来通过详细描述情节串连图板的场景构造并指定情节串连图板之间的运动信息，产生运动图象。

在场景描述框中，对涉及对应场景框的场景进行描述。另一方面，在台词框中，描述在对应场景框中说出的台词。为了使台词与小图象关联起来，台词框中的台词被附加到场景框的小图象上。

在使用角色的简单图象信息的情况下，可以通过诸如个人计算机的低速计算机产生情节串连图板。使用以下工具在个人计算机上产生情节串连图板。

为个人计算机提供产生情节串连图板所需的角色的简单图象信息。在个人计算机屏幕上显示指示场景的场景框，显示多个输入小图象的小图象框，描述场景的场景描述框和输入台词的台词框。

在场景框中显示指示观察点的符号，从而指定标准视野。通过拖放操作等等选择小屏幕并且将小图象附加在场景框的适当位置上。

通过操作鼠标，设置角色的尺寸和方向。通过附加多个角色来描述场景。在场景描述框中输入包含节目标题、场景名称和场景编号的信息。

在台词列中描述台词。对于台词，指定发话人和从特定场景开始到台词开始的时间。并且在必要时，自动产生语音，并且以和产生话音相同的方式移动对应角色的嘴部。于是产生一个完整的情节串连图板。

如上所述，使用诸如构成低速计算机的个人计算机的低速图象信息产生设备可以方便地产生具有彼此相关的场景框、场景描述框和台词框的情节串连图板。

根据本发明的另一个优选实施例，计算机还具有指定产生台词框中描述的台词的定时的功能，和按照指定定时合成与输出对应台词的语音的功能。

这个实施例的操作如下所述。对于情节串连图板中描述的台词，发话人等等的小图象被指定并且与台词相关，同时指定定时，即从特定场景开始到台词开始的时间段。

根据需要，指定发话人语音的发音模式，这种发音模式与小图象或念出台词的顺序相关，并且还指定从前面的台词结束到当前台词开始的时间。

按照指定定时合成对应台词的语音。通过这种方式，以针对具体的人指定的方式产生用于提供台词的语音信息，同时产生运动图象。换言之，可以根据情节串连图板自动产生台词。

然而，如上所述自动产生语音信息不是必需的，可选地，可以象在现有技术中那样通过配音演员根据图象说话的方法(配音)来产生语音信息。在这种情况下，成本不会太高，并且不会造成特别的问题。

根据本发明的另一个优选实施例，处理设备还包含以和台词的输出定时同步的发音方式移动指示小图象中的嘴部的小图象的控制功能。

这个实施例的操作如下所述。在产生运动图象的同时，自动增加这样的运动，即按照与说出情节串连图板中描述的台词相同的方式自动移动具体的人的嘴部的运动。于是，省略了移动嘴部的附加任务。

通过如上所述的方式，完成了情节串连图板。

根据本发明的另一个优选实施例，处理设备还包含集中管理多个情节串连图板的功能，所述情节串连图板均构成描述一个场景的信息，该场景包括场景框、场景描述框和台词框。

多个情节串连图板的集合可以被称作剧本。例如，对应于一个节目的多个情节串连图板可以被称作剧本，或者可以将剧本管理成有效视频信息片段。

根据本发明另一个优选实施例，处理设备还包含指定多个上述得到管理的、描述单元广播节目的剧本中的一个剧本，在指定具体情节串连图板后根据具体情节串连图板显示运动图象，或在没有指定时从开始处显示运动图象信息的功能，和根据需要输出语音信息的功能，其中所述剧本包括多个情节串连图板。

这个实施例的操作如下所述。指定剧本或构成一部分剧本的情节串连图板，并且产生和显示情节串连图板中描述的运动图象，或者如果需要，从具体角色产生和输出语音。于是可以预览(通过还原确认)剧本。

例如，在个人计算机的屏幕上可以观察根据预览命令产生的运动图象。这个运动图象通常基于简单图象信息。尽管具有粗糙屏幕，然而可以确认运动图象的内容。

当出现问题时，校正各个场景，并且重复产生和预览运动图象的处理以完成一个场景。在场景改变的情况下，指定新场景。接着，清除场景框和场景名称，并且可以输入新场景。

根据本发明另一个优选实施例，提供一种视频信息产生设备，其中构造处理设备，使得高速图象信息产生设备和低速图象信息产生设备彼此协作，高速图象信息产生设备具有产生简单图象信息并且向低速图象信息产生设备传送数据的功能，其中在产生简单图象信息时，从真实图象三维图象信息中部分删除了图象信息，低速图象信息产生设备具有在作为数据传送过来的简单图象信息中执行各个功能的处理，根据简单图象信息产生剧本并且向高速图象信息产生设备传送数据的功能，高速图象信息产生设备具有将基于作为数据传送过来的简单图象信息的剧本，转换成根据作为详细图象信息的真实图象三维图象信息产生的剧本的功能。

下面会描述实施例的操作。诸如高速计算机的高速图象信息产生设备产生简单图象信息，即从指示人物等等或背景的真实图象三维图象信息中部分删除图象信息而得到的信息，并且作为数据向低速图象信息产生设备传送简单图象信息。

另一方面，低速图象信息产生设备如上所述在作为数据传送过来的简单图象信息中执行各个功能的处理，根据简单图象信息产生剧本，并且作为数据向高速计算机传送具体剧本。

高速图象信息产生设备将基于作为数据传送过来的简单图象信息的剧本，转换成根据作为详细图象信息的真实图象三维图象信息产生的剧本。

更具体地，高速计算机输入产生具体剧本的情节串连图板所需的角色详细图象信息。

在高速计算机上以相同方式操作用于产生情节串连图板的工具。然而响应运动图象产生命令，根据角色的详细图象信息产生运动图象。

高速计算机不具有在CRT屏幕上进行预览的功能，但是具有在屏幕或电视监视器上显示以便进行真实环境确认的功能。

当出现问题时，校正高速计算机上的情节串连图板。对于演员的表演不好或其它需要细致表演的情况，实际拍摄演员的表演，将其作为角色(运动部分)输入，并且附加在情节串连图板上。通过这种方式，也可以插入真实图象。

如上所述，在诸如个人计算机的低速系统中使用简单图象信息准备的剧本被输入到高速系统，使得能够使用初始三维图象信息产生剧本的运动图象信息和语音信息。

在某些情况下，角色信息也可以被用于其它节目，并且也必须构造环境，其中角色信息被存储在大容量存储设备中，并且集中管理以便重用。期望重用角色信息以进一步降低节目生产成本。

随着以后对个人计算机性能的改进，也可以由个人计算机根据详细图象信息产生情节串连图板。

附图说明

图1的图例说明了基于本发明具体实施方式的视频信息产生设备的高速计算机系统配置的例子。

图2的图例说明了基于本发明具体实施方式的视频信息产生设备的个人计算机系统配置的例子。

图3的图例说明了基于本发明具体实施方式的视频信息产生设备的非接触式三维数字转换器的例子。

图4以基于本发明具体实施方式的视频信息产生设备的操作为例说明了场景产生。

图5以基于本发明具体实施方式的视频信息产生设备的操作为例说明了场景复制和人物运动。

图6以基于本发明具体实施方式的视频信息产生设备的操作为例说明了场景复制和视角移动。

图7以基于本发明具体实施方式的视频信息产生设备的操作为例说明了运动形式和移动。

图8以基于本发明具体实施方式的视频信息产生设备的操作为例说明了骨架。

图9以基于本发明具体实施方式的视频信息产生设备的操作为例说明了情节串连图板。

图10以基于本发明具体实施方式的视频信息产生设备的操作为例说明了台词的附加。

图11的图例说明了基于本发明具体实施方式的视频信息产生设备中高速计算机和个人计算机的功能例子。

具体实施方式

下面参照附图详细说明基于本发明具体实施方式的视频信息产生设备。

参照图1说明视频信息产生设备的高速计算机系统的结构。数字转换器1是根据实际物体或照片输入三维图象信息的三维图象信息输入设备。

高速计算机2具有单独或多个高速处理器，并且是具有大容量存储功能的计算机。

鼠标3和键盘5是操作高速计算机2的操作设备。

构成显示设备的CRT 4被用于显示高速计算机2的信息。另一方面，构成显示设备的电视监视器6被用于显示从高速计算机2输出的图象。

高速计算机2被包含在处理设备中。在这种情况下，鼠标3、键盘5、CRT 4和电视监视器6也可以被包含在处理设备中。

构成处理设备的组成部分可以被构造成整体单元或单独的单元，并且可以通过电缆或无线连接彼此发送/接收信息。

CG输入功能7表明高速计算机2具有产生图象和从数字转换器1捕捉图象的功能。

剧本产生功能8表明高速计算机2具有输入/输出包括场景框、场景描述框和台词框的剧本的功能。

运动图象产生功能9表明高速计算机2具有产生由剧本指定的运动图象的功能，和进行可视检查(预览)的功能。

简单图象产生功能和小图象产生功能10表明高速计算机2具有产生用于准备剧本的小图象的功能，和产生用于预览的简单图象的功能。

简单图象/小图象输入/输出功能10表明高速计算机2具有通过网络通信功能11与其它计算机进行输入/输出的功能。

网络通信功能11表明与其它高速计算机或个人计算机通信的功能的可用性。

参照图2说明视频信息产生设备的个人计算机系统配置。数字转换器12是根据实际物体或照片(真实图象)输入三维图象信息的三维图象信息输入设备。

数字转换器12用虚线定义，以表明这个功能通常由图1示出的高速计算机而不是个人计算机系统执行。

构成显示设备的CRT 13显示来自个人计算机14的显示信息。个人计算机14中具有处理器和存储单元。构成操作设备的键盘15和鼠标16被用于操作个人计算机14。

除了被包含在处理设备中的个人计算机14之外，鼠标16、键盘15和CRT 13也可以被包含在处理设备中。构成处理设备的这些组成部分可以被构造成整体或独立的构件，并且可以通过电缆或无线连接在其间发送/接收信息。

CG输入功能17表明个人计算机14具有产生三维CG图象或通过数字转换器12从物体或照片输入三维图象信息的功能。

数字转换器12用虚线定义，用于表明这个功能通常由图1示出的高速计算机执行，并且被用于通过简单图象/小图象输入/输出功能20输入信息。

剧本产生功能18表明个人计算机14具有输入/输出包括场景框、场景描述框和台词框的剧本的功能。

运动图象产生功能19表明个人计算机14具有产生和预览基于简单图象的运动图象的功能。

简单图象/小图象输入/输出功能20表明个人计算机14具有输入图1示出的高速计算机产生的简单图象/小图象的功能，或输出存储的简单图象/小图象的功能。

个人计算机表明个人计算机14具有与其它个人计算机或高速计算机通信的功能。

图3示出了非接触式三维数字转换器的例子。物体23同时被5个照相机拍照，包含第一照相机24、第二照相机25、第三照相机26、第四照相机27和第五照相机28。计算这个信息以产生物体23的三维图象信息。

根据从2个不同方向得到的图象计算物体的梯状多边形(step)。所有的相邻照相机均执行这个处理。在附图中没有示出用于将各个照相机的图象捕捉到高速计算机2中的机构。

参照图4，以视频信息产生设备的操作为例说明了场景产生。小图象框71显示表示三维图象信息的小图象。小图象72示出房屋，小图象73示出人物A，小图象74示出树木，小图象75示出布告板，小图象76示出人物B。

场景框61指示场景。树木62由通过拖放操作附加的小图象74构成。

在处理中，小图象74在小图象框71中保持原状，并且附加复制的小图象。房屋63是附加的小图象72，人物A 64是附加的小图象76，人物B 65是附加的小图象73，而布告板66是附加的小图象75。

通过使各个图象与适当名词等等关联以标识场景上的各个人物而不是诸如人物A和B的三维图象信息实体的方式，在场景框61中附加小图象。

对于附加小图象的方向、尺寸和位置的精细调节，双击各个小图象以便在特定小图象的位置上显示基于简单图象信息的三维图象信息。同时在附近显示下拉菜单等等。通过这种方式可以精细调节尺寸、旋转、距离和横向方向。在下拉菜单结束(例子)时，从三维真实图象显示中恢复小图象的显示。

参照图5，以视频信息产生设备的操作为例说明场景和运动人物的复制的例子。场景框81是场景框61的直接复制，其中在其上附加人物等等的小图象。小图象82、83、86也是复制的小图象。

小图象64移动到小图象84，小图象65移动到小图象85。虚线限定的小图象指示移动之前的位置。为了详细设置移动之后的小图象84、85，通过双击显示真实图象，并且使用具有下拉菜单的精细调节。在这种情况下，调用移动功能，因此在下拉菜单中显示各项运动模式，从而设置诸如″行走″或″奔跑″的运动模式。

通过设置场景框61和场景框81之间的时间，产生场景框61和场景框81之间的运动图象。

图6示出了场景复制和视角移动的例子。在图6中，场景框91是图5示出的场景框81的复制。

场景框91的小图象92、93、94、95、96没有移动。照相机位置97位于场景的中心。通过拖放操作将照相机位置97移动到位置98。

一旦复制了场景框91，通过移动照相机位置完成例如场景框99的复制。只要通过指定场景框91和场景框99之间的时间来产生运动图象，就通过移动照相机位置产生运动图象。

虽然只在场景框91和场景框99之间移动照相机位置，然而也可以改变照相机的视野(缩放)，以及人物和照相机位置。

图7是说明运动形式和移动的图例。在图7中，数字31指定从左边得到的设立姿势的人物视图。人物32的左手和右脚略微前移，而其左脚接触地面。接触地面的脚被固定在地面上。人物33的动作再略微前移一点，而人物34的右脚接触地面。人物31到34表示人物行走的情况。通过左和右侧交替地执行这个动作，实现了行走运动。

图8示出了人物的骨架。骨架包括作为支撑点的接点，通过骨骼连接接点。

接点41、42是肩部的接点，并且在行走时保持相对固定。接点43是手臂的接点，并且通过骨骼与接点41连接。因此接点41和43之间的距离保持不变。接点44是右臂的接点。类似地，接点45到50是身体的接点。

通过移动可运动接点来实现人物的运动。为了通过CG实现人物的复杂运动和更加自然的运动，穿上用于测量接点位置的工具的人物进行运动以获得接点的位置信息。这个任务被称作运动捕捉，借此可以实现动物和人物的自然运动。

运动模式通常是标准的运动模式。根据本发明，通过运动捕捉等等获得运动信息，从而预定标准运动。在通过下拉菜单指定运动模式的情况下，根据对应于特定运动模式的运动信息实现运动。

然而对于某些节目，具有作为标准运动而准备的运动模式的表现是不可能的，并且在许多场景中需要进行运动捕捉。作为运动捕捉的可用模式，诸如潜行或害羞动作的运动模式被加到下拉菜单中。

图9图解了情节串连图板的例子。在图9中，场景框101具有附加的小图象。台词102包含人物A和B的台词。场景描述框103包含场景编号、选段编号等等的描述。场景框101、台词102和场景描述框103构成一个情节串连图板。

图10是说明台词附加的图例。以通过鼠标拖放操作将台词A附加到场景的人物上的方式执行附加任务111，通过将台词B附加到场景的另一个人物上来实现附加任务112。

在进行附加时，在附近显示面板113，使得可以指定相对场景启动的台词开始时间，和前面台词结束之后、后面台词开始之前的间断时间。右上面板113是显示的面板的放大视图。

附加任务使人物能够说出台词。可以将人物设置成只移动其嘴部，或通过语音合成发出语音。

然而在现有技术中，语音合成的发音无法达到人的自然语音的程度，当前仅限于除了人之外的机器人或动物的语音。通过(后期录音)技术产生人的发声，其中在完成运动图象之后观看运动图象时说出和记录台词，并且之后使语音与运动图象匹配。

通过这种方式，完成了一个情节串连图板。在接收到产生下一个情节串连图板的命令时，递增场景编号并且清除台词，其中不改变场景框内容。通过拖放操作等等移动场景框中显示的小图象，并且指定特定角色的移动量。双击如此移动的小图象，以便通过下拉菜单指定诸如″行走″或″奔跑″的运动模式。

为了产生涉及移动动作的运动图象(包括多个图象)，需要角色骨架定义，动作捕捉，滑动校正等等复杂的技术以便产生自然的动作。然而这种技术不是本发明的要点。

参照图11说明高速计算机和个人计算机的功能。流程图121表示高速计算机产生节目的过程。高速计算机对应于高速图象信息产生设备，个人计算机对应于低速图象信息产生设备。

三维CG信息输入122是通过使用键盘5和鼠标3输入CG信息的任务。如此输入的信息被存储成三维图象信息。

数字转换器真实图象信息输入123是使用图3示出的非接触式三维数字转换器等等从真实物体输入三维图象信息的任务。如此输入的信息被存储成三维图象信息。

图象信息简化124是简化所存储的三维图象信息并且将其存储成简单图象信息，从而产生和存储小图象的任务。

情节串连图板产生125是通过在场景框上附加小图象，复制场景，指定小图象的移动和运动模式，描述场景和台词，以及附加台词来构造场景的任务。

在这种情况下使用的三维图象信息可以是简单图象信息或详细图象信息。这个任务框由虚线指示，以表明任务通常由个人计算机来完成。

剧本检查126是根据构成非简单图象信息的详细图象信息产生、观察和确认运动图象的任务。运动图象产生127是根据确认的剧本产生基于详细图象信息的运动图象的任务。

流程图131示出个人计算机产生节目的过程。

三维CG信息输入132是通过使用键盘15和鼠标16输入CG信息的任务。如此输入的信息被存储成三维图象信息。

数字转换器真实图象信息输入133是使用图3示出的非接触式三维数字转换器等等从真实物体输入三维图象信息的任务。如此输入的信息被存储成三维图象信息。这些任务通常由高速计算机执行。

图象信息简化134是简化所存储的三维图象信息并且将其存储成简单图象信息，从而产生和存储小图象的任务。这个任务通常也由高速计算机执行。

情节串连图板产生135是通过在场景框上附加小图象，指定场景复制以及小图象的移动和运动模式，说明场景和描述台词，以及附加台词来构造场景的任务。使用简单图象信息在个人计算机上执行这个任务。

剧本检查136是使用简单图象信息从剧本产生动作，观察和检查动作的任务。

剧本检查137是使用详细图象信息从剧本产生运动图象，观察和检查运动图象的任务。通常由高速计算机执行这个任务，但是可选地，可以由个人计算机执行这个任务，但需要牺牲大量时间。

运动图象产生138是使用详细图象信息从剧本产生运动图象的任务。这个任务通常由高速计算机执行。

从图象信息简化124到情节串连图板产生135的箭头表明高速计算机产生的简单图象信息被个人计算机传送，并且在个人计算机上产生情节串连图板。

从剧本检查136到剧本检查126的箭头表明个人计算机产生的剧本被传送到高速计算机，并且通过详细图象信息产生运动图象。

对于如上所述的视频信息产生设备，产生用于在计算机上产生剧本和情节串连图板的工具，并且通过将情节串连图板与现有CG技术和语音合成技术合并，可以实现以下各项效果。

1.捕捉现实物体或人物的三维图象信息，并且可以使用CG技术产生现实物体或人物的运动图象。于是可以显著减少演员的签约时间，同时通过省略使用自然风景的大型道具明显降低了节目生产成本。

2.使用CG技术使得能够自由产生现实演员的危险动作(例如从高处下落)或非现实动作(例如瞬间跳过宽阔河面)的运动图象。

3.通过在计算机上产生剧本和情节串连图板，并且从情节串连图板产生和预览运动图象，可以在桌面上产生节目。结果可以降低节目生产成本。

4.通过产生三维图象信息的简单图象信息，可以通过类似个人计算机的低速计算机产生节目。于是，在个人计算机上完成的剧本被传送到高速计算机，使得能够通过高速计算机上的详细图象信息产生运动图象。

5.可以产生根据台词移动嘴部的运动图象以及移动的动作。

6.可以通过台词合成语音。

对于如上所述的视频信息产生设备，捕捉现实物体、人物等等的三维图象信息，并且可以使用计算机图形技术产生现实物体或人物的运动图象。结果可以明显减少演员的签约时间。并且，将现实物体的三维图象信息用作背景省略了大型道具，从而显著降低了节目生产成本。

并且，根据演员的真实图象三维图象信息，可以在计算机图形技术的处理范围内按照期望的状况产生运动图象信息。结果，可以自由产生危险动作(例如从高处下落)或不可预料的非现实动作(例如瞬间跳过宽阔河面)的运动图象。

此外，通过高速图象信息产生设备产生简单图象信息，并且将简单图象信息传送到低速图象信息产生设备。通过这种方式，由低速图象信息产生设备产生情节串连图板和剧本，并且高速图象信息产生设备根据这个剧本通过详细图象信息产生运动图象。于是，主要工作可以在诸如个人计算机的低速图象信息产生设备上执行。结果，可以用低成本方便和有效地产生现实角色的运动图象。

工业实用性

本发明适用于通过计算机图形技术产生运动图象的视频信息产生设备。

Claims (14)

1.一种视频信息产生设备，包括：

计算机；

操作计算机的操作设备；和

显示计算机的信息的显示设备；

其中计算机包含存储真实图象三维图象信息的功能，和使用图像处理技术将运动附加到从存储功能读取的真实图象三维图象信息上，从而产生运动图象信息的功能，根据操作设备的操作执行各个功能，从而在显示设备上显示需要的图象。

2.一种视频信息产生设备，包括：

输入真实图象三维图象信息的输入设备；和

处理来自输入设备的三维图象信息的处理设备；

其中处理设备包含计算机，操作计算机的操作设备，和显示计算机的信息的显示设备；并且

其中计算机包含存储真实图象三维图象信息的功能，和使用图像处理技术将运动附加到从存储功能读取的真实图象三维图象信息上，从而产生运动图象信息的功能，根据操作设备的操作执行各个功能，从而在显示设备上显示需要的图象。

3.一种视频信息产生设备，包括：

计算机；

操作计算机的操作设备；和

显示计算机的信息的显示设备；

其中计算机包含存储真实图象三维图象信息的功能，根据从存储功能读取的真实图象三维图象信息产生小图象信息的功能，以彼此相关的方式存储真实图象三维图象信息和小图象信息的功能，显示三维空间表现的场景框的功能，在小图象框中显示小图象信息的小图象的功能，选择屏幕上小图象框中的小图象并且将小图象移动和附加到场景框中期望位置的功能，存储有关附加小图象在场景框中的布局的信息的功能，在场景框内部校正场景框中显示的小图象的表现形式的功能，在场景框内部改变场景框中显示的小图象的运动形式的功能，在校正或改变之后更新小图象的布局信息的功能，通过计算场景框中从改变之前的小图象到改变之后的小图象的运动改变，产生瞬时系列运动图象信息的功能，和存储所产生的运动图象信息的功能。

4.一种视频信息产生设备，包括：

输入真实图象三维图象信息的输入设备；和

处理来自输入设备的三维图象信息的处理设备；

其中处理设备包含存储真实图象三维图象信息的功能，根据从存储功能读取的真实图象三维图象信息产生小图象信息的功能，以彼此相关的方式存储真实图象三维图象信息和小图象信息的功能，显示三维空间表现的场景框的功能，在小图象框内部显示小图象信息的小图象的功能，选择屏幕上小图象框中的小图象并且将小图象移动和附加到场景框中期望位置的功能，存储有关附加小图象在场景框中的布局的信息的功能，在场景框内部校正场景框中显示的小图象的表现形式的功能，在场景框内部改变场景框中显示的小图象的运动形式的功能，在校正或改变之后更新小图象的布局信息的功能，通过计算场景框中从改变之前的小图象到改变之后的小图象的运动改变，产生瞬时系列运动图象信息的功能，和存储所产生的运动图象信息的功能。

5.如权利要求4所述的视频信息产生设备，

其中处理设备的运动图象信息产生功能包含功能：

复制具有在其中附加的小图象的场景框，

在场景框内部移动复制场景框中的小图象，

指定小图象的移动模式，

指定场景框中从复制之前的小图象到复制之后的小图象的运行的运动时间，和

以产生指定运动时间的运动图象信息的方式，控制从复制之前的小图象到复制之后的小图象的运动改变的瞬时系列运动图象信息的产生。

6.如权利要求5所述的视频信息产生设备，

其中处理设备还包含改变复制场景框的三维空间的视野的功能，和以产生其中加入视野变化的运动图象信息的方式，控制从复制之前的小图象到复制之后的小图象的运动改变的瞬时系列运动图象信息的生成的功能。

7.如权利要求4所述的视频信息产生设备，

其中处理设备还包含改变复制场景框的三维空间的视野的功能，和以产生其中加入视野变化的运动图象信息的方式，控制从复制之前的小图象到复制之后的小图象的运动改变的瞬时系列运动图象信息的生成的功能。

8.如权利要求4所述的视频信息产生设备，

其中处理设备还包含和场景框一起显示用于描述场景框的场景的场景描述框的功能，显示用于描述场景框的场景中的台词的台词框的功能，和将台词框中描述的台词附加到场景框中选择的小图象上的功能。

9.如权利要求8所述的视频信息产生设备，

其中处理设备还包含指定产生台词框中描述的台词的定时的功能，和在指定定时合成并输出对应台词的语音的功能。

10.如权利要求书9所述的视频信息产生设备，

其中处理设备还包含以与台词的输出定时同步的方式控制指示嘴部的发声运动的小图象的功能。

11.如权利要求8所述的视频信息产生设备，

其中处理设备还包含集中管理多个情节串连图板的功能，所述情节串连图板均构成包含用于描述一个场景的信息的单元情节串连图板，所述场景包括场景框、场景描述框和台词框。

12.如权利要求11所述的视频信息产生设备，

其中处理设备还包含指定多个上述得到管理的剧本中的一个，在指定具体情节串连图板时根据具体情节串连图板显示运动图象，或在没有指定时均从开始处显示运动图象信息的功能，和根据需要输出语音信息的功能，其中所述得到管理的剧本均包含多个情节串连图板和单元广播节目的描述。

13.如权利要求4所述的视频信息产生设备，

其中处理设备被构造成高速图象信息产生设备和低速图象信息产生设备彼此协作，

其中高速图象信息产生设备具有产生从真实图象三维图象信息中删除一部分图象信息的简单图象信息，并且向低速图象信息产生设备传送该数据的功能，

其中低速图象信息产生设备具有针对作为数据传送过来的简单图象信息执行各个功能的处理，根据简单图象信息产生剧本，并且向高速图象信息产生设备传送数据的功能，

其中高速图象信息产生设备具有将基于作为数据传送过来的简单图象信息的剧本，转换成基于构成详细图象信息的真实图象三维图象信息的剧本的功能。

14.如权利要求4所述的视频信息产生设备，

其中处理设备包含具有存储和处理信息功能的计算机，用于操作计算机的操作设备，和显示来自计算机的信息的显示设备，

其中计算机根据操作设备的操作执行各个功能，并且使所需的信息显示在显示设备上。

Images