CN1113320C - 将二维图像转换成三维图像的方法以及三维图像显示系统 - Google Patents

将二维图像转换成三维图像的方法以及三维图像显示系统 Download PDF

Info

Publication number
CN1113320C
CN1113320C CN95100370A CN95100370A CN1113320C CN 1113320 C CN1113320 C CN 1113320C CN 95100370 A CN95100370 A CN 95100370A CN 95100370 A CN95100370 A CN 95100370A CN 1113320 C CN1113320 C CN 1113320C
Authority
CN
China
Prior art keywords
signal
image signal
eye
eye image
picture signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN95100370A
Other languages
English (en)
Other versions
CN1126344A (zh
Inventor
井植敏
村田治彦
森幸夫
饭沼俊哉
前中章弘
安东孝久
竹森大祐
峯近重和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP6019582A external-priority patent/JPH07226958A/ja
Priority claimed from JP6228209A external-priority patent/JP2594235B2/ja
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN1126344A publication Critical patent/CN1126344A/zh
Application granted granted Critical
Publication of CN1113320C publication Critical patent/CN1113320C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/264—Image signal generators with monoscopic-to-stereoscopic image conversion using the relative movement of objects in two video frames or fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明是关于将二维图像转换成三维图像的方法。在本发明是从二维图像信号中生成一个右眼图像信号和一个左眼图像信号而这二者之间存在着相对的亮差或时差，因而二维图像就转换成了三维图像。因此，根据本发明之方法就可以将现存的二维图像软件转换成伪三维图像软件以获得三维图像。

Description

将二维图像转换成三维图像的方法以及三维图像显示系统
本发明涉及到将二维图像转换成三维图像的方法及由二维图像获得三维图像的三维图像显示系统。
为了获取一个有双目视差的三维图像，以往需要将三维图像信号记录在左右二个通道上。这二个通道是由具有二个摄像机的专用三维图像设备的成象而获得的；再生信号以及将信号在专用的三维(3D)显示设备或类似设备上显示出来。
因而，使用以前的方法三维(3D)图像不能由现有的二维(2D)图像软件中获取。所以，要获得与现有的二维(2D)图像软件相同内容的三维(3D)图像的话必须重新生成新的三维(3D)图像软件。
本发明之目的在于提供一种将2D图像转换成3D图像的方法，其中现有的2D图像软件可以转换到伪3D图像软件。
本发明之另一目的则是提供一个能从2D图像获得3D图像的3D图像显示系统。
按本发明将2D转为3D(以后用2D，3D分别表示2D图像和3D图像)的第一种方法是基于从2D信号生成一个右眼图像信号和一个左眼图像信号，这二个信号之间存在一个相对的时差，这样就可将2D转换成3D。
2D信号是由图像再生装置将贮存在记录介质中的2D软件再生出来而得到的。再者，2D信号是从图像装置、CG(计算机图像)发生装置或类似装置中按实时输出。
由2D信号所表示的图像包括一个移动部分，而时差是受移动部分的移动速度控制的。
按本发明将2D转换成3D的第二种方法则是基于从2D信号中产生一个形成基准信号的第一图像信号和一个由第一图像信号经延迟后得到的第二图像信号，然后从上述二个信号中取一个信号作为左眼图像信号而另一个则作为右眼图像信号，这样就将2D转换成3D。
由2D信号所表示的图像包括一个移动部分，以及延迟，它是由移动部分的移动速度所决定的。即，移动部分中的移动速度越高，延迟就越小，反之，移动部分的移动速度越小，延迟就越大。同时这个延迟也指出了从对应于第一图像信号的场到对应于第二图像信号的场之间究竟有多少场。
第二图像信号是通过将2D信号一次存储到一存储器内、并从存储于此存储器内的2D信号中读取一对应基于移动部分的移动速度所确定的延迟的2D信号而获得的。
基于移动部分移动的方向可以确定究竟取第一图像信号和第二图像信号中的哪一个作为左眼图像信号哪一个作为右眼图像信号。即，如果移动部分的移动方向是从左至右的话，则将第一图像信号取作为左眼图像信号，而将第二图像信号取作为右眼图像信号。反之，若移动部分的移动方向是从右至左的话，则将第一图像信号取作为右眼图像信号，而将第二图像信号取作为左眼图像信号。
当第一图像信号和第二图像信号在其相应的场的类型上不同时，即一个信号是奇场而另一个信号是偶场时，则为了得到相同类型的图像信号，较好的办法是将第一图像信号和第二图像信号中任一个信号作场内插入处理。
若在刚刚改变延迟的场中，为了获得光滑的移动信号较好的办法是对第二图像信号作场际插入处理。
将2D转换成3D的第三种方法是基于从2D信号中生成右眼和左眼图像信号，在这二个信号之间存在着一种亮度差别。于是可将2D转换成3D。
由2D信号所表示的图像包含一个移动部分而亮度差则是受移动部分移动速度控制的。
将2D转换成3D的第四种方法是基于从2D信号中生成一个第一图像信号以及一个第二图像信号而该信号之亮度从第一图像信号开始逐渐变弱。将这二个信号中之一取作左眼图像信号而另一个则作为右眼图像信号。因此实现了2D至3D的转换。
由2D信号所表示的图像包含一个移动部分。而从第一图像信号至第二图像信号的亮度减弱的变化量则是由移动部分的移动速度决定的。即，移动速度高则亮度减弱少，反之移动速度低，则亮度减弱大。
由诸如衰减器之类的可变亮度调整装置，将2D信号的亮度减弱以获得第二图像信号。此类衰减器同移动部分移动速度决定的亮度的衰减量有关。
按本发明之第一个3D显示系统的特点是它具有一个将2D转为3D的2D/3D转换器，该转换器从2D信号生成带有相对时差的右眼图像信号和左眼图像信号，同时通过2D/3D转换器获得以右眼图像信号和左眼图像信号为基础的3D显示。
按本发明之第二个3D显示系统的特点是它具有一个将2D转为3D的2D/3D转换器，该转换器从2D信号中生成带有相对亮差的右眼图像信号和左眼图像信号，同时通过2D/3D转换器获得以右眼图像信号和左眼图像信号为基础之3D显示。
显示例子中有一个3D显示监视器用作同时显示由2D/3D转换器得到的右眼图像信号及左眼图像信号。
显示例子中有一个2D显示监视器用作对每个预置场数和帧数的2D/3D转换器所获取的右眼图像信号和左眼图像信号进行交替变换以及显示这些变换得到的信号，同时具有左眼部分和右眼部分的3D取景器(或称取景镜头或观景器)可以作开关变换，它能使二部分中的一部分进入透光状态，而另一部分为遮光状态。在此种情况时，3D取景器的左、右眼部分对应于监视器上所显示的图像作交替变换使得与右眼图像信号和左眼图像信号之间的变换同步地轮流将左眼部分和右眼部分中之一送入透光状态。
显示例子中有一个2D显示投影器用作对每个预置场数和帧数的2D/3D转换器所获取的右眼图像信号和左眼图像信号作交替变换以及将这些变换得到的信号投射出来，同时具有左眼部分和右眼部分的3D取景器可以作这样的开关变换，即它能使这二部分中的一部分进入透光状态而另一部分则为遮光状态。在此种情况时，3D取景器的左、右眼部分对应于投影器所投影出来的图像作交替变换使得能与右眼和左眼图像信号之间的变换相同步，且轮流地将左眼部分或右眼部分送入透光状态。
结合下列附图对本发明作详细介绍可以使本发明的其它目标、特点以及各种优点更为明显和清楚。
图1为按本发明而设计的将2D转为3D方法的基本思想图。
图2是2D/3D转换系统的整体结构框图。
图3是2D/3D转换器的结构框图。
图4是2D/3D转换器的详细结构框图。
图5是第一正常状态中2D/3D转换器部分的信号流程图。
图6是第二正常状态中2D/3D转换器部分的信号流程图。
图7是另一个例子中的2D/3D转换器。
图8是另一个例子中2D/3D转换系统的框图。
图9是又一个例子中的2D/3D转换系统的框图。
图10是再一个例子中的2D/3D转换系统的框图。
图11是再一个例子中的2D/3D转换系统的框图。
图12是右眼图像R和左眼图像L的设计图。
图13是一时标流程图。说明了2D/3D转换数据指示插入的位置。
图14是2D/3D转换指示数据格式的设计图。
现在对本发明之基本思想作一介绍。假定如图1a所示有一图像场景其背景不变而目标物自左至右在移动。如果生成了一个右眼图像和一个左眼图像并且已提供了这二个图像之间的预置时差，如图1b所示那样，则由于右眼和左眼图像之间的物体的位移量使得物体的位置有所不同。因而，在右眼图像和左眼图像之间的物体的位差就成为视差，这样就有可能形成3D。图1b和1c中的数字表示场数。
若在2D软件中再生左眼和右眼图像时，左眼图像和右眼图像中的一个比另一个延迟了一场乃至数场的话，则原始的2D软件可以转换到右眼图像和左眼图像之间存在视差的3D软件上去。
图2说明了利用本发明所述之2D/3D转换方法的3D软件转换系统的结构。
一台2D/3D兼容的录像机VTR11既有再生2D软件的功能又有再生3D软件的功能。由2D/3D兼容的录像机VTR11将2D软件通过2D/3D转换器12转换到伪3D软件，接着将3D软件提供给一个3D监视器13。如果显示是使用如在日本专利公开号为65943/1991中所述的晶状方法而不是用玻璃的话，则从2D可能再生一种有部分3D效果的伪3D，也可用只有2D软件再生功能的录像机来代替那个具有2D/3D兼容功能的录像机VTR11。
图3说明了由图2所示之2D/3D转换器12的设计结构。
一2D信号a送至输入端口1，该输入信号a是送到图像开关电路2的第一输入端口，一个移动向量检测电路7和一组场存贮器5。
提供场存贮器组5是为了要将2D信号a作延迟且输出该延迟信号。场存贮器组5的输出(即a的延迟信号为b)送至图像开关电路2的第二输入端口。图像开关电路2由目标物的移动方向来交换2D信号a和延迟后的信号b的，同时通过将开关打到输出端3和输出端4而输出所获取之信号，即输出端3是输出左眼图像信号L而输出端4则是输出右眼图像信号R。延迟(是指从对应于2D信号a到对应于2D信号b之间存在着多少场)对每一场是控制在0到最大为60之间(在NTSC制(指日本国家电视系统委员会)中约为1秒)。变量单位可能比一场的单位小。若延迟为0，则2D信号a就直接送给输出端3和输出端4。
移动向量检测电路7检测出一个与在2D信号a的基础上二场之间的目标物的移动相应的移动向量。这个被检的移动向量随后就送至CPU8(中央处理器)。
CPU8控制了存贮器控制电路6和图像开关电路2。CPU8将由移动向量检测电路7检测出来的运动向量的水平分量抽出来，同时由水平分量来确定该延迟。CPU8控制存贮器控制电路6以从场存贮器5中读出与上面确定的延迟相应的2D信号。
特别是在目标物的移动很大或移动向量很大时，延迟就要减小。反之，若目标物的移动很小或在再生慢动作时移动向量很小时，则延迟就可增加。
在本例中，延迟的最大值为60。它在NTSC制相当于1秒，它也几乎相当于一个正常的图像场景。但是在低速慢动作再生的情况下，延迟的最大值可能不小于60。进而，在甚低速慢动作再生时，延迟可能达到几百。
CPU8在移动向量方向的基础上控制图像开关电路2。即，如果移动向量的方向是自左至右，则将2D图像信号a送到输出端3以输出左眼图像信号。同时将2D图像信号b送到输出端4以输出右眼图像信号。若移动向量的方向为自右至左，则将2D图像信号a送到输出端4以输出右眼图像信号，而将2D信号b送到输出端3以输出左眼图像信号。
如前所述，在2D/3D转换器12中，在2D信号中目标物按水平方向移动的场景中产生了二个带有与移动速度相应的视差的图像信号。
从输出端3和4输出的左和右图像信号用例如在日本专利公开号65943/1991中所描述的不用透镜玻璃而用晶球的方法送到3D显示以再生具有部分3D效应的伪3D。
图4说明一个具体的例子，在该例中将上述的2D/3D转换器做到一个大规模集成电路块(LSI)上。
先用YC分离电路30将2D信号分成亮度信号Y和色差信号R-Y和B-Y。再用模数转换电路31将亮度信号Y转换成数字信号。同时也用模数转换电路32将二个色差信号R-Y和B-Y转换成数字信号。从A/D转换中获取的已转换成数字信号的亮度信号和色差信号输入到作为2D/3D转换用的大规模集成电路LSI 33上。
箝位电路331对输入到LSI 33中去的亮度信号Y进行箝位控制，随后将受箝位控制的亮度信号Y供给第一选择器S1和第二选择器S2的第一输入端，同时也供给移动向量检测电路7和外部提供的场存贮器组5。
场存贮器组5包括三个存放奇场数据的场存贮器MO1到MO3和三个存放偶场数据的场存贮器ME1到ME3。这六个场存贮器MO1到MO3和ME1到ME3是并联连接的。这些存贮器的写入、读出均受存贮控制电路332的控制。
由移动向量检测电路7检测出来的移动向量输入到CPU8，CPU8根据移动向量的水平分量来确定合适的延迟，同时根据已确定的延迟来控制存贮控制电路332。
输入到LSI33中的二个色差信号R-Y和B-Y由箝位电路333箝位，同时被转换成点序列信号R-Y/B-Y，其中色差信号R-Y和B-Y是交替地按点阵循环出现。点序列信号(色差信号)R-Y/B-Y送入第三选择器S3和第四选择器S4的第一输入端以及场存贮器组5。
一个由8位亮度信号和4位色差信号R-Y/B-Y组成的总长为12二进制位的数据送到每一个场存贮器MO1到MO3和ME1到ME3中去。
从场存贮器MO1到MO3输出的亮度信号YO分别送到第一选择器S1和第二选择器S2的第三输入端以及第五选择器S5的第一输入端。从场存贮器ME1到ME3输出的亮度信号YE分别输入到第一选择器S1和第二选择器S2的第二输入端以及第五选择器S5的第二输入端。
另外，从场存贮器MO1到MO3输出的色差信号CO分别输入到第三选择器S3和第四选择器S4的第三输入端以及第八选择器的第一输入端。而从场存贮器ME1到ME3输出的色差信号CE则分别输入到第三选择器S3和第四选择器S4的第二输入端以及第八选择器的第二输入端。
从第二选择器S2输出的亮度信号Y，YO或YE输入到线存LM1和插入电路334中去。在线存中因一次水平扫描而延迟的亮度信号Y，YO或YE输入到第五选择器S5的第三输入端。第五选择器S5的一个输出提供给插入电路334。
插入电路334包括一个以第五选择器S5的输出作为输入的协处理单元(未画出)，一个第二选择器S2之输出为其输入的协处理单元(图中未画出)以及一个将协处理单元之输出叠架起来的加法器(图中未画出)。
在以第二选择器S2的输出作为输入的协处理器中，第二选择器S2的输出是通过遮光系数K而多路分配的。在以第五选择器S5的输出作为其输入的协处理器中，第五选择器S5的输出则是通过遮光系数(1-K)而作多路分配的。
插入电路334的输出提供给右眼的第六选择器S6和左眼的第七选择器S7。类似地，第一选择器S1的输出也供给右眼的第六选择器S6和左眼的第七选择器S7。而第六选择器S6的输出是供给右眼第一视差调整存贮器SM1。第七选择器S6的输出则是供给左眼第一视差调整存贮器SM2。
视差调整存贮器SM1和SM2调整读出时的位置，读出操作是与左右二侧无关的按水平方向范围在±48象素点中进行的，因此调整视差即可调整3D的效果。
在下面使用第三选择器S3和第四选择器S4处理色差信号的电路结构与上述处理亮度信号之电路结构是相同的。尤其是在下面涉及到的线存LM2，第八选择器S8，遮光电路335，第九选择器S9，第十选择器S10，第三视差调整存贮器SM3以及第四视差调整存贮器S4分别对应于上述的线存LM1，第五选择器S5，插入电路334，第六选择器S6、第七选择器S7，第一视差调整存贮器SM1和第二视差调整存贮器SM2。
在同步信号叠架电路336将同步信号加上以后，由第一视差调整存贮器SM1中输出的亮度信号变成了右眼亮度信号YR，同时该信号YR又被送到一个数模转换(D/A)电路34。并且，在同步信号叠加电路336将同步信号加上以后，由第三视差调整存贮器SM3中输出的色差信号被一编码器337转换成右眼色度信号CR。而该信号CR又被送至D/A转换电路34。在D/A转换电路34中被转换成模拟信号的右眼亮度信号YR和右眼色度信号CR通过YC同步电路35合成为右眼图像信号R。
在同步信号叠加电路336将同步信号加上以后，由第二视差调整存贮器SM2中输出之亮度信号变成了左眼亮度信号YL，同时该信号YL又被送到一个数模转换(D/A)电路36。并且，在同步信号叠加电路336将同步信号加上以后，由第四视差调整存贮器SM4中输出的色差信号被一编码器337转换成左眼色度信号CL，而该信号CL又被送至D/A转换电路36。在D/A转换电路36中被转换成模拟信号的左眼亮度信号YL和左眼色度信号CL通过YC同步电路37将其合成为左眼图像信号L。
图5和图6分别说明了图4中所示的2D/3D转换器的各自部分。图5和图6只说明了亮度信号和色差信号中的亮度信号部分。
2D/3D转换器完成的功能可参阅图5和图6来加以说明。处理亮度信号电路的功能与处理色差信号电路的功能除了所处理的对象一为亮度信号另一为色差信号不同之外其它均是相同，因此这里仅对处理亮度信号的电路的功能加以讨论。
如图5所示，将亮度信号Y对每场按MO1，ME1，MO2，ME2，MO3和ME3的次序在存贮器控制电路332的写入脉冲的控制下连续地写入到场存贮器MO1至MO3和ME1至ME3中去。在六场以后，就完成了对每一个场存贮器的写入。这时，从第一场至第六场的数据是分别写入到它们各自的场存贮器MO1至MO3和ME1至ME3中去的而且相互不会复盖重叠。
只要无新的写入脉冲输入，场存贮器MO1至MO3和ME1至ME3中的数据内容是不会改变的。当第七场时MO1有一新的写入脉冲，那么第七场的数据内容就被再装入。这样，在场存贮器MO1至MO3和ME1至ME3中的数据内容每六场就重新装入一次。
在本实例中，这六个场存贮器是并联着的，在每一场数据只须写入一个存贮器。因而就可以大大地减小功耗，即比起使用串联存贮器以及每一场对各个存贮器都要写入数据来看本方法的功耗要省得多。
场存贮器MO1至MO3和ME1至ME3的读控制是按下面方式进行的。与移动向量(一个目标物体的移动)相应的延迟是由CPU8确定的。存贮器控制电路332选取一个存放着与由CPU8确定的延迟相应的延迟数据的场存贮器且将读脉冲输给选定的那个场存贮器。
例如，在图5中所示的当前场之数据是O3而延迟为2，则就将读脉冲中输给当前场前面二场的存放着数据O2的那个场存贮器MO2，于是便从场存贮器MO2中读出了数据O2。
下面对选择器的每步功能作详细介绍。选择器是由CPU8中发出的控制信号控制完成一次选择操作。在本实施例中，有第一正常模式，第二正常模式和编辑模式，这些模式均可任意设置。当设置在第一正常模式时的操作由下面介绍：
(1)第一正常模式
如果设置成第一正常模式，则2D/3D转换器12中的信号的各自部分如图5所示。
如果设置了第一正常模式，就存在(a)不进行插入的场，(b)作场内插入的场。
如果同时提供给3D监视器13的左眼图像信号和右眼图像信号之一是奇场而另一个是偶场的话，则在左、右图像之间就发生了垂直方向的移位。
如果一个含有从场存贮器MO1和MO3和ME1到ME3读出的亮度信号YO和YE(此为延迟亮度信号)的场和一个含有从箝位电路331输出的亮度信号Y的场的组合是一个奇场和偶场的组合的话，那么场内插入就按延迟亮度信号的垂直方向来进行。由场内插入处理获取之信号作为延迟亮度信号送至一只眼睛。
如果一个含有从场存贮器MO1至MO3和ME1到ME3读出的亮度信号YO和YE(此为延迟亮度信号)的场和一个含有从箝位电路331输出的亮度信号Y的场的组合是偶场的组合或是奇场的组合，那么从场存贮器中读出的延迟亮度信号就直接作为延迟亮度信号送至一只眼睛。
第一选择器S1总是从箝位电路331中选取亮度信号Y，并且将当前的不是延迟的场中的亮度信号Y提供给作为右眼的第六选择器S6和作为左眼的第七选择器S7。
另一方面，第二选择器S2在亮度信号Y，YO和YE中选取任何一个，并根据延迟以及对应于此延迟的场是奇场还是偶场来决定输出所选取的是那个亮度信号。即，当延迟为0时，选取亮度信号Y。在延迟不为0时，则在与该延迟对应的场是奇场时选取亮度信号YO，而在与该延迟对应的场为偶场时，选取亮度信号YE。
第五选择器S5总是选取线存LM1。因而，将从第二选择器S2输出的亮度信号Y，YO和YE和由于进行一次水平扫描而延迟了亮度信号所得到的信号一起输入到插入电路334中去。
插入电路334的插入系数是由CPU8设置的。如果从第一选择器S1输出的亮度信号Y和从第二选择器S2输出的亮度信号YO或YE都是奇场或都是偶场的话，则插入系数K是1，这样就不必进行内场插入处理。即，如果延迟是0或是偶数的，那么就不进行插入处理。在这种情况下，从第二选择器S2中输出的亮度信号Y，YO或YE是从插入电路334输出来的。
如果包含从第一选择器S1输出的亮度信号Y的场和包含从第二选择器S2中输出的亮度信号YO或YE的场中之一是偶的而另一个是奇的则插入系数K是0.5，这样就进行场内插入处理。在此情况下，从第二选择器S2输出的经过延迟的亮度信号YO或YE经内场遮光后得到的信号由插入电路334输出。
由插入电路334输出的亮度信号与由第一选择器S1输出的亮度信号Y同时提供给第六和第七选择器S6、S7。由选择器S6和S7组成如图3上所示的图像变换电路2，该电路是用来将第一选择器S1的输出Y和遮光电路334的输出Y，YO或YE中的一个输出根据移动向量的方向送到右眼SM1的视差调整存贮器，而将另一个输出送到左眼SM2的视差调整存贮器。视差是由视差调整存贮器SM1和SM2作调整。
(2)第二正常模式
下面对设置成第二正常模式时各选择器的操作作介绍。在这种情况下的2D/3D图像转换器12中各自的信号如图6所示。
如果设置了第二正常模式，就存在(a)不作插入处理的场，(b)作插入处理的场，(c)作场际插入处理的场。
当改变了延迟时，与当前场的图像相比经延迟以后图像的移动不太光滑。因而，在第二正常模式中，对应于一个延迟的延迟图像需要对刚改变过延迟的场作一定的场际插入处理，这样可使移动呈光滑的结果。
而对未作过延迟改变的场，则其操作就同第一正常模式时的情况一样处理。
在第二正常模式中，若延迟从n改变为n+1，则分别将对应于延迟为n时的场中的图像和将对应于延迟为n+1时的场中的图像读出。在图6中，延迟从1改变为2，此时当前场中的数据变成了O3。而将当前场的前一场中的数据E2和当前场的前二场中的数据O2从场存贮器中读出。
当延迟是从n变成n-1时，则分别将对应于延迟为n时的场中的图像和对应于延迟为n-1时的场中的图像读出。在图6中，延迟从3改变为2。此时当前场中的数据变成了O8，而将当前场的前三场中的数据E6和当前场中前二场的数据O7从场存贮器中读出。
第一选择器S1总是选取从箝位电路331中输出的亮度信号Y，同时将此未经延迟当前场中的亮度信号Y送至左眼第六选择器S6和右眼第七选择器S7。
另一方面，如图6所示，第二选择器S2选取亮度信号Y，YO和YE中的任一个。并输出所选取的信号。即，在延迟从0变为1时的场中选择亮度信号Y。在延迟不是从0变为1的其它场中，只有在延迟为0时才选取亮度信号Y，这一点与第一正常模式情况时相同。然而，若延迟不是0，则当与此延迟相应的场为奇场时选取亮度信号YO，当与此延迟相应的场为偶场时选取亮度信号YE。
在作场际插入处理的场中，即延迟被改变的场，第五选择器S5选取亮度信号YO或YE，同时按下列规则输出选中的亮度信号。尤其是在延迟从0变成1的场中，若此场之前一场为奇场，则选取亮度信号YO，若此场之前一场为偶场，则选取亮度信号YE。
在延迟改变不是从0到1的那个场中，以当前场为基准差对应于该延迟被改变之前的场是奇场时，则选取亮度信号YO，另一方面，以当前场为基准若对应于该延迟改变之前的场是偶场时，则选取亮度信号YE。
含有从第一选择器S1中输出的亮度信号Y的场和含有从第二选择器S2中输出的经延迟后的亮度信号YO或YE的场，如果这二个场均不是作场际插入处理的场而且其中一个是奇场而另一个是偶场的话，那么就由第五选择器S5选取线存LM1的输出。
将遮光电路334的插入系数K设置成0.5这样在刚刚改变过延迟的场中就进行场际插入处理。在此种情况下，相应于当前场延迟的场中的数据和前一场中的数据均提供给插入电路334。在图6中，若当前场为O3，数据O2和E2被送到插入电路334，在遮光电路334中，就可得到二个相邻场的算术平均值，因而使图像的移动较为平滑。
如果含有从第一选择器S1输出的亮度信号Y的场和含有从第二选择器S2中输出的经延迟的亮度信号YO或YE的场中之一个场是奇场，而另一个场是不作场际插入处理的偶场，那么将插入系数置成0.5以完成场内插入处理。
在其它场中，插入系数K被置成1，这样无论是场际还是场内的插入处理都不进行。
在图6所示之例中，在当前场中的亮度信号Y为O2，O3，O4，O5，O7，O8，O9时则进行场际插入处理。而当前场中的亮度信号Y为E2，E4，E7和E9时则作场内插入处理。
第二正常模式中第六选择器和第七选择器S6，S7的操作与第一正常模式中的相同。
(3)编辑模式
下面介绍编辑模式。
在上述二种正常模式中，当前亮度信号和延迟后的亮度信号根据右眼第六选择器S6和左眼第七选择器S7之输出中的移动向量的方向按互补方式作不规则的替换的。因而，延迟后的亮度信号根据不同的情况既可输出作为左眼图像信号也可作为右眼图像信号。
另外，将未经延迟的亮度信号和延迟后的亮度信号(例如，当前场中的亮度信号Y和图5中所示的遮光电路334的输出)二者相比较后可以十分清楚地知道，延迟后的亮度信号的场序与未经延迟的亮度信号的场序是不同的。尤其是在减少延迟的过程中，某几场会变谈。
左眼图像信号和右眼图像信号中即使选中了二者之一，未经延迟的亮度信号同延迟后的亮度信号也是混合出现的。因而，编辑时最好不使用选中的图像信号。特别是，在编辑时场序必须至少和左眼图像信号或右眼图像信号中之一的原始图像的场序相同。
若本例中的LSI 33需在编辑状态时，在场存贮器的输出端和以场存贮器的输出端为输入的LSI 33的输入端之间要有一个外部选择器。另外，场存贮器的数目应增加到大约13。
在编辑模式时，右眼第六选择器S6应设置成使得第一选择器S1的输出总是提供给右眼的视差调整存贮器SM1。因而，第一选择器S1的输出的选择必须是右眼的输出。另外，左眼第七选择器S7的设置要使得插入电路334的输出总是提供给左眼的视差调整存贮器SM2，于是遮光电路334的输出的设置必须是左眼的输出。
另外，第一选择器S1的设置要使得总是选择第三输入端，而第二选择器S2的设置要使得总是选择第二输入端。上述的外部选择器在以对于第一选择器S1为当前场的基础上其延迟为常数的场中选取有关数据(存贮器输出)，再将所选取的数据送到第一选择器S1的第三输入端。另外，上述外部选择器以延迟为提供给第一选择器S1的常数的场中的数据为基础，在与相应于随移动向量的变化而变化的延迟的场中选取数据(存贮器输出)。同时将选中的数据提供给第二选择器S2的第二输入端。
因而，就有可能在编辑时始终获得一个按场序与输出端之一的原始图像相同的信号。
虽然按上述实例2D/3D是用转换器从2D信号生成了二个存在时差的信号作为在左眼和右眼图像之间生成视差的方法，但是也可用Pulfrich效应生成二个存在亮差的信号以作为3D。
图7说明了一个2D/3D转换器的实施例，它生成二个存有亮差的信号。在图7中，与图3所示的相同部分所标的参考数字与图3的相同，因而不再赘述。
在本2D/3D转换器中，有一个是衰减器9，它的亮度级的衰减范围是在0db与-10db之间。有一个增益控制电路10，它是用来作为图3上所示的场存贮器组5以及存贮器控制电路6的。
衰减器9和增益控制电路10是受移动向量的幅度所控制的，就同图3中所示的2D/3D转换器一样。特别是在目标物的移动很大，移动向量很大时，就要控制衰减器9使其亮度衰减量减小。如果是在目标物的移动很小或在使用慢动作再生时移动向量很小时，就要控制使亮度衰减量也增加。
衰减器9的衰减量未必限制在0到-10db之间。如在低速慢动作再生时使用，也可用负几十个分贝(db)衰减。另外，也可使用变量增益放大器来代替衰减器。
再者，本发明不仅适用于如上例描述的那些将现有的2D软件转换成3D软件的情况，同时也适用于从摄象机实时输出的2D信号，从计算机图像生成设备中输出的2D信号或者类似实时转换成3D信号的情况。
图8介绍了另一个2D/3D转换系统的实例。
2D/3D转换系统的结构的输入信号既可以使用2D信号也可以用3D信号。
提供了可以分别输入3D信号的3D输入端14和15，和可以输入2D信号的2D输入端16。2D信号和3D信号均可以输入。
按照输入信号的类型，变换开关S会自动作变换。从3D输入端14和15输入的3D信号分别输入到第一图像检测电路17。在第一图像检测电路17中，检测每一个3D信号是否存在，随后由检测结果的逻辑与门送到控制电路19。
从2D输入端16输入的2D信号则被输入到第二图像检测电路18中去。在第二图像检测电路18中，先检测是否存在图像信号，随后再将检测结果送入控制电路19。
当第一图像检测电路17的输出是“存在”、第二图像检测电路18的输出是“不存在”时，控制电路19便将转换开关S打到 a端。而当第一图像检测电路17的输出是“不存在”，第二图像检测电路18的输出是“存在”时，控制电路19便将转换开关S打到 b端。
特别是在2D/3D转换系统中，输入的是2D信号还是3D信号是自动进行判别的。在输入3D信号时，3D信号就通过转换开关S送至3D监视器13。而在输入2D信号时，则由2D/3D转换器12先将2D信号转换成3D信号，随后将变换后的3D信号经过转换开关S提供给3D监视器13。
2D/3D转换器12和转换开关S都可以放到3D监视器13中去。
图9是关于2D/3D转换系统的又一个例子。
一个2D/3D兼容的录象机VTR11带有输出端20，21和22。在3D模式时，在L通道上的信号从输出端20输出，而在R通道上的信号则从输出端21输出。在2D模式时，2D信号是从输出端20输出。
另外，在3D和2D模式时，在“H”级的鉴别信号和在“L”级的鉴别信号分别从输出端22输出。鉴别信号是由在2D/3D兼容的VTR11中的系统控制器(图中未画出)根据所设置的模式而产生的，这个信号随后被送到2D/3D图像转换器12和转换开关S。
2D/3D兼容VTR11的输出端20与2D/3D转换器12的输入端相连。
在3D模式时，由在“H”级的鉴别信号将转换开关S打到 a端。这样，从2D/3D兼容VTR11的输出端20和21中输出的L通道和R通道上的信号通过转换开关S输出。
在2D模式时，2D/3D转换器12被加电，并且由在“L”级的鉴别信号将转换开关S打到 b端。在这种情况下，从2D/3D兼容VTR11的输出端20输出的2D信号经过2D/3D转换器12转换成3D信号，同时将转换后的3D信号通过转换开关S输出。
2D/3D转换器12和转换开关S可放到2D/3D兼容VTR11中去。
图10是又一个2D/3D转换系统的例子。
在2D模式时，2D摄象机23的输出直接输入到2D/3D兼容的VTR11的输入端24。而在3D模式时，2D摄象机23的输出先由2D/3D转换器12将它转换成3D信号，由转换得到的二个通道的信号分别送到输入端25和输入端26。
在2D模式时，2D/3D兼容的VTR11将从输入端24输入的信号记录到记录介质上。而在3D模式时，则是将从输入端25和26输入的二个通道上的信号分别记录到记录介质上去。
2D/3D转换器12可以装入2D摄象机23中去。
图11是2D/3D转换系统的又一个例子。
一个2D再生设备101包括一台普通的磁带录象机，磁盘放像机或类似的设备。一个电视广播接收机102包括电视调谐器，一个闭路电视(CATV)调谐器或类似设备以接收从天线或电缆线中发射过来的电视信号。
由用户从2D再生设备101所再生出来的2D信号和从电视广播接收机102接收到并作解调后的2D信号中通过开关103选取一个2D信号104送到2D/3D转换器12去。
在2D/3D转换12中，同上面介绍过的一样，输入的2D信号被转换成3D信号，其中包括二者有视差的右眼图像信号R和左眼图像信号L。随后，从2D/3D转换器12输出的右眼图像信号R和左眼图像信号L送入到一个并行/串行信号转换器105。
这个并行/串行信号转换器105在预置的时间间隔内不断在右眼图像信号R和左眼图像信号L之间作交替变换，这二个信号是并行同时输入的且通过开关后是串行输出的，通过转换器105后成为串行序列的右眼图像信号和左眼图像信号随后就被送至图像显示。
图像显示的例子包括一个普通的电视接收机106，它是使用显象管的，一个投影仪和一台小型的液晶电视机108。
下面再对并行/串行信号转换器105的操作作较详细的介绍。
如果输入的右眼图像信号R和左眼图像信号L是按2∶1隔行扫描型的，如图12a和12b所示，在转换器105中输出的是奇场数据时则只输出右眼图像信号R，而在转换器105中输出的是偶场数据时则只输出左眼图像信号L。因而，对每一场来说，右眼图像信号R和左眼图像信号L是被交替地送到如电视接收机之类的图像显示器上。
另外，即使在右眼图像信号R和左眼图像信号L都是按2∶1隔行扫描型的，信号转换器105也可在每一帧(二场)交替输出右眼图像信号R和左眼图像信号L。此时，含有奇场和偶场的右眼图像信号R和含有奇场和偶场的左眼图像信号L交替地按帧送到如电视接收机之类的图像显示器上去。
如果右眼图像信号R和左眼图像信号L都是非隔行扫描型的，则右眼图像信号R和左眼图像信号L要送到每帧去以作图像显示。
不管所输入的二个右眼和左眼的图像信号是2∶1隔行扫描型的还是非隔行扫描型的，他们都可以交替地送入图像显示器作为多场或多帧。
如果要从诸如电视接收机等的图像显示器中观看3D图像，就要使用3D图像观景透镜109。该透镜109的右眼部分和左眼部分作这样的变换使得一部分为透光状态时另一部分为遮光状态。而这个变换同右眼图像信号R和左眼图像信号L之间的变换同步。
尤其是在图像显示器对右眼图像信号R作显示或投影时，透镜109的右眼部分和左眼部分被分别置成透光状态和遮光状态。相反，在对左眼图像信号作显示或投影时，则透镜109的左眼部分和右眼部分被分别置成透光状态和遮光状态。
透镜109是由光偏振片和液晶板做成，因此是透光状态的电气开关。不过，也可以使用快门装置这种机械开关来实现而不必使用光偏振片和液晶板。再者，透镜109的右眼和左眼部分的转换是由从并行/串行信号转换器105发出的通过电缆线110或无线电波的变换信号控制的。
如果使用投影仪107作为图像显示器，则从投影仪107输出的右眼图像信号R和左眼图像信号L被射到屏幕111上。这时，观察者便能通过打开着的3D图像观景器109观看到射在屏幕111上的图像。
正如在图2所示的实例中已说过的那样，可以将从2D/3D转换器12输出的右眼图像信号和左眼图像信号直接送到一个所谓不带取景透镜的3D显示器上，这样可以不用3D图像观景透镜而观看到3D图像。
无观景透镜的3D显示器可以这样制成：将液晶显示夹在各象元的右眼图像信号R和左眼图像L的中间，将中间的信号发射出去，同时在显示屏上(或者在投影屏幕的正前面)按装上晶状透镜层或视差阻隔层。
从图像再生设备101或电视广播接收机102上得到的所有景色均能转换到3D图像，而交替地进行着只有那些诸如物体按预定方向移动的这种适合于转换成3D图像的场景才能转换成3D图像。
若一个特定的场景被转换成了3D图像，则该场景就自动地从2D图像信号中检测出来。而被检测出来的那个场景就转换成了3D图像。如2D图像信号是由电视广播或类似设备产生的，则场景的自动检测最好是按下列方式进行。
如图13所示，在紧靠上述特定场景之前一个垂直空白间隔中某一适当的时间，电视广播电台和闭路电视中继中心先要插入一个数据，该数据指出接下去的那个场景须要经2D/3D图像的转换，然后将此数据一起发送出去。在图11所示的2D/3D转换器12检测到这个2D/3D图像转换指示数据后，就将上述特定场景自动地转换成3D图像而显示。
2D/3D图像转换指示数据由如下几个数据组成：指示出对于某一特定场景是否要作2D/3D图象转换的数据(开/关)；指示出该特定场景中物体移动方向的数据(左/右)；指示出延迟量的数据等，例如在图14中所示的那样。
虽然在图11中只以图像再生设备101和电视广播接收机102作为2D图像源，但是事实上普通的摄象机，2D计算机图像生成设备等都是可以用的，只须它们能输出2D信号。
对本发明虽已作了详细的说明和介绍，但是可以理解，这里仅仅是通过说明以及有关的例子加以阐述，而实际决不能局限于此，下面所附之权利要求说明了限定本发明所含之思想与范围。

Claims (15)

1.一种将二维图像转换成三维图像的方法，其特征在于，它包含：
从二维图像信号产生一第一图像信号和一第二图像信号，所述第二图像信号延迟于所述第一图像信号；
把所述第一图像信号和所述第二图像信号分别指定为左眼图像和右眼图像；
其中，由所述二维图像信号所代表的图像包括一个移动部分；
其中，所述延迟是用从相应于第一图像信号的场到相应于第二图像信号的场之间存在多少场来表示的，并且它与所述移动部分的移动速度有关，其中，所述速度是根据从所述第一图像信号检测到的移动矢量的水平分量来决定的；并且，
其中，所述移动部分的移动速度越高，则所述延迟越短，而所述移动部分的移动速度越低，则所述延迟越长。
2.根据权利要求1所述的方法，其特征在于，所述的二维图像信号是由图像再生装置来再现存贮在记录介质上的二维图像软件而获得的。
3.根据权利要求1的方法，其特征在于所述的二维图像信号是由成象装置按实时要求输出的。
4.根据权利要求2所述的方法，其特征在于，所述的二维图像软件是由计算机图像生成装置按实时要求输出的。
5.根据权利要求1所述的方法，其特征在于，所述第二图像信号是通过如下方法获得的：将所述二维图像信号先存入存贮器，然后再在所述存贮器中从存储的二维图像信号中读出一个与根据所述移动部分的移动速度而确定的延迟所相对应的二维图像信号。
6.根据权利要求1所述的方法，其特征在于，按照所述移动部分的移动方向来决定在所述第一图像信号和所述第二图像信号中究竟取哪一个信号作为所述左眼图像信号和右眼图像信号。
7.根据权利要求6所述的方法，其特征在于，如果所述移动部分的移动方向为自左至右的，则取第一图像信号为左眼图像信号，而第二图像信号取作为右眼图像信号，而在移动部分之移动方向为自右至左时，则取第一图像信号为右眼图像信号，而第二图像信号取作为左眼图像信号。
8.根据权利要求1所述的方法，其特征在于，如果相应的第一图像信号和第二图像信号在场型上是不同的，则第一图像信号和第二图像信号中之一个信号须经场内插入处理。
9.根据权利要求1所述的方法，其特征在于，在延迟刚改变的场中，所述第二图像信号须经场际插入处理。
10.一种将二维图像转换成三维图像的方法，其特征在于，它包含：
从一个二维图像信号产生一个第一图像信号和一个亮度比第一图像信号衰减了的第二图像信号，并取二信号中的一个信号作为左眼图像信号，而另一个信号作为右眼图像信号；
用所述二维图像信号代表的图像包括一个移动部分，
所述第二图像信号的亮度相对于所述第一图像信号的亮度而衰减的量是根据所述移动部分的速度来确定的，其中，所述速度是根据从所述第一图像信号检测得到的移动矢量的水平分量来确定的，
所述移动部分的移动速度越大，则所述亮度的衰减量就越小，而所述移动部分的移动速度越小，则所述亮度的衰减量就越大。
11.如权利要求10所述的方法，其特征在于，
所述第二图像信号是根据所述亮度的衰减量，由可变亮度调节装置，通过使所述二维图像信号的亮度衰减来得到的，而所述亮度衰减量是根据所述移动部分的移动速度来确定的。
12.一种3D图像显示系统，其特征在于，它包括：
2D/3D图像转换器，它通过从一个二维图像信号产生带有相对时差的右眼图像信号和左眼图像信号，将二维图像转换成三维图像；
显示器，它根据所述2D/3D图像转换器获得的右眼图像信号和左眼图像信号，实现三维图像；
所述2D/3D图像转换器包括：
一组场存贮器，用于相继存储二维输入图像信号；
移动矢量检测装置，它根据二维输入图像信号，检测与目标物在场间的移动相对应的移动矢量；
延迟计算装置，它根据移动矢量检测装置检测得到的移动矢量的水平分量，计算延迟；
存贮器控制装置，用于从场存贮器组中读出一个相对于所述二维输入图像信号延迟了若干场的二维图像信号，被延迟的场数与延迟计算装置计算得到的所述延迟对应；
图像开关电路，从存贮器控制装置读出的二维输入图像信号和二维延迟图像信号被输入所述图像开关电路；以及
图像开关电路控制装置，它根据移动矢量检测装置检测得到的移动矢量的方向，控制所述图像开关电路，以便图像开关电路将输入其中的二个二维图像信号中的一个信号输出作为右眼图像信号，而将另一个信号输出作为左眼图像信号；
其中，存贮器控制装置如此计算延迟，使得移动矢量检测装置检测得到的移动矢量之水平分量越大，延迟越小。
13.根据权利要求12所述的3D图像显示系统，其特征在于，
所述显示系统包括一个三维图像显示监视器，用来同时显示由所述的2D/3D图像转换器获得的所述的右眼图像信号和所述的左眼图像信号。
14.根据权利要求12所述的3D图像显示系统，其特征在于：
所述之显示系统包括：
一个二维图像显示监视器用来对预定的场数或帧数交替变换由所述的2D/3D图像转换器获得的所述的右眼图像信号和所述的左眼图像信号，并且显示通过变换得到的信号，以及
具有左眼部分和右眼部分的三维图像观景器，这二个部分可以这样作变换，即其中一部分为透光状态，而另一部分为遮光状态，
所述三维图像观景器之左眼部分和右眼部分，按照其相应的在所述的监视器上显示的图像作这样的变换即左眼部分和右眼部分之一进入透光状态是与所述右眼图像信号和所述左眼图像信号之间的变换同步的。
15.根据权利要求12所述的3D图像显示系统，其特征在于，
所述显示器包括
一个二维图像显示投影仪用来对预定的场数或帧数交替变换由所述2D/3D图像转换器得到的所述的右眼图像信号和所述的左眼图像信号，并且将通过变换得到的信号投射出去，以及
具有左眼部分和右眼部分的三维图像观景器，这二个部分可以这样作变换，即其中一部分为透光状态，而另一部分则进入遮光状态，
所述三维图像观景器之左眼部分和右眼部分按照其相应的由所述投影仪投影的图像作这样的变换，即左眼部分和右眼部分之一进入透光状态是与所述右眼图像信号和所述左眼图像信号之间的变换同步的。
CN95100370A 1994-02-01 1995-01-28 将二维图像转换成三维图像的方法以及三维图像显示系统 Expired - Fee Related CN1113320C (zh)

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
JP10583/1994 1994-02-01
JP10583/94 1994-02-01
JP1058394 1994-02-01
JP19582/1994 1994-02-16
JP6019582A JPH07226958A (ja) 1994-02-16 1994-02-16 立体映像表示方式
JP19582/94 1994-02-16
JP26796/94 1994-02-24
JP26796/1994 1994-02-24
JP2679694 1994-02-24
JP6228209A JP2594235B2 (ja) 1994-02-01 1994-09-22 ２次元映像を３次元映像に変換する方法及び３次元映像信号生成装置
JP228209/1994 1994-09-22
JP228209/94 1994-09-22

Publications (2)

Publication Number Publication Date
CN1126344A CN1126344A (zh) 1996-07-10
CN1113320C true CN1113320C (zh) 2003-07-02

Family

ID=27455415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN95100370A Expired - Fee Related CN1113320C (zh) 1994-02-01 1995-01-28 将二维图像转换成三维图像的方法以及三维图像显示系统

Country Status (5)

Country Link
US (1) US5717415A (zh)
EP (1) EP0665697B1 (zh)
KR (1) KR100358021B1 (zh)
CN (1) CN1113320C (zh)
DE (1) DE69516558T2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102457738A (zh) * 2010-11-01 2012-05-16 深圳Tcl新技术有限公司 一种2d图像转3d图像的装置及方法
CN103218845A (zh) * 2011-07-25 2013-07-24 索尼电脑娱乐公司 图像处理装置、方法及程序以及存储介质

Families Citing this family (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100414629B1 (ko) * 1995-03-29 2004-05-03 산요덴키가부시키가이샤 3차원표시화상생성방법,깊이정보를이용한화상처리방법,깊이정보생성방법
EP2259588B1 (en) 1996-02-28 2013-12-11 Panasonic Corporation High-resolution optical disk for recording stereoscopic video, optical disk reproducing device and optical disk recording device
KR970078692A (ko) * 1996-05-25 1997-12-12 김광호 2차원 영상을 3차원 영상으로 변환하는 장치
WO1998004087A1 (fr) 1996-07-18 1998-01-29 Sanyo Electric Co., Ltd. Dispositif et procede pour convertir des signaux video bidimensionnels en signaux video tridimensionnels
WO1998012879A1 (en) * 1996-09-17 1998-03-26 Imard Kabushikigaisha Image signal processor
WO1998017067A1 (en) * 1996-10-15 1998-04-23 Wenger Klaus Herbert Guenter Method and device for suggesting depth in two-dimensional images
KR100400209B1 (ko) * 1996-10-31 2003-12-31 삼성전자주식회사 텔레비젼(tv)신호로부터삼차원동영상을발생시키는장치
EP0944269B1 (en) * 1996-12-04 2002-11-13 Matsushita Electric Industrial Co., Ltd. Optical disc for high resolution and three-dimensional image recording, optical disc reproducing device, and optical disc recording device
JP3802653B2 (ja) * 1997-05-21 2006-07-26 オリンパス株式会社 立体画像表示装置
DE69841532D1 (de) 1997-08-29 2010-04-15 Panasonic Corp Optische Platte mit hierarchisch codiertem digitalen Videosignal, Wiedergabevorrichtung und Aufnahmevorrichtung für die optische Platte
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
US5963303A (en) * 1997-09-04 1999-10-05 Allen; Dann M. Stereo pair and method of making stereo pairs
US8350895B2 (en) * 1997-09-04 2013-01-08 Dann M Allen Stereo pair and method of making stereo pairs
GB9720864D0 (en) * 1997-10-01 1997-12-03 Univ Nottingham Trent Line-scan imaging in 3-d
US6151362A (en) * 1998-10-30 2000-11-21 Motorola, Inc. Joint rate control for stereoscopic video coding
US6144440A (en) * 1999-03-17 2000-11-07 Evergreen Innovations Color and motion based depth effects
KR20010011382A (ko) * 1999-07-27 2001-02-15 성필문 1장의 일반 이미지로 부터 입체영상구현을 위한 스테레오스코픽 이미지를 도출하기위한 방법을 기록한 롬
WO2001039512A1 (en) 1999-11-26 2001-05-31 Sanyo Electric Co., Ltd. Device and method for converting two-dimensional video to three-dimensional video
US7505046B1 (en) 2000-05-02 2009-03-17 Adobe Systems Incorporated Preserving opaque-like rendering in transparent 2D graphics using knockout groups
US7254265B2 (en) 2000-04-01 2007-08-07 Newsight Corporation Methods and systems for 2D/3D image conversion and optimization
DE10016074B4 (de) * 2000-04-01 2004-09-30 Tdv Technologies Corp. Verfahren und Vorrichtung zur Erzeugung von 3D-Bildern
KR100464286B1 (ko) * 2000-06-21 2004-12-31 대한민국 입체 디스플레이 장치 및 그 방법
US10742965B2 (en) 2001-01-23 2020-08-11 Visual Effect Innovations, Llc Faster state transitioning for continuous adjustable 3Deeps filter spectacles using multi-layered variable tint materials
US7604348B2 (en) * 2001-01-23 2009-10-20 Kenneth Martin Jacobs Continuous adjustable 3deeps filter spectacles for optimized 3deeps stereoscopic viewing and its control method and means
US7522257B2 (en) * 2001-01-23 2009-04-21 Kenneth Jacobs System and method for a 3-D phenomenoscope
US7850304B2 (en) * 2001-01-23 2010-12-14 Kenneth Martin Jacobs Continuous adjustable 3Deeps filter spectacles for optimized 3Deeps stereoscopic viewing and its control method and means
US9781408B1 (en) 2001-01-23 2017-10-03 Visual Effect Innovations, Llc Faster state transitioning for continuous adjustable 3Deeps filter spectacles using multi-layered variable tint materials
US7508485B2 (en) * 2001-01-23 2009-03-24 Kenneth Martin Jacobs System and method for controlling 3D viewing spectacles
US7405801B2 (en) * 2001-01-23 2008-07-29 Kenneth Jacobs System and method for Pulfrich Filter Spectacles
US8750382B2 (en) 2001-01-23 2014-06-10 Kenneth Martin Jacobs System and method for calculating 3Deeps action specs motion estimation from the motion vectors in an MPEG file
US7030902B2 (en) * 2001-01-23 2006-04-18 Kenneth Jacobs Eternalism, a method for creating an appearance of sustained three-dimensional motion-direction of unlimited duration, using a finite number of pictures
DE10128530A1 (de) 2001-06-13 2002-12-19 Basf Ag Kühlmittel für Kühlsysteme in Brennstoffzellenantrieben enthaltend Azolderivate
JP4729812B2 (ja) * 2001-06-27 2011-07-20 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
KR100472438B1 (ko) * 2001-11-14 2005-02-21 삼성전자주식회사 플라즈마 디스플레이 패널의 휘도 감쇠장치 및 방법
CN1295655C (zh) 2001-11-24 2007-01-17 Tdv技术公司 从2d图像序列生成立体图像序列
US7218339B2 (en) * 2002-01-22 2007-05-15 Kenneth Jacobs Eternalism, a method for creating an appearance of sustained three-dimensional motion-direction of unlimited duration, using a finite number of pictures
US6753847B2 (en) * 2002-01-25 2004-06-22 Silicon Graphics, Inc. Three dimensional volumetric display input and output configurations
US7554541B2 (en) 2002-06-28 2009-06-30 Autodesk, Inc. Widgets displayed and operable on a surface of a volumetric display enclosure
US7205991B2 (en) * 2002-01-25 2007-04-17 Autodesk, Inc. Graphical user interface widgets viewable and readable from multiple viewpoints in a volumetric display
US7324085B2 (en) * 2002-01-25 2008-01-29 Autodesk, Inc. Techniques for pointing to locations within a volumetric display
AU2003214910A1 (en) * 2002-01-25 2003-10-13 Silicon Graphics, Inc. Three dimensional volumetric display input and output configurations
US7839400B2 (en) 2002-01-25 2010-11-23 Autodesk, Inc. Volume management system for volumetric displays
US7138997B2 (en) 2002-06-28 2006-11-21 Autodesk, Inc. System for physical rotation of volumetric display enclosures to facilitate viewing
DE60332328D1 (de) 2002-03-13 2010-06-10 Imax Corp Systeme und verfahren für ein digitales remastering oder anderweitiges modifizieren von beweglichen bildern oder anderen bildsequenzdaten
US7180663B2 (en) * 2002-06-19 2007-02-20 Robert Bruce Collender 3D motion picture theatre
SE524855C2 (sv) * 2002-08-28 2004-10-12 Rutger Forss Generering av en tredimensionell videovisning
KR100448882B1 (ko) * 2002-11-14 2004-09-18 한국전자통신연구원 양안식 멀티미디어 컨텐츠 저작 장치 및 그 방법
US7880784B2 (en) * 2003-03-14 2011-02-01 Trident Microsystems (Far East) Ltd. Arrangement for generating a 3D video signal
JP4684107B2 (ja) * 2003-09-11 2011-05-18 シャープ株式会社 携帯型表示装置および携帯型表示装置の制御方法
KR101101570B1 (ko) * 2003-12-19 2012-01-02 티디비전 코포레이션 에스.에이. 데 씨.브이. 3차원 비디오게임 시스템
JP2006165935A (ja) * 2004-12-07 2006-06-22 Nec Corp 制御情報の変換装置及び制御情報の変換方法
KR100652702B1 (ko) * 2004-12-07 2006-12-01 엘지전자 주식회사 Ｄｍｂ기능을 구비한 휴대단말기의 3ｄ방송 표시방법
KR101252686B1 (ko) * 2006-01-23 2013-04-10 (주)쓰리디아이에스 이차원/삼차원 영상 표시 장치의 구동 장치
EP1977395B1 (en) 2006-01-27 2018-10-24 Imax Corporation Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality
CN101479765B (zh) 2006-06-23 2012-05-23 图象公司 对2d电影进行转换用于立体3d显示的方法和系统
CN1917658B (zh) * 2006-08-01 2011-04-27 杭州镭星科技有限公司 一种从单目图像序列生成立体图像序列的方法
US20100118117A1 (en) * 2006-10-26 2010-05-13 Seereal Technologies S.A. 3d content generation system
CN101206767B (zh) * 2006-12-22 2010-12-15 财团法人资讯工业策进会 将平面图像转换至三维效果图像的图像转换装置及方法
EP1950981A1 (en) * 2007-01-23 2008-07-30 Filippo Masia The three-dimensional vision
FR2914437A1 (fr) * 2007-04-02 2008-10-03 Artistic Images Soc Par Action Procede de traitement d'image pour la synthese d'image autostereoscopique
US7884823B2 (en) * 2007-06-12 2011-02-08 Microsoft Corporation Three dimensional rendering of display information using viewer eye coordinates
KR101339870B1 (ko) * 2007-07-26 2013-12-11 삼성전자주식회사 영상처리장치 및 영상처리방법
KR20100002032A (ko) * 2008-06-24 2010-01-06 삼성전자주식회사 영상 생성 방법, 영상 처리 방법, 및 그 장치
JP5347717B2 (ja) * 2008-08-06 2013-11-20 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP4636149B2 (ja) * 2008-09-09 2011-02-23 ソニー株式会社 画像データ解析装置、および画像データ解析方法、並びにプログラム
KR20100040640A (ko) 2008-10-10 2010-04-20 엘지전자 주식회사 수신 시스템 및 데이터 처리 방법
KR101506926B1 (ko) 2008-12-04 2015-03-30 삼성전자주식회사 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법
CN101483788B (zh) * 2009-01-20 2011-03-23 清华大学 一种平面视频转立体视频的方法和装置
US9172940B2 (en) * 2009-02-05 2015-10-27 Bitanimate, Inc. Two-dimensional video to three-dimensional video conversion based on movement between video frames
CA2760100C (en) 2009-04-27 2015-12-08 Lg Electronics Inc. Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
EP2699005A1 (en) * 2009-05-18 2014-02-19 LG Electronics, Inc. 3D image reproduction device and method capable of selecting 3D mode for 3D image
JP5185202B2 (ja) * 2009-06-03 2013-04-17 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
CN101593349B (zh) * 2009-06-26 2012-06-13 福州华映视讯有限公司 将二维影像转换为三维影像的方法
JP4875127B2 (ja) 2009-09-28 2012-02-15 パナソニック株式会社 三次元画像処理装置
JP5588144B2 (ja) 2009-10-14 2014-09-10 パナソニック株式会社 映像信号処理装置及び映像信号処理方法
JP5521913B2 (ja) 2009-10-28 2014-06-18 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2011109294A (ja) * 2009-11-16 2011-06-02 Sony Corp 情報処理装置、情報処理方法、表示制御装置、表示制御方法、およびプログラム
CN102141685B (zh) * 2009-11-29 2016-02-24 黄得锋 一种3d成像装置
US9848182B2 (en) * 2009-12-24 2017-12-19 Magi International Llc Method and apparatus for photographing and projecting moving images in three dimensions
US9204132B2 (en) * 2009-12-24 2015-12-01 Trumbull Ventures Llc Method and apparatus for photographing and projecting moving images in three dimensions
JP5353770B2 (ja) * 2010-03-05 2013-11-27 カシオ計算機株式会社 立体映像観察装置、立体映像表示装置、及びプログラム
US9154814B2 (en) 2010-03-05 2015-10-06 Google Technology Holdings LLC Method and apparatus for converting two-dimensional video content for insertion into three-dimensional video content
CN101833543B (zh) * 2010-05-07 2011-09-28 李响 文字裸眼三维化显示方法
US8421847B2 (en) * 2010-05-21 2013-04-16 Mediatek Inc. Apparatus and method for converting two-dimensional video frames to stereoscopic video frames
CN102907106A (zh) * 2010-05-28 2013-01-30 日立民用电子株式会社 接收装置和输出方法
TWI522993B (zh) 2010-06-23 2016-02-21 明基電通股份有限公司 立體影像顯示系統、顯示器及顯示器之背光模組控制方法
CN102300105B (zh) * 2010-06-25 2013-12-25 深圳Tcl新技术有限公司 一种将2d内容转换成3d内容的方法
CN102340675B (zh) * 2010-07-14 2013-11-20 深圳Tcl新技术有限公司 2d/3d转换装置及其实现方法
KR101731343B1 (ko) * 2010-07-14 2017-04-28 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN102375242B (zh) * 2010-08-08 2016-05-25 漳州市爵晟电子科技有限公司 一种3d成像装置
US8605136B2 (en) * 2010-08-10 2013-12-10 Sony Corporation 2D to 3D user interface content data conversion
US10146426B2 (en) 2010-11-09 2018-12-04 Nokia Technologies Oy Apparatus and method for user input for controlling displayed information
CN102469319A (zh) * 2010-11-10 2012-05-23 康佳集团股份有限公司 三维菜单生成方法及三维显示装置
JP5879713B2 (ja) * 2010-12-09 2016-03-08 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN102595152A (zh) * 2011-01-13 2012-07-18 承景科技股份有限公司 二维转三维的颜色补偿系统及其方法
CN102685517B (zh) * 2011-03-09 2015-01-28 联想(北京)有限公司 一种实现2d图像转3d图像的装置、方法和系统
TWI482484B (zh) * 2011-06-17 2015-04-21 Wistron Corp 立體顯示系統及其方法
JP5414906B2 (ja) * 2011-08-05 2014-02-12 株式会社東芝 画像処理装置、画像表示装置、画像処理方法およびプログラム
CN102438161A (zh) * 2011-08-19 2012-05-02 四川长虹电器股份有限公司 二维图像转三维图像的方法
CN102426693B (zh) * 2011-10-28 2013-09-11 彩虹集团公司 一种梯度边缘检测算法实现2d 转3d 的方法
CN102523467A (zh) * 2011-12-09 2012-06-27 彩虹集团公司 一种2d视频转3d的简易方法
CN102427550A (zh) * 2011-12-09 2012-04-25 彩虹集团公司 一种实现2d转3d的方法
CN102523466A (zh) * 2011-12-09 2012-06-27 彩虹集团公司 一种视频信号2d转3d的方法
US20130147696A1 (en) * 2011-12-12 2013-06-13 Jani Edvin Penttilä Display Moving Image Quality Improvement In 3D Barrier Type Display
KR101917174B1 (ko) * 2012-02-24 2018-11-09 삼성전자주식회사 전자 장치 사이의 스트림 전송 방법 및 그 방법을 처리하는 전자 장치
CN103369277A (zh) * 2012-03-29 2013-10-23 中强光电股份有限公司 投影系统及投影系统的影像处理方法
CN102780895A (zh) * 2012-05-31 2012-11-14 新奥特（北京）视频技术有限公司 一种单视频文件到3d视频文件的实现方法
CN102790900A (zh) * 2012-07-19 2012-11-21 彩虹集团公司 一种2d转3d的简便方法
KR101240497B1 (ko) * 2012-12-03 2013-03-11 복선우 다시점 입체영상 제작방법 및 장치
WO2016011047A1 (en) * 2014-07-15 2016-01-21 Ion Virtual Technology Corporation Method for viewing two-dimensional content for virtual reality applications
KR102400900B1 (ko) * 2015-10-26 2022-05-23 엘지전자 주식회사 시스템
WO2018009799A1 (en) 2016-07-08 2018-01-11 Magi International Llc Portable motion picture theater
US10735707B2 (en) 2017-08-15 2020-08-04 International Business Machines Corporation Generating three-dimensional imagery
US11100693B2 (en) * 2018-12-26 2021-08-24 Wipro Limited Method and system for controlling an object avatar

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2654291A1 (fr) * 1989-11-03 1991-05-10 Pochet Roger Procede de creation temporelle de couples d'images stereoscopiques, et dispositif mettant en óoeuvre un tel procede.
US5090038A (en) * 1989-10-09 1992-02-18 Kabushiki Kaisha Toshiba Stereoscopic X-ray apparatus

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3674921A (en) * 1969-11-12 1972-07-04 Rca Corp Three-dimensional television system
US4160973A (en) * 1977-10-11 1979-07-10 Massachusetts Institute Of Technology Three-dimensional display
US4264926A (en) * 1979-01-02 1981-04-28 William Etra Three dimensional television system
JPS5854796A (ja) * 1981-09-28 1983-03-31 Victor Co Of Japan Ltd 疑似立体映像方式
NL8104475A (nl) * 1981-10-01 1983-05-02 Philips Nv Drie-dimensionaal televisiesysteem en daarvoor geschikte zender.
US4630097A (en) * 1983-08-16 1986-12-16 Marks Alvin M 2D/3D compatible polarized color TV system
JPH06101841B2 (ja) * 1984-01-11 1994-12-12 日本電気株式会社 動画像信号の符号化方法およびその装置
JPS60263594A (ja) * 1984-06-11 1985-12-27 Sony Corp 立体画像再生装置
CA1274919A (en) * 1985-07-27 1990-10-02 Akio Ohba Method of forming curved surfaces and the apparatus
DE3533379A1 (de) * 1985-09-19 1987-03-26 Deutsche Forsch Luft Raumfahrt Verfahren zur stereoskopischen bewegtbilddarbietung von bildszenen mit relativbewegung zwischen aufnahmesensor und aufgenommener szene
US4754327A (en) * 1987-03-20 1988-06-28 Honeywell, Inc. Single sensor three dimensional imaging
US4807024A (en) * 1987-06-08 1989-02-21 The University Of South Carolina Three-dimensional display methods and apparatus
JPH07121084B2 (ja) * 1987-11-06 1995-12-20 日本電気株式会社 テレビジョン映像信号特殊効果装置
US4896210A (en) * 1987-11-16 1990-01-23 Brokenshire Daniel A Stereoscopic graphics display terminal with image data processing
JPH01317092A (ja) * 1988-06-17 1989-12-21 Stanley Electric Co Ltd 立体映像の表示方法
JPH0714209B2 (ja) * 1989-12-20 1995-02-15 松下電器産業株式会社 動画像符号化装置
DE69126585T2 (de) * 1990-09-20 1998-01-02 Nippon Electric Co Verfahren und Gerät zur Kodierung von bewegten Bildsignalen
JPH04132489A (ja) * 1990-09-25 1992-05-06 Matsushita Electric Ind Co Ltd 液晶駆動回路
US5151821A (en) * 1990-10-25 1992-09-29 Mortimer Marks System and devices for time delay 3d
US5245319A (en) * 1991-03-14 1993-09-14 Cray Research, Inc. Synchronized stereoscopic display system
JPH05122733A (ja) * 1991-10-28 1993-05-18 Nippon Hoso Kyokai <Nhk> ３次元画像表示装置
US5281960A (en) * 1991-11-19 1994-01-25 Silhouette Technology, Inc. Helmet mounted display
GB2267007B (en) * 1992-04-24 1995-09-13 Sony Broadcast & Communication Video special effect apparatus and method
KR940023194A (ko) * 1993-03-30 1994-10-22 성필문 입체영상 구현장치
US5510832A (en) * 1993-12-01 1996-04-23 Medi-Vision Technologies, Inc. Synthesized stereoscopic imaging system and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5090038A (en) * 1989-10-09 1992-02-18 Kabushiki Kaisha Toshiba Stereoscopic X-ray apparatus
FR2654291A1 (fr) * 1989-11-03 1991-05-10 Pochet Roger Procede de creation temporelle de couples d'images stereoscopiques, et dispositif mettant en óoeuvre un tel procede.

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102457738A (zh) * 2010-11-01 2012-05-16 深圳Tcl新技术有限公司 一种2d图像转3d图像的装置及方法
CN102457738B (zh) * 2010-11-01 2014-08-20 深圳Tcl新技术有限公司 一种2d图像转3d图像的装置及方法
CN103218845A (zh) * 2011-07-25 2013-07-24 索尼电脑娱乐公司 图像处理装置、方法及程序以及存储介质
CN103218845B (zh) * 2011-07-25 2016-02-17 索尼电脑娱乐公司 图像处理装置、方法及程序以及存储介质

Also Published As

Publication number Publication date
DE69516558D1 (de) 2000-06-08
KR100358021B1 (ko) 2003-01-24
DE69516558T2 (de) 2001-01-04
CN1126344A (zh) 1996-07-10
EP0665697A2 (en) 1995-08-02
US5717415A (en) 1998-02-10
EP0665697A3 (en) 1996-04-03
KR950035466A (ko) 1995-12-30
EP0665697B1 (en) 2000-05-03

Similar Documents

Publication Publication Date Title
CN1113320C (zh) 将二维图像转换成三维图像的方法以及三维图像显示系统
CN1136737C (zh) 图像转换和编码技术
CN100348017C (zh) 图像拾取设备和同步信号产生设备
US8384802B2 (en) Image generating apparatus and image regenerating apparatus
CN101573971B (zh) 图像记录装置和图像记录方法
CN105072314A (zh) 一种可自动跟踪目标的虚拟演播室实现方法
CN1630360A (zh) 图像显示方法以及图像显示装置
JPH09508507A (ja) フィルムのようなビデオを生成する装置及び方法
CN102112918A (zh) 复眼成像设备
CN1848916A (zh) 多相机系统、图像拾取设备及方法、控制器及控制方法
JP2013514004A (ja) 近位および遠位に焦点が合わされた画像を用いた３次元記録表示システム
KR20120073098A (ko) 화상처리장치 및 화상처리장치의 제어방법
CN102959467A (zh) 单眼立体成像装置
CN1701594A (zh) 摄像设备
US6748105B1 (en) Method and system for creating anaglyphs
CA2483384C (en) Processing apparatus and computer program for adjusting gamma value
CN1092928A (zh) 图象信号记录装置
JP2005202037A (ja) 立体カメラ
CN1929556A (zh) 视频信号拍摄、处理及传送的系统、方法和设备
JP2010245686A (ja) 撮像装置、画像処理方法、および、画像処理プログラム
JPS6262670A (ja) 画像効果装置
CN1864402A (zh) 视频信号处理设备
JP2003087647A (ja) デジタルスチルカメラ
EP1571834B1 (en) Processing apparatus and computer program for adjusting gamma value
CN1805532A (zh) 用于显示数字图像的方法与装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee