CN1169641A - 立体观看装置和方法 - Google Patents

立体观看装置和方法 Download PDF

Info

Publication number
CN1169641A
CN1169641A CN97111224A CN97111224A CN1169641A CN 1169641 A CN1169641 A CN 1169641A CN 97111224 A CN97111224 A CN 97111224A CN 97111224 A CN97111224 A CN 97111224A CN 1169641 A CN1169641 A CN 1169641A
Authority
CN
China
Prior art keywords
vision signal
prediction
predictive coefficient
obtains
left eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN97111224A
Other languages
English (en)
Other versions
CN1172538C (zh
Inventor
中屋秀雄
近藤哲二郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1169641A publication Critical patent/CN1169641A/zh
Application granted granted Critical
Publication of CN1172538C publication Critical patent/CN1172538C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/167Synchronising or controlling image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种立体观看装置和方法,可获得满意的立体图像而不增加记录或传输信息量。它根据其中心位于每个注意点的规定时空区域中的每组多个像素的层状分布模式对输入视频信号分别分类,然后分别分块输入视频信号,产生预测计算的像素数据,再利用与分类结果对应的预定预测系数,对上述像素数据进行预测计算以产生左眼和右眼视频信号,进而显示立体图像。这样不仅限制了投射到显示装置上立体图像中的闪烁也防止了图像质量的下降。

Description

立体观看装置和方法
本发明涉及立体观看装置和立体观看方法,更具体地涉及采用输入的视频信号来显示立体图像的立体观看装置。
以前,曾提出了各种立体观看装置,例如在“The Report of The TelevisionInstitute Vol.1.45,No.4,PP.446-452(1991)”所公开的装置。
在这些立体观看装置中,其中对应于左眼和右眼的两个图像具有视差,它们以每场交替切换这种方式显示在电视监示器上,而该显示的图像通过液晶光阀眼镜观看,其中左眼光阀和右眼光阀与显示的图像同步地打开和关闭,因此实现立体观看。
由此,在通过在电视监示器上交替显示对应于左眼和右眼的两个图像而实现立体观看的方法中,通常需要记录或传输原先由两台电视摄像机摄取的左眼和右眼图像。因此,其缺点是为了不损坏图像的时间分辨率就需要两倍的信息量,如果信息量不增加,因为时间分辨率的劣化,就会出现闪烁以及图像质量的下降。
由此,本发明的目的是提供一种立体观看装置和立体观看方法,它可获得满意的立体图像,而不增加记录信息量或传输信息量。
通过提供包括如下部分的立体观看装置,本发明的上述目的和其它目的可以达到,这些部分是:分类装置,用于基于在规定时空区域中的多个像素的层状分布模式来分别分类输入的视频信号;预测分块装置,通过对在规定时空区域中的多个像素中的每组多个像素分块输入的视频信号,而产生预测计算的像素数据;预测处理装置,它事先具有分别对应于多个分类的多组预测系数,并利用从每个所说预测系数组出来的、与基于分类装置的输出而获得的分类结果对应的预测系数,而对基于预测分块装置的输出而获得的预测计算像素数据进行预测计算,并因此分别产生用于左眼的视频信号和用于右眼的视频信号;以及显示装置,基于在预测处理装置输出的基础上获得的用于左眼的视频信号和用于右眼的视频信号而显示立体图像。
此外,本发明提供一种立体观看方法,它包括:第一步骤,对于在规定时空区域中的每组多个像素,基于每个所说像素的层状分布模式,对输入视频信号分别分类;第二步骤,通过对在规定的时空区域中的每组多个像素分块输入视频信号,而产生用于预测计算的像素数据;第三步骤,利用从与事先准备的多个分类分别对应的多个预测系数组出来的、与基于分类装置的输出而获得的分类结果对应的预测系数,而对基于预测分块装置的输出而获得的预测计算像素数据进行预测计算,并因此分别产生用于左眼的视频信号和用于右眼的视频信号;第四步骤,基于用于左眼的视频信号和用于右眼的视频信号而显示立体图像。
因此,按照本发明,立体图像可被投射到显示装置上,闪烁被消除,还可避免图像质量的下降,这是由于安装了:分类装置,用于基于在规定时空区域中的多个像素的层状分布模式来分别分类输入的视频信号;预测分块装置,通过对在规定时空区域中的多个像素中的每组多个像素分块输入的视频信号,而产生预测计算的像素数据;预测处理装置,它事先具有分别对应于多个分类的多组预测系数,并利用从每个所说预测系数组出来的、与基于分类装置的输出而获得的分类结果对应的预测系数,而对基于预测分块装置的输出而获得的预测计算像素数据进行预测计算,并因此分别产生用于左眼的视频信号和用于右眼的视频信号;以及显示装置,基于在预测处理装置输出的基础上获得的用于左眼的视频信号和用于右眼的视频信号而显示立体图像。
此外,按照本发明,之所以能消除闪烁并避免图像质量的下降,是由于这样的事实:对于在规定时空区域中的每组多个像素,基于每个所说像素的层状分布模式,对输入视频信号分别分类;通过对在规定的时空区域中的每组多个像素分块输入视频信号,而产生用于预测计算的像素数据;然后利用从与事先准备的多个分类分别对应的多个预测系数组出来的、与基于分类装置的输出而获得的分类结果对应的预测系数,而对基于预测分块装置的输出而获得的预测计算像素数据进行预测计算,并因此分别产生用于左眼的视频信号和用于右眼的视频信号;最后基于用于左眼的视频信号和用于右眼的视频信号而显示立体图像。
通过下面结合附图对本发明的最佳实施例进行详细描述,本发明的上述特点、原理和应用将更清楚,附图中相同的部件用相同的标号或字符表示。
附图中:
图1是按照本发明实施例的立体观看装置结构的方框图;
图2A和2B是说明用于分类的分块的示意图;
图3是说明由预测分块电路形成的预测分块的示意图;
图4是预测处理电路结构的方框图;
图5是说明用于学习的视频信号的示意图;
图6是系数学习电路结构的方框图;
图7是最小二乘方法的计算电路结构的方框图;
图8是说明构成乘法器阵列结构的示意图;
图9是说明图8的乘法器阵列详细构成的示意图;
图10图示加法存贮器结构的示意图;和
图11A和11B是本发明另一实施例的用于分类的分块的示意图。
下面将结合附图对本发明的最佳实施例进行描述。
在图1中,标号1整体表示立体观看装置。从单一输入的电视信号S1中产生具有视差的用于左眼的视频信号(以后称为左眼视频信号)S2L和用于右眼的视频信号(以后称为右眼视频信号)S2R。基于每左眼视频信号S2L和右眼视频信号S2R的图像被显示在显示装置2上。
在这种情况下,通过模数转换电路(A/D)3,立体观看装置1以13.5MHz的取样频率将接收的输入电视信号S1转换成电视数据D1。该电视数据D1直接加到用于分类的分块电路4,也通过延迟电路5加到用于分类的分块电路4。在这种接连中,基于通过规定取样频率取样而形成的电视数据D1的图像尺寸成为每帧约720水平像素×480垂直行。
为了基于在规定像素周围的小区域中的图像部分的图像内容的特征而找到分类码,用于分类的分块电路4通过时空方面上对每个像素的周围像素进行分块。结果用于分类的分块电路4收集由像素数据组成的分块的像素数据D2。这些像素在这样的三维区域中,其中心位于注意点的像素上,它们从时空上(即注意点所在的帧和覆盖先前和以后帧的邻近区域)被看成一个块。然后像素数据D2被送到分类电路6。
图2A显示了分类块的例子。用于分类的分块电路4选择位于第一帧斜上部分和斜下部分的两个点F11和F12,在第二帧的该扫描行上的邻近两个点F21和F22,位于第三帧斜上部分和斜下部分的两个像素F31和F32,作为周围像素,来预测在第二帧的规定注意点F2X,然后将各个像素的像素数据作为分块的像素数据D2输出到分类电路6。
图2B显示了注意点F2Y的分类块,该点邻近于注意点F2X(图2A)并正好在第二帧下面。用于分类的分块电路4收集下列像素成一块:位于第一帧正面的单个像素F10,第二帧内位于斜上部分的两个像素F21和F22,以及第二帧内位于斜下部分的两个像素F23和F24,以及位于第三帧正面的单个像素F30,然后将各个像素的像素数据作为分块的像素数据D2输出到分类电路6。
此后,用于分类的分块电路4对整个屏幕以类似方式进行这样的分块处理(即对第二帧中的注意点F2X和F2Y进行的上述处理)。
以比如自适应动态范围码(ADRC)压缩处理方式,分类电路6展示用于分类的分块电路4给出的每个分块的像素数据D2,并因此执行基于就分块的像素数据D2的层状分布模式的分类。分类的结果被作为索引数据INDEX输出,它是分类标识号。对于分类电路6中使用的ADRC压缩处理,如果块的区域被限制到图2A和2B所示的微小时空,各个像素数据之间具有很强的相关性。像素数据被压缩在由每块的最小值和最大值表示的动态范围内,因此可实现高压缩。很清楚采用上述压缩方法每个像素的像素数据的层状分布模式具有简单的分布。
这种特征可理解为:例如,亮度的分配在块中具有上凸分布(即在块中具有峰值)、或具有向下凸(即在块中具有底谷)分布,或具有无亮度峰值或低谷的平坦分布的层状分布模式。
基于分类块中的层状分布模式,分类电路6给每个模式分配一个分类码,以产生索引数据INDEX。
立体观看装置1将从模数转换电路5输出的电视数据D1直接加到延迟电路7,也通过延迟电路5将它加到延迟电路7。电视数据D1由延迟电路7延迟所说分类电路6进行分类处理所需的时间,然后将它提供到左眼的分类适配处理部分8的预测分块电路9,并提供到右眼的分类适配处理部分10的预测分块电路11。
预测分块电路9和11将其中心位于在用于分类的分块电路4中所用注意点的规定的时空区域中的每个像素的像素数据,作为预测计算的像素数据D3和D4,分别提供到预测处理电路12和13。在此,由预测分块电路9和11形成的块比由用于分类的分块电路4形成的块要大,由此增强了注意点的像素数据的预测精度。此外,如图3所示,对于预测分块电路11中的块区域AR2,在预测分块电路9中的块区域AR1被排列到偏向左边对应于几个像素的量。偏移量按照要产生的左眼图像和右眼图像之间的视差来选择。
在此,如图4所示,预测处理电路12(和13)解码从索引解码电路20的分类电路6给出的索引数据INDEX,以产生系数设置的存贮器地址信号S3,因此访问系统设置的存贮器M1,M2…MK中的一个(它们存贮了对应于由索引数据INDEX表示的像素块的层状分布模式的多个系数组W1,W2,…Wn),并借此将系数数据W1,W2,…Wn的单个组分别读到系数寄存器21A1,21A2,…21An。
读入到系数寄存器21A1,21A2,…21An的系数数据WI,W2,…Wn在乘法器22A1,22A2,…22An中乘以由预测分块电路9(和11)传递来的预测计算的像素数据D3(和D4)的数据x1,x2,…xn,相乘的结果在加法器23中相加,然后相加的结果作为左眼的图像数据D5L(和右眼的图像数据D5R)从预测处理电路12(和13)输出。
在这种情况下,左眼的图像数据D5L和右眼的图像数据D5R以13.5MHz的像素时钟分别从预测处理电路12和13输出,分别基于左眼图像数据D5L和右眼图像数据D5R的图像尺寸约为每帧720水平像素×480垂直行。以这种方法,左眼图像数据D5L和右眼图像数据D5R的信息量增加到输出的电视信号S1的信息量的两倍,因此可避免时间分辨度和空间分辨度下降。
左眼图像数据D5L和右眼图像数据D5R被分别写入到帧存贮器(FM)31和32。
立体观看装置1然后提供输入的电视信号S1到同步提取电路33,同步提取电路33从输入的电视信号S1中提取垂直同步信号V和水平同步信号H,并将它送到定时控制器34。
基于输入的垂直同步信号V和水平同步信号H,定时控制器34产生读时钟信号S5,同时提供该读时钟信号S5到帧存贮器31和32。
这样,响应于读时钟信号S5输入的定时,与电视信号S1同步的方式,帧存贮器31和32分别读取左眼图像数据D5L和右眼图像数据D5R。
左眼图像数据D5L和右眼图像数据D5R由数模转换电路(D/A)35和36分别转换成左眼视频信号S2L和右眼视频信号S2R,然后被提供到显示装置2。
在这种情况下,显示装置2由分别对应于左眼和右眼的两个液晶显示器组成,因此可安装在头上,比如帽舌样(visortron),因此当人们戴上显示装置2时,他就可欣赏到立体图像了。
通过学习事先获得分别存贮在预测处理电路12(和13)的系数设置存贮器M1,M2,…MK中的每组系数数据W1,W2,…Wn。
在这种情况下,如图5所示,在学习中,左眼电视摄像机40L和右眼电视摄像机40R分别位于对应于左眼和右眼的位置,对应于原始电视摄像机的中央电视摄像机40C位于左眼电视摄像机40L和右眼电视摄像机40R之间,它们同时拍摄标准物体41而获得左眼视频信号,右眼视频信号和中央视频信号被首先使用。
事实上,由左眼电视摄像机40L,右眼电视摄像机40R和中央电视摄像机40C获得的左眼视频信号和右眼视频信号和中央视频信号被用于系数学习电路50,其结构如图6所示,它与图1相应的部分具有与图1相同的标号。
在这种情况下,用与立体观看装置1(图1)情况相同的时钟频率(在该实施例中为13.5MHz),在模数转换电路3中,系数学习电路50将从中央电视摄像机40C获得的中央视频信号S10C转换成中央图像数据D10C,然后将该中央图像数据D10C以与立体观看装置1相同的方式提供到用于分类的分块电路4。
用于分类的分块电路4获取以同于立体观看装置1的方式从中央图像数据D10C提取的像素,并以同于用于分类的分块电路4的分块操作的方式,用存在于以注意点为中心的时空区域内的像素形成一个块,然后将由该块中每个像素的像素数据组成的分块像素数据D11提供到分类电路6。
分类电路6通过对该块中像素进行的ADRC压缩处理执行基于层状分布模式的分类,分类电路6提供代表分类结果的分类码号的索引数据INDEX1到学习电路51和52。
此外,以同于立体观看装置1中的方式,系数学习电路50将从模数转换电路3输出的中央图像数据D10C提供到预测分块电路9和预测分块电路11。预测分块电路9和11将规定的时空区域中每个像素的像素数据作为分块的像素数据D12分别提供到学习电路51和52,该规定的时空区域的中心是用于分类的分块电路4所用的注意点。
另外,由左眼电视摄像机40L获得的左眼视频信号S10L由模数转换电路53转换成左眼图像数据D13L,然后通过延迟电路54提供到学习电路51。而由右眼电视摄像机40R获得的右眼视频信号S10R由模数转换电路55转换成右眼图像数据D13R,然后通过延迟电路56提供到学习电路52。
通过使用最小二乘方法的计算电路和将左眼图像数据D13L用作为教学数据的学习,学习电路51为由索引数据INDEX1代表的每个分类获得系数数据W1,W2,…Wn,它们用来与作为分块的像素数据D12而提供的像素数据相乘,因此,输出左眼的每组系数数据W1,W2,…Wn,并使每组这种数据存贮在各个相应的系数设置存贮器M1,M2,…MK(图4)中。
以类似方式,通过使用最小二乘方法的计算电路和将右眼图像数据D13R用作为教学数据的学习,学习电路52为由索引数据1NDEX1代表的每个分类获得系数数据W1,W2,…Wn,它们用来与作为分块的像素数据D12而提供的像素数据相乘,因此,输出右眼的每组系数数据W1,W2,…Wn,并使每组这种数据存贮在各个相应的系数设置存贮器M1,M2,…MK(图4)中。
在这种连接中,基于由同步提取电路33提取的中央视频信号S10C的垂直同步信号V1和水平同步信号H1,定时控制器34产生用于调整比如用于分类的分块电路4和预测分块电路9和11之间分块定时的定时控制信号。
在这点上,将解释在最小二乘方法的计算电路中计算每组系数数据W1,W2,…Wn的方法。在这种情况下,按照下述理论模型,利用最小二乘方法,最小二乘方法的计算电路找到下述两者的相互关系,即由分块的像素数据D12代表的多个像素值(下面称为中央像素值)和由左眼图像数据D13L(和右眼图像数据D13R)代表的注意点像素值(左眼像素值和右眼像素值)之间的关系。
首先,假设中央像素值Xmn(其中,m=1,2,…m,n=1,2,…n)与左眼像素值=δym(m=1,2,…m)之间具有线性一阶表达式组合关系,系数为Wn(n=1,2,…n),如下面的等式(1):
XW=Y                                           ……(1)
其中有下述等式(2): X = x 11 x 12 . . . x 1 n x 21 x 22 . . . x 2 n . . . . . . . . . . . . x m 1 x m 2 . . . x mn , W = w 1 w 2 . . . w n , Y = δy 1 δy 2 . . . δy m . . . . . . ( 2 )
为了利用未知系数Wi(i=1,2,…n)根据表达式(1)求解待解方程式,考虑下列余数方程:
XW=Y+E                                             ……(3)
并且找出对应于残差em(m=1,2,…m)的未知的系数Wi(i=i,2,…n),残差由下述等式(4)表示: E = e 1 e 2 . . . e m . . . . . . . . . ( 4 ) 这仅仅需要找出使下述表达式(5)最小的条件: Σ i = 1 m e 1 2 = e 1 2 + e 2 2 + . . . + e m 2 . . . . . . ( 5 ) 系数Wi(i=i,2,…n)满足下述表达式(6):
这样,对表达式(3)中的未知的系数Wi(i=i,2,…n)取偏分,给出了下述表达式(7):因此,将表达式(7)代入表达式(6),并将i=i,2,…n代入表达式(6),产生了下述条件表达式(8): Σ i = 1 n e i x i 1 = 0 , Σ i = 1 n e i x i 2 = 0 , . . . . . . . , Σ i = 1 n e i x im = 0 . . . . . . . . . . ( 8 ) 然后由表达式(3)和表达式(8)获得了下述的表达式的正规方程式(9):
在此,因为表达式(9)为联立方程式,具有“n”个未知数,最可能的系数值Wi(i=i,2,…n)可从该联立方程式中获得;正确地说,如果矩阵用表达式(9)中的未知数Wi相乘,即下述的表达式(10)是正则的,它能求出未知的系数Wi。事实上,用Gauss-Jordan消除法(消去法)来解出该联立方程式。 ( Σ j = 1 m x jk x jl )
其中,(k=1,2,…,n  l=1,2,…,n)    ……(10)
在此,如图7所示,基于该理论模型,学习电路51(和52)的最小二乘方法计算电路51A(和52A)具有乘法阵列61,以执行XjnXjn(j=1,2,…n,n=1,2,…n)与表达式(9)中Xjn δyj(j=1,2,…n,n=1,2,…n)相乘,该计算的结果,即XjnXjn(j=1,2,…n,n=1,2,…n)与Xjn δyj(j=1,2,…n,n=1,2,…n)相乘的结果被加到加法存贮器62。表达式(9)中的每个联立方程式的每一项被记录在加法存贮器62中;在后面的系数计算电路63中采用Gauss-Jordan消除法(消去法)解出从加法存贮器62给出的联立方程式,就可获得系数Wi(i=1,2,…n),这样系数数据W1,W2,…Wn从系数计算电路63发出。
在这种情况下,如图8所示,最小二乘法计算电路51A(和52A)的乘法器阵列61对应于表达式(9)的项XjnXjn(j=1,2,…n,n=1,2,…n)的斜右半部分的项,并分别只提供有图9所示结构的乘法器61A,因此,结构被简化。在这种连接中,右上项在表达式(9)的正规方程组中转置,变成与左下项相同,因此,只对乘法器61A提供对应于右上项的数据。
此外,如图10所示,加法存贮器62包括加法器阵列65和由分类号指定的存贮器(或寄存器)阵列66A、66B、…66K。就存贮器阵列66A、66B、…66K来说,当从分类电路6提供的索引数据INDEX1被给予它时,响应于通过在索引解码电路67中解码索引数据INDEX1而获得的地址信号S20,而指定一个存贮器阵列66A、66B、…或66K,然后指定的存贮器阵列66A、66B、…或66K的存贮值被反馈到加法器62。此时用加法器阵列62获得的相加结果再被存贮在相应的存贮器阵列66A、66B、…或66K中。
当已经完成的分类由索引数据INDEX1指定时,基于表达式(9)的正规方程式从与之对应的存贮区域中读出,通过系数计算电路63中的计算找到了系数Wi(i=1,2,…,n),因此,系数数据W1,W2,…,Wn从系数计算电路63中发出并存贮在由预测处理电路12(和13,图1)的ROM组成的系数设置存贮器M1,M2,…MK中。
在上述结构中,当包括广播信号等的输入的电视信号S1输入时,立体观看装置1对每个注意点分类输入的电视信号S1,并利用与分类结果对应的右眼预测系数数据W1,W2,…,Wn和左眼的预测系数数据W1,W2,…,Wn,对分别基于电视信号S1的预测计算的像素数据D3和D4进行预测计算,以产生左眼图像数据D5L和右眼图像数据D5R。结果,它能产生左眼图像数据D5L和右眼图像数据D5R,而不损坏时间分辨率,甚至传输或记录的信息量也不增加。
此外,立体观看装置1使显示装置2以同步于输入电视信号S1的方式来显示左眼图像数据D5L和右眼图像数据D5R。因此,观看者可在显示装置2上欣赏到无闪烁的立体图像。
按照上述结构,响应于由其中心位于每个注意点的时空区域内的像素形成的层状分布模式,分类电路6首先对输入电视信号S1进行分类,基于该分类结果产生索引数据INDEX。另外,通过对在其中心位于上述注意点的规定时空区域中的每个像素分块输入的电视信号S1,预测分块电路9和11产生用于预测计算的图像数据D3和D4。预测处理电路12和13事先具有与各个分类对应的预测系数组,利用这些预测系数组中的与索引数据INDEX对应的预测系数,预测处理电路分别处理对预测计算的像素数据D3和D4的预测计算,从而产生左眼图像数据D5L和右眼图像数据D5R。然后,基于左眼图像数据D5L和右眼图像数据D5R,提供了用于投射立体图像的显示装置2,由此立体图像可被投射在显示装置2上,闪烁被限制,又防止了图像质量的下降。另外在不增加记录信息量或传输信息量的情况下,可获得满意的立体观看图像。
在上述的实施例的描述中,基于层状分布模式,作为对在其中心位于注意点的规定的时空区域中的每个像素进行分类的方法,采用了ADRC。可是,本发明不限制于此,它可采用各种压缩方法,比如离散余弦变换(DCT),差分量化(DPCM),以及BTC(Block Truncation Coding块截尾编码)。
此外,在上述实施例的描述中,使用了ROM作为存贮预测系数的存贮装置。然而,可用RAM(随机存取存贮器)或SRAM来代替。
另外,在上述实施例中,所描述的情况是,模数转换电路3、53和55以取样频率为13.5MHz执行转换操作。但本发明并不限制于此,如果需要的话,该时钟频率可改变为比如14.3MHz。
而且,在上述的实施例中,所描述的情况是,在左眼和右眼分类适配处理电路8和10中的分类适配处理是由硬件实现的。可是本发明并不限制于此,它可用软件来实现,比如数字数据被放入计算机中。
再有,在上述的实施例中,所描述的情况是,基于从输入的电视信号S1产生的左眼视频信号S2L和右眼视频信号S2R,立体图像被显示在显示装置2上。可是,本发明并不限制于此,而是在下述情况下也能达到相同的效果,即从输入的电视信号S1产生的左眼视频信号S2L和右眼视频信号S2R曾经记录在记录装置内并随后从记录装置重放,以便提供到显示装置2。
还有,在上述的实施例中,所描述的情况是,在用于分类的分块电路4上对钻石形小区域而进行电视数据D1的用于分类的分块,如图2A和2B所示。可是,本发明并不限制于此,而是可对矩形小块进行分类的分块,如图11A和11B所示。
结合最佳实施例已经对本发明的进行了描述,但对本领域技术人员来说,显而易见的是由所附权利要求覆盖的各种变化和修改均落入本发明的实质和范围之内。

Claims (8)

1.一种基于输入的视频信号来显示立体图像的立体观看装置,所说装置包括:
分类装置,用于基于在规定时空区域中的多个像素的层状分布模式来分别分类所说输入的视频信号;
预测分块装置,通过对在规定时空区域中的多个像素中的每组多个像素分块所说输入的视频信号,而产生预测计算的像素数据;
预测处理装置,它事先具有分别对应于多个分类的多组预测系数,并利用从每个所说预测系数组出来的、与基于所说分类装置的输出而获得的分类结果对应的所说预测系数,而对基于所说预测分块装置的输出而获得的所说预测计算像素数据进行预测计算,并因此分别产生用于左眼的视频信号和用于右眼的视频信号;以及
显示装置,基于在所说预测处理装置输出的基础上获得的所说用于左眼的视频信号和所说用于右眼的视频信号而显示所说立体图像。
2.按照权利要求1的立体观看装置,其中所说预测处理装置包括:
用于左眼的预测系数存贮装置,它存贮与各个分类对应的事先由学习获得的用于左眼的预测系数;
用于右眼的预测系数存贮装置,它存贮与各个分类对应的事先由学习获得的用于右眼的预测系数;
用于左眼的计算装置,响应基于所说分类装置的输出获得的分类结果,它使用从所说用于左眼的预测系数存贮装置输出的所说预测系数,也使用基于所说预测分块装置的输出而获得的所说预测计算像素数据,通过执行基于线性一阶组合表达式的计算来产生所说左眼视频信号;和
用于右眼的计算装置,响应基于所说分类装置的输出获得的分类结果,它使用从所说用于右眼的预测系数存贮装置输出的所说预测系数,也使用基于所说预测分块装置的输出而获得的所说预测计算像素数据,通过执行基于线性一阶组合表达式的计算来产生所说右眼视频信号。
3.按照权利要求1的立体观看装置,其中,所说预测系数如此获得:
由放置在相互之间具有视差的规定位置上的中央图像输入单元、左眼图像输入单元和右眼图像输入单元分别获得的中央视频信号、左眼视频信号和右眼视频信号中,以所说分类装置所采用的相同方法对从中央图像输入单元获得的中央视频信号分类。
对于每个所说分类,从所说左眼图像输入单元获得的所说左眼视频信号和从所说右眼图像输入单元获得的所说右眼视频信号被认为是教学数据,该教学数据用所说中央视频信号和多个系数的线性一阶组合表达式表示;和
每个所说系数由使用最小二乘法的学习获得。
4.按照权利要求1的立体观看装置,其中
所说显示装置由分别显示所说左眼视频信号和所说右眼视频信号的头戴型液晶显示器组成。
5.一种基于输入的视频信号来显示立体图像的立体观看方法,所说方法包括:
第一步骤,基于在规定时空区域中的多个像素的层状分布模式,对所说输入视频信号分别分类;
第二步骤,通过对在规定的时空区域中的每组多个像素分块所说输入的视频信号,而产生用于预测计算的像素数据;
第三步骤,利用从事先准备的与多个分类分别对应的多个预测系数组出来的、与基于所说分类装置的输出而获得的分类结果对应的所说预测系数,而对基于所说预测分块装置的输出而获得的所说预测计算像素数据进行预测计算,并因此分别产生用于左眼的视频信号和用于右眼的视频信号;和
第四步骤,基于所说用于左眼的视频信号和所说用于右眼的视频信号而显示所说立体图像。
6.按照权利要求5的立体观看方法,其中
在所说第三步骤中,
响应于基于所说分类装置的输出而获得的分类结果,使用从所说左眼预测系数存贮装置输出的所说预测系数,该左眼预测系数存贮装置存贮通过学习而事先获得的并与各个分类对应的左眼预测系数,还使用基于所说预测分块装置的输出而获得的所说预测计算的像素数据,通过基于线性一阶组合表达式的计算来产生所说的左眼视频信号;和
响应于基于所说分类装置的输出而获得的分类结果,使用从所说右眼预测系数存贮装置输出的所说预测系数,该右眼预测系数存贮装置存贮通过学习而事先获得的并与各个分类对应的右眼预测系数,还使用基于所说预测分块装置的输出而获得的所说预测计算的像素数据,通过基于线性一阶组合表达式的计算来产生所说的右眼视频信号。
7.按照权利要求5的立体观看方法,其中
所说预测系数如此获得:
由放置在相互之间具有视差的规定位置上的中央图像输入单元、左眼图像输入单元和右眼图像输入单元分别获得的中央视频信号、左眼视频信号和右眼视频信号中,以所说分类装置所采用的相同方法对从中央图像输入单元获得的中央视频信号分类。
对于每个所说分类,从所说左眼图像输入单元获得的所说左眼视频信号和从所说右眼图像输入单元获得的所说右眼视频信号被认为是教学数据,该教学数据用所说中央视频信号和多个系数的线性一阶组合表达式表示;和
每个所说系数由使用最小二乘法的学习获得。
8.按照权利要求5的立体观看方法,其中
所说显示装置由分别显示所说左眼视频信号和所说右眼视频信号的头戴型液晶显示器组成。
CNB97111224XA 1996-04-05 1997-04-05 立体观看装置和方法 Expired - Fee Related CN1172538C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP110314/96 1996-04-05
JP110314/1996 1996-04-05
JP11031496A JP3781210B2 (ja) 1996-04-05 1996-04-05 立体視化装置及び立体視化方法

Publications (2)

Publication Number Publication Date
CN1169641A true CN1169641A (zh) 1998-01-07
CN1172538C CN1172538C (zh) 2004-10-20

Family

ID=14532582

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB97111224XA Expired - Fee Related CN1172538C (zh) 1996-04-05 1997-04-05 立体观看装置和方法

Country Status (3)

Country Link
US (1) US6078352A (zh)
JP (1) JP3781210B2 (zh)
CN (1) CN1172538C (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101689354B (zh) * 2007-06-27 2013-11-06 汤姆逊许可证公司 用于显示三维图像的方法
CN106878740A (zh) * 2015-12-10 2017-06-20 格科微电子(上海)有限公司 适用于液晶显示驱动的图像压缩方法和图像压缩系统
CN109729760A (zh) * 2016-12-04 2019-05-07 翁巨扬 即时180度3d成像和回放方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6760034B2 (en) * 2001-10-30 2004-07-06 Emagin Corporation Three dimensional display emulation method and system
US20030128175A1 (en) * 2002-01-09 2003-07-10 International Business Machines Corporation Stereoscopic display system and method
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
USD603445S1 (en) 2009-03-13 2009-11-03 X6D Limited 3D glasses
USRE45394E1 (en) 2008-10-20 2015-03-03 X6D Limited 3D glasses
USD624952S1 (en) 2008-10-20 2010-10-05 X6D Ltd. 3D glasses
USD666663S1 (en) 2008-10-20 2012-09-04 X6D Limited 3D glasses
US8542326B2 (en) 2008-11-17 2013-09-24 X6D Limited 3D shutter glasses for use with LCD displays
CA2684513A1 (en) 2008-11-17 2010-05-17 X6D Limited Improved performance 3d glasses
USD646451S1 (en) 2009-03-30 2011-10-04 X6D Limited Cart for 3D glasses
USD650956S1 (en) 2009-05-13 2011-12-20 X6D Limited Cart for 3D glasses
USD672804S1 (en) 2009-05-13 2012-12-18 X6D Limited 3D glasses
USD692941S1 (en) 2009-11-16 2013-11-05 X6D Limited 3D glasses
USD669522S1 (en) 2010-08-27 2012-10-23 X6D Limited 3D glasses
USD671590S1 (en) 2010-09-10 2012-11-27 X6D Limited 3D glasses
USD662965S1 (en) 2010-02-04 2012-07-03 X6D Limited 3D glasses
US8493438B2 (en) * 2010-03-01 2013-07-23 Verizon Patent And Licensing Inc. Methods and systems for presenting three-dimensional video content
USD664183S1 (en) 2010-08-27 2012-07-24 X6D Limited 3D glasses
US8717425B2 (en) 2011-11-18 2014-05-06 Leslie C. Hardison System for stereoscopically viewing motion pictures
USD711959S1 (en) 2012-08-10 2014-08-26 X6D Limited Glasses for amblyopia treatment

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05300544A (ja) * 1992-04-23 1993-11-12 Sony Corp 映像表示装置
JP2846840B2 (ja) * 1994-07-14 1999-01-13 三洋電機株式会社 2次元映像から3次元映像を生成する方法
KR100381348B1 (ko) * 1995-04-17 2003-07-07 산요 덴키 가부시키가이샤 2차원 영상을 3차원 영상으로 변환하는 방법
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101689354B (zh) * 2007-06-27 2013-11-06 汤姆逊许可证公司 用于显示三维图像的方法
CN106878740A (zh) * 2015-12-10 2017-06-20 格科微电子(上海)有限公司 适用于液晶显示驱动的图像压缩方法和图像压缩系统
CN106878740B (zh) * 2015-12-10 2022-11-01 格科微电子(上海)有限公司 适用于液晶显示驱动的图像压缩方法和图像压缩系统
CN109729760A (zh) * 2016-12-04 2019-05-07 翁巨扬 即时180度3d成像和回放方法

Also Published As

Publication number Publication date
JPH09275577A (ja) 1997-10-21
US6078352A (en) 2000-06-20
JP3781210B2 (ja) 2006-05-31
CN1172538C (zh) 2004-10-20

Similar Documents

Publication Publication Date Title
CN1172538C (zh) 立体观看装置和方法
CA2060831C (en) Pixel interlacing apparatus and method
RU2290769C9 (ru) Способ автостереоскопического воспроизведения изображения с помощью матрицы волновых фильтров
US6535629B2 (en) Stereoscopic image encoding
CN1882080A (zh) 包括图像数据的传输流结构及收发图像数据的设备和方法
US20080291267A1 (en) Lenticular Autostereoscopic Display Device and Method, and Associated Autostereoscopic Image Synthesising Method
CN87103561A (zh) 图象的显示方法及装置
CN1290326C (zh) 运动和边缘-自适应信号帧频上变频的方法和系统
CA2488925A1 (en) Method for producing stereoscopic images from monoscopic images
CN1080453A (zh) 数字视频信号处理器设备
CN1244278A (zh) 用于从二维视频源中合成出三维视频的系统和方法
KR20110113923A (ko) 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치
JPH03227179A (ja) 画像データ処理装置
JPH09271042A (ja) 立体視化方法及び装置
US20130088485A1 (en) Method of storing or transmitting auto-stereoscopic images
JPH077724A (ja) 高画質テレビのラスターフォーマットコンバーター回路
CN108495111B (zh) 一种基于成像几何特征的立体元图像阵列编码方法
CN104038726A (zh) 实现裸眼3d视频会议的方法
CN1254773C (zh) 交错式立体影像的产生装置及方法
CN1168060A (zh) 在基于块的视频编码系统中确定最佳网格的方法和设备
Forman et al. Compression of integral 3D TV pictures
Forman Compression of integral three-dimensional television pictures
Shah et al. Issues in multiview autostereoscopic image compression
JP2004179703A (ja) 立体画像処理方法及びプログラム及び記録媒体
Forman et al. Compression of full-parallax integral 3D-TV image data

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20041020

Termination date: 20150405

EXPY Termination of patent right or utility model