CN102263969A - 视频信号处理装置、视频信号处理方法，以及计算机程序 - Google Patents

视频信号处理装置、视频信号处理方法，以及计算机程序 Download PDF

Info

Publication number
CN102263969A
CN102263969A CN2011101419201A CN201110141920A CN102263969A CN 102263969 A CN102263969 A CN 102263969A CN 2011101419201 A CN2011101419201 A CN 2011101419201A CN 201110141920 A CN201110141920 A CN 201110141920A CN 102263969 A CN102263969 A CN 102263969A
Authority
CN
China
Prior art keywords
histogram
vision signal
eye vision
gamma curve
left eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011101419201A
Other languages
English (en)
Inventor
原田茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102263969A publication Critical patent/CN102263969A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/24—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Picture Signal Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种视频信号处理装置、视频信号处理方法，以及计算机程序。该视频信号处理装置包括：直方图检测单元，在输入的立体视频信号中检测左眼视频信号和右眼视频信号中任一个的亮度分布的直方图；伽马曲线计算单元，基于由直方图检测单元检测的直方图计算伽马曲线；以及伽马曲线输出单元，基于由伽马曲线计算单元计算的伽马曲线来校正左眼视频信号和右眼视频信号。

Description

视频信号处理装置、视频信号处理方法,以及计算机程序
技术领域
本公开涉及一种用于处理由左眼视频信号和右眼视频信号形成的立体视频的视频信号处理装置、视频信号处理方法和计算机程序，并且具体地涉及一种用于校正立体视频的图像质量的视频信号处理装置、视频信号处理方法，和计算机程序。
背景技术
通过利用左眼和右眼的视差来显示视频，可以向观察者呈现三维表现的立体视频。在一种呈现立体视频的技术中，观察者佩戴具有特殊光学特性的眼镜，并且呈现具有左眼和右眼之间的视差的图像。例如，时分立体视频显示系统包括以时分方式显示多个不同视频的显示装置和视频观察者佩戴的快门眼镜的组合。该显示装置以极短的周期在屏幕上显示左眼视频和右眼视频，并且同时，与左眼视频的周期和右眼视频的周期同步地、分开为左眼和右眼提供视频。另一方面，在观察者佩戴的快门眼镜中，当正显示左眼视频时，快门眼镜的左眼部分让光线通过，而其右眼部分遮蔽光线。此外，当正显示右眼视频时，快门眼镜的右眼部分让光线通过，而其左眼部分遮蔽光线。
电视机、VTR(磁带录像机)、数字相机、电视摄像机、打印机等等具有输出其图像质量被校正的输入图像的图像处理功能(例如，调节光线和暗度以及对比度并且执行边缘校正的功能)。该图像处理功能被有效地主要应用于具有低对比度的整体上是黑暗的图像和具有模糊细节的图像。
此外，在上述的立体视频显示系统中，由于通常通过两个相机来拍摄左眼视频和右眼视频，所以校正由于相机的位置引起的镜头的亮度和失真、光量的差异和其他，使得在左侧和右侧显示相同的视频。另外，关于左视频和右视频的每一个来校正图像质量。
在图像质量校正中，通常通过校正表示所谓的伽马特性的伽马曲线来执行对比度调节。例如，使用表示输入图像的亮度分布的直方图分布的方法包括三个处理：检测输入图像的亮度分布的直方图，基于该直方图计算伽马曲线，以及使用该伽马曲线来校正输入图像。
当图像处理功能被应用于上述的立体视频时，如果在左眼视频信号和右眼视频信号两个上按原样执行图像质量校正，则处理量是巨大的。此外，如果对于左眼视频信号和右眼视频信号中的每一个的处理结果不同，则这可能不利地造成闪烁。另外，为分开检测左眼视频信号和右眼视频信号的性能，快速地进行该检测，这是因为长的检测时间可能不利地使得难以对运动图像的现场广播应用图像处理功能。
例如，已经建议一种立体视频信号处理装置，其中检测左视频和右视频的每一个的直方图并且校正一个视频信号，以便减少其间的差(例如，参见日本未审查专利申请公开No.2007-151125)。然而，在该处理装置中，由于在左视频信号和右视频信号二者上执行伽马控制(注意一个被校正)，所以处理量是巨大的。
发明内容
期望提供一种能够利用少量的处理来快速地校正立体视频的图像质量的优异的视频信号处理装置、视频信号处理方法和计算机程序。
还期望提供一种能够利用少量的处理快速地对左眼视频信号和右眼视频信号的每一个执行对比度处理的优异的视频信号处理装置、视频信号处理方法和计算机程序。
根据本公开的第一实施例，一种视频信号处理装置，包括：直方图检测单元，在输入的立体视频信号中检测左眼视频信号和右眼视频信号中任一个的亮度分布的直方图；伽马曲线计算单元，基于由直方图检测单元检测的直方图计算伽马曲线；以及伽马曲线输出单元，基于由伽马曲线计算单元计算的伽马曲线来校正左眼视频信号和右眼视频信号。
根据本公开的第二实施例，一种视频信号处理装置，包括：左眼视频信号直方图检测单元，在输入的立体视频信号中检测左眼视频信号的亮度分布的直方图；右眼视频信号直方图检测单元，在立体视频信号中检测右眼视频信号的亮度分布的直方图；最小化单元，对每个亮度等级，最小化左眼视频信号直方图检测单元和右眼视频信号直方图检测单元检测的直方图；伽马曲线计算单元，基于最小化单元处理的直方图，计算伽马曲线；以及伽马曲线输出单元，基于由伽马曲线计算单元计算的伽马曲线来校正左眼视频信号和右眼视频信号。
根据本公开的第三实施例，一种视频信号处理装置，包括：左眼视频信号直方图检测单元，在输入的立体视频信号中检测左眼视频信号的亮度分布的直方图；右眼视频信号直方图检测单元，在立体视频信号中检测右眼视频信号的亮度分布的直方图；平均化单元，对左眼视频信号直方图检测单元和右眼视频信号直方图检测单元检测的直方图进行加权平均；伽马曲线计算单元，基于由平均化单元进行加权平均的直方图，计算伽马曲线；以及伽马曲线输出单元，基于由伽马曲线计算单元计算的伽马曲线来校正左眼视频信号和右眼视频信号。
根据本公开的第四实施例，一种视频信号处理装置，包括：左眼视频信号直方图检测单元，在输入的立体视频信号中检测左眼视频信号的亮度分布的直方图；右眼视频信号直方图检测单元，在立体视频信号中检测右眼视频信号的亮度分布的直方图；最小化单元，对每个亮度等级，最小化左眼视频信号直方图检测单元和右眼视频信号直方图检测单元检测的直方图；平均化单元，对左眼视频信号直方图检测单元和右眼视频信号直方图检测单元检测的直方图进行加权平均；选择单元，选择从左眼视频信号直方图检测单元、最小化单元，和平均化单元输出的直方图中的任一个；伽马曲线计算单元，基于由选择单元选择的直方图，计算伽马曲线；以及伽马曲线输出单元，基于由伽马曲线计算单元计算的伽马曲线来校正左眼视频信号和右眼视频信号。
根据本公开的第五实施例，一种视频信号处理方法，包括：直方图检测步骤，在输入的立体视频信号中检测左眼视频信号和右眼视频信号中任一个的亮度分布的直方图；伽马曲线计算步骤，基于在直方图检测步骤中检测的直方图计算伽马曲线；以及伽马曲线输出步骤，基于由伽马曲线计算步骤中计算的伽马曲线来校正左眼视频信号和右眼视频信号。
根据本公开的第六实施例，一种视频信号处理方法，包括：左眼视频信号直方图检测步骤，在输入的立体视频信号中检测左眼视频信号的亮度分布的直方图；右眼视频信号直方图检测步骤，在立体视频信号中检测右眼视频信号的亮度分布的直方图；最小化步骤，对每个亮度等级，最小化左眼视频信号直方图检测步骤和右眼视频信号直方图检测步骤中检测的直方图；伽马曲线计算步骤，基于最小化步骤中处理的直方图，计算伽马曲线；以及伽马曲线输出步骤，基于由伽马曲线计算步骤中计算的伽马曲线来校正左眼视频信号和右眼视频信号。
根据本公开的第七实施例，一种视频信号处理方法，包括：左眼视频信号直方图检测步骤，在输入的立体视频信号中检测左眼视频信号的亮度分布的直方图；右眼视频信号直方图检测步骤，在立体视频信号中检测右眼视频信号的亮度分布的直方图；平均化步骤，对左眼视频信号直方图检测步骤和右眼视频信号直方图检测步骤中检测的直方图进行加权平均；伽马曲线计算步骤，基于由平均化步骤中加权平均的直方图，计算伽马曲线；以及伽马曲线输出步骤，基于由伽马曲线计算步骤中计算的伽马曲线来校正左眼视频信号和右眼视频信号。
根据本公开的第八实施例，一种视频信号处理方法，包括：左眼视频信号直方图检测步骤，在输入的立体视频信号中检测左眼视频信号的亮度分布的直方图；右眼视频信号直方图检测步骤，在立体视频信号中检测右眼视频信号的亮度分布的直方图；最小化步骤，对每个亮度等级，最小化左眼视频信号直方图检测步骤和右眼视频信号直方图检测步骤中检测的直方图；平均化步骤，对左眼视频信号直方图检测步骤和右眼视频信号直方图检测步骤中检测的直方图进行加权平均；选择步骤，选择从左眼视频信号直方图检测步骤、最小化步骤，和平均化步骤中输出的直方图中的任一个；伽马曲线计算步骤，基于由选择步骤中选择的直方图，计算伽马曲线；以及伽马曲线输出步骤，基于由伽马曲线计算步骤中计算的伽马曲线来校正左眼视频信号和右眼视频信号。
根据本公开的第九实施例，一种以计算机可读格式描述的、使得在计算机上处理立体视频信号的计算机程序，促使计算机起到以下单元的作用，所述单元包括：直方图检测单元，在立体视频信号中检测左眼视频信号和右眼视频信号中任一个的亮度分布的直方图；伽马曲线计算单元，基于由直方图检测单元检测的直方图计算伽马曲线；以及伽马曲线输出单元，基于由伽马曲线计算单元计算的伽马曲线来校正左眼视频信号和右眼视频信号。
根据本公开的第十实施例，一种以计算机可读格式描述的、使得在计算机上处理立体视频信号的计算机程序，促使计算机起到以下单元的作用，所述单元包括：左眼视频信号直方图检测单元，在立体视频信号中检测左眼视频信号的亮度分布的直方图；右眼视频信号直方图检测单元，在立体视频信号中检测右眼视频信号的亮度分布的直方图；最小化单元，对每个亮度等级，最小化左眼视频信号直方图检测单元和右眼视频信号直方图检测单元检测的直方图；伽马曲线计算单元，基于最小化单元处理的直方图，计算伽马曲线；以及伽马曲线输出单元，基于由伽马曲线计算单元计算的伽马曲线来校正左眼视频信号和右眼视频信号。
根据本公开的第十一实施例，一种以计算机可读格式描述的、使得在计算机上处理立体视频信号的计算机程序，促使计算机起到以下单元的作用，所述单元包括：左眼视频信号直方图检测单元，在立体视频信号中检测左眼视频信号的亮度分布的直方图；右眼视频信号直方图检测单元，在立体视频信号中检测右眼视频信号的亮度分布的直方图；平均化单元，对左眼视频信号直方图检测单元和右眼视频信号直方图检测单元检测的直方图进行加权平均；伽马曲线计算单元，基于由平均化单元进行加权平均的直方图，计算伽马曲线；以及伽马曲线输出单元，基于由伽马曲线计算单元计算的伽马曲线来校正左眼视频信号和右眼视频信号。
根据本公开的第十二实施例，一种以计算机可读格式描述的、使得在计算机上处理立体视频信号的计算机程序，促使计算机起到以下单元的作用，所述单元包括：左眼视频信号直方图检测单元，在立体视频信号中检测左眼视频信号的亮度分布的直方图；右眼视频信号直方图检测单元，在立体视频信号中检测右眼视频信号的亮度分布的直方图；最小化单元，对每个亮度等级，最小化左眼视频信号直方图检测单元和右眼视频信号直方图检测单元检测的直方图；平均化单元，对左眼视频信号直方图检测单元和右眼视频信号直方图检测单元检测的直方图进行加权平均；选择单元，选择从左眼视频信号直方图检测单元、最小化单元，和平均化单元输出的直方图中的任一个；伽马曲线计算单元，基于由选择单元选择的直方图，计算伽马曲线；以及伽马曲线输出单元，基于由伽马曲线计算单元计算的伽马曲线来校正左眼视频信号和右眼视频信号。
将根据本公开的第九到第十二实施例的计算机程序被限定为在用于在计算机上执行预定处理的计算机可读格式中进行描述。换言之，将根据本公开的第九到第十二实施例中的任一个的计算机程序安装到计算机上，在该计算机上提供协作操作，并且可以获得根据本公开的第一到第四实施例的视频信号处理装置的操作和效果。
根据本公开的实施例，可以提供一种能够利用少量处理对左眼视频信号和右眼视频信号的每一个快速执行对比度处理的优异的视频信号处理装置、视频信号处理方法，以及计算机程序。
根据本公开的第一、第五和第九实施例，仅仅执行一次用于左和右视频两个的对比度校正的伽马曲线的计算，由此减少处理量。此外，仅仅通过将直方图检测时段消减一半，可以利用二维视频信号的相同的处理进行左眼视频信号和右眼视频信号二者的对比度校正。另外，由于左眼视频和右眼视频之间的性能差异是轻微的，所以将直方图检测时段消减一半的有害影响小。
根据本公开的第二、第六和第十实施例，通过将左眼和右眼视频信号的亮度分布的直方图最小化，可以通过忽略遮挡区域的亮度分布并且仅仅使用左眼和右眼二者共同的直方图信息来计算伽马曲线。
根据本公开的第三、第七和第十一实施例，即使当左眼视频信号和右眼视频信号之间的性能差异大时，对从左眼视频信号和右眼视频信号检测的亮度分布的直方图进行加权平均，由此减少性能差异的影响。
根据本公开的第四、第八和第十二实施例，例如，当期望缩短直方图检测时段时，可以选择来自左眼视频信号直方图检测单元的输出，当期望消除遮挡区域的影响时，可以选择来自最小化单元的输出，而当期望减少左眼和右眼视频信号之间的性能差异时，可以选择来自平均化单元的输出。
从基于以下描述的本公开的实施例的更详细的描述和附图中，本公开的实施例的其他特征和优点将变得清楚，
附图说明
图1是一种可应用本公开的实施例的立体视频显示系统的结构示意图；
图2是描绘在L子帧时段中控制快门眼镜的操作的图；
图3是描绘在R子帧时段中控制快门眼镜的操作的图；
图4A是描述用于对比度校正的算法的图；
图4B是描述用于对比度校正的算法的图；
图5A是描述用于对比度校正的算法的图；
图5B是描述用于对比度校正的算法的图；
图6A是描述用于对比度校正的算法的图；
图6B是描述用于对比度校正的算法的图；
图7A是描述用于对比度校正的算法的图；
图7B是描述用于对比度校正的算法的图；
图8是根据本公开的实施例的用于对比度校正的功能结构的框图；
图9是用于图8中描绘的功能块中的对比度校正的时序图；
图10是根据本公开的另一实施例的用于对比度校正的功能结构的框图；
图11是用于图10中描绘的功能块中的对比度校正的时序图；
图12是根据本公开的又一实施例的用于对比度校正的功能结构的框图；以及
图13是根据本公开的又一实施例的用于对比度校正的功能结构的框图。
具体实施方式
参照附图，以下详细描述本公开的实施例。
图1示意性地描绘了一种可以应用本公开的实施例的立体视频显示系统1的结构。立体视频显示系统1包括：液晶显示器10，用于以极短的周期对左眼视频L和右眼视频R进行交替的屏幕显示；以及观察者头部佩戴的快门眼镜20。
液晶显示器10包括：液晶显示面板11、背光12、视频信号处理单元13、控制快门眼镜20的快门机构的开/关定时的快门控制单元14、定时控制单元15、背光控制单元16，以及数据驱动器17和栅极驱动器18。在本实施例中，液晶显示器10基于输入视频信号Din显示和输出视频，所述输入视频信号Din包括其间具有视差的右眼视频信号DR和左眼视频信号DL。
液晶显示面板11例如是其中为每个像素安排TFT的有源矩阵类型。背光12是向液晶显示面板11发射光的光源。基于从背光控制单元16提供的控制信号CTLB来控制背光12，以便以时分方式在发光(发射光)操作和不发光(lighting-out)操作之间切换。
例如，可以使用LED(发光二极管)或CCFL(冷阴极荧光灯)作为背光12。然而，当使用CCFL时，余辉易于发生，并且余辉特性对于RGB的每个颜色不同。由此，在下文中，为了便于描述，假定使用具有低余辉的LED作为背光12。
液晶显示面板11具有整体以矩阵布置的多个像素，并且基于从数据驱动器17供应的视频电压，根据从栅极驱动器18供应的驱动信号来调制从背光12发射的光，由此基于输入视频信号Din显示视频。在本实施例中，液晶显示面板11在预定周期(诸如一个帧时段)中以时分方式交替地显示基于右眼视频信号DR的右眼视频R和基于左眼视频信号DL的左眼视频L。
视频信号处理单元13基于输入视频信号Din控制在液晶显示面板11写入右眼视频信号DR和左眼视频信号DL的顺序(即，显示的顺序)，由此对液晶显示面板11生成视频信号。在本实施例中，视频信号处理单元13在一个帧时段从输入视频信号Din生成其中交替布置左眼视频信号DL和右眼视频信号DR的视频信号D1。注意，在下文中，在一个帧时段中，显示左眼视频L的时段被称为L子帧时段，而显示右眼视频R的时段被称为R子帧时段。
此外，对于左眼视频和右眼视频，视频信号处理单元13校正由于镜头或相机位置的亮度或者失真引起的光量的差异，使得在左侧和右侧显示相同的视频。此外，对于左眼视频和右眼视频的每一个，视频信号处理单元13校正图像质量，诸如调节光线和暗度以及对比度并且执行边缘校正。
定时控制单元15控制栅极驱动器18和数据驱动器17的驱动定时，并且还将从视频信号处理单元13供应的视频信号D1供应给数据驱动器17。定时控制单元15可以对视频信号D1执行过驱动处理。
根据定时控制单元15的定时控制，栅极驱动器18沿栅极线依序驱动液晶显示面板11中的各个像素。
基于从定时控制单元15供应的视频信号D1，数据驱动器17向液晶显示面板11的每个像素供应视频电压。具体地，数据驱动器17对视频信号D1执行D/A转换以生成对应于该视频电压的模拟视频信号，并且将该模拟视频信号输出给每个像素。
与用于输出右眼视频信号DR和左眼视频信号DL的每一个的视频信号处理单元13的输出定时相对应，快门控制单元14向快门眼镜20输出用于控制在打开和关闭左和右快门机构之间进行切换的定时控制信号CTL。
液晶显示器10的观察者(未在图1中具体示出)佩戴快门眼镜用于允许立体观看。快门眼镜20具有左眼透镜21L和右眼透镜21R。左眼透镜21L和右眼透镜21R每一个具有其中布置的用于遮蔽光的开口的光遮蔽快门(未示出)。光遮蔽快门例如包括液晶快门。利用从快门控制单元14供应的控制信号CTL来控制该光遮蔽快门中的光遮蔽功能的有效状态(即，关闭状态)和无效状态(即，打开状态)。
快门控制单元14控制快门眼镜20的光遮蔽快门，使得与左眼视频L和右眼视频R的每个显示时段对应地，在左眼透镜21L和右眼透镜21R中的每一个中交替地切换打开状态和关闭状态。具体地，执行控制使得在L子帧时段中左眼透镜21L的光遮蔽快门被设置为打开状态而右眼透镜21R的光遮蔽快门被设置为关闭状态，以及在R子帧时段中右眼透镜21R的光遮蔽快门被设置为打开状态而左眼透镜21L的光遮蔽快门被设置为关闭状态。
图2描绘了L子帧时段中快门眼镜20的控制操作。如所描绘的，在L子帧时段中，利用来自快门控制单元14的控制信号CTL，左眼透镜21L的快门被设置为打开状态，而右眼透镜21R的快门被设置为关闭状态，由此仅仅让基于左眼视频L的显示光LL通过左眼透镜21L。图3还描绘了R子帧时段中快门眼镜20的控制操作。如所描绘的，在R子帧时段中，利用来自快门控制单元14的控制信号CTL，右眼透镜21R的快门被设置为打开状态，而左眼透镜21L的快门被设置为关闭状态，由此仅仅让基于右眼视频R的显示光RR通过右眼透镜21R。
在图1描绘的立体视频显示系统1中，如上所述，对于左眼视频和右眼视频中的每一个，视频信号处理单元13校正图像质量，诸如调节光线和暗度以及对比度并且执行边缘校正。
在图像质量校正中，通常通过校正表示所谓的伽马特性的伽马曲线来执行对比度调节。例如，使用表示输入图像的亮度分布的直方图分布的方法包括三个处理：检测输入图像的亮度分布的直方图，基于该直方图计算伽马曲线，以及使用该伽马曲线来校正输入图像。
如图4A所描绘的，当输入图像的亮度分布均匀时，由直线来表示伽马曲线，如图4B中的L101所表示的，其中输入和输出匹配。作为对照，如图5A所示，当输入图像的亮度分布处于低亮度区域时(黑色等级区域)，如图5B所描绘的，由L102取代L101来表示伽马曲线。相反，如图6A所描绘的，当输入图像的亮度分布处于高亮度区域时(白色等级区域)，如在图6B中所描绘的，由L103取代L101来表示伽马曲线。此外，如图7A所描绘的，当输入图像的亮度分布处于中间亮度区域时，如在图7B中所描绘的，由L104取代L101来表示伽马曲线。可以从例如在亮度等级(水平轴)方向上对输入图像的亮度分布进行积分的算术运算来获得伽马曲线。在对比度校正的情况下，在高亮度频率分布的亮度分量优先的情况下执行对比度中的改进。注意到，在校正伽马曲线时为每个亮度等级所设置的校正量的程度被称为增益。
当对左眼视频信号和右眼视频信号两个单独地执行图像质量校正(诸如对比度校正)时，处理量是巨大的。其中，伽马曲线的计算耗费了大量处理。
由于通常通过两个相机来拍摄左眼视频和右眼视频，所以视频信号之间的性能差异可能引起关于镜头的亮度和失真以及由于相机的位置的光量的差异的问题。然而，关于对比度，左眼视频和右眼视频之间的性能差异可能是轻微的。因此，本发明人建议一种方法，该方法基于检测来自左眼视频和右眼视频中的仅仅一个的亮度分布的直方图的结果来计算伽马曲线，并且将检测结果应用于左眼视频和右眼视频这二者来执行对比度校正。对左眼视频和右眼视频两个的对比度校正的伽马曲线计算仅仅执行一次，由此减少了处理量。仅仅通过将直方图检测时段消减一半，可以利用用于二维视频信号的相同处理来进行左眼视频信号和右眼视频信号二者的对比度校正。
图8描绘了本发明人建议的、一种使用左眼和右眼视频信号中的仅仅一个来对立体视频进行对比度校正的功能结构。图8中描绘的功能块81到83例如以视频信号处理单元13来实现。
左眼视频信号直方图检测单元81在立体视频信号中接收左眼视频信号的输入，以检测亮度分布的直方图。然而，取代左眼视频信号，可以检测右眼视频信号的亮度分布的直方图。
伽马曲线计算单元82从直方图的检测结果中计算伽马曲线。以上已经参照图4A到图7B描述了计算伽马曲线的算法。例如，可以基于在亮度等级(水平轴)方向上对亮度分布的直方图进行积分的结果来获得伽马曲线。
在接收到立体视频的左眼视频信号和右眼视频信号的输入时，伽马曲线输出单元83根据由伽马曲线计算单元82计算的伽马曲线，将每个视频信号的亮度等级进行转换以用于输出。
图9是何时在图8中描绘的功能块中执行对比度校正的时序图。如所描绘的，在输入左眼视频帧L0的时段上，左眼视频信号直方图检测单元81检测亮度分布的直方图。随后，在输入右眼视频帧R0的时段中，伽马曲线计算单元82从直方图检测结果中计算要用于左眼和右眼视频帧L0和R0的伽马曲线γ0。然后，使用所获得的伽马曲线γ0，伽马曲线输出单元83对左眼视频帧L1和右眼视频帧R0执行对比度校正。
根据图8中描绘的对比度校正，对左和右视频两个仅仅执行一次用于对比度校正的伽马曲线计算，由此减少了处理量。此外，仅仅通过将直方图检测时段消减一半，可以利用用于二维视频信号的相同的处理来对左眼视频信号和右眼视频信号二者进行对比度校正。另外，由于左眼视频和右眼视频之间的性能差异是轻微的，所以将直方图检测时段消减一半的有害影响小。
图10描绘一种通过对左眼和右眼视频信号二者执行直方图检测但是仅仅执行一次伽马曲线计算的、用于立体视频的对比度校正的功能结构。图10中描绘的功能块101至105以例如视频信号处理单元13实现。
左眼视频信号直方图检测单元101在立体视频信号中接收左眼视频信号的输入以检测亮度分布的直方图。此外，右眼视频信号直方图检测单元102接收右眼视频信号的输入以检测亮度分布的直方图。
在从左眼视频信号直方图检测单元101和右眼视频信号直方图检测单元102接收到检测的亮度分布的直方图的每一个时，最小化单元103最小化每个亮度等级的频率分布。
伽马曲线计算单元104从最小化的直方图的检测结果中计算伽马曲线。以上已经参照图4A到图7B描述了计算伽马曲线的算法。例如，可以基于在亮度等级(水平轴)方向上对亮度分布的直方图进行积分的结果来获得伽马曲线。
在接收到立体视频的左眼视频信号和右眼视频信号的输入时，伽马曲线输出单元105根据由伽马曲线计算单元104计算的伽马曲线，将每个视频信号的亮度等级进行转换以用于输出。
立体视频具有可以仅仅处于左眼视频信号和右眼视频信号中的一个的遮挡(occlusion)区域，也就是说，可以仅仅通过一只眼睛观看的遮挡区域。该遮挡区域可以造成双目并视视野竞争(retinal rivalry)，但是其在对比度校正中不重要。根据图10描绘的对比度校正，通过在最小化单元103处最小化左眼和右眼视频信号的亮度分布的直方图，可以通过忽略遮挡区域的亮度分布并且仅仅使用对左眼和右眼二者共同的直方图信息来计算伽马曲线。
图11是何时在图10所描绘的功能块中执行对比度校正的时序图。如所描绘的，在输入左眼视频帧L0的时段上，左眼视频信号直方图检测单元101检测亮度分布的直方图。随后，在输入右眼视频帧R0的时段上，右眼视频信号直方图检测单元102检测亮度分布的直方图。在输入视频帧R0和L1的时段中，针对每个亮度等级，最小化单元103最小化左眼和右眼视频信号的亮度分布的直方图的每一个。此外，伽马曲线计算单元104从检测最小化的直方图的结果中计算要用于左眼和右眼视频帧L0和R0的伽马曲线γ0。然后，使用所获得的伽马曲线γ0，伽马曲线输出单元105对右眼视频帧R1和左眼视频帧L2执行对比度校正。
根据图10描绘的对比度校正，仅仅执行一次对左眼和右眼视频两个的对比度校正的伽马曲线的计算，由此减少了处理量。
图12描绘了一种通过对左眼和右眼视频信号二者执行直方图检测但是仅仅执行一次伽马曲线计算的、用于立体视频的对比度校正的功能结构。图12中描绘的功能块121至125以例如视频信号处理单元13实现。
左眼视频信号直方图检测单元121在立体视频信号中接收左眼视频信号的输入以检测亮度分布的直方图。此外，右眼视频信号直方图检测单元122接收右眼视频信号的输入以检测亮度分布的直方图。
在从左眼视频信号直方图检测单元121和右眼视频信号直方图检测单元122接收到检测的亮度分布的直方图的每一个时，平均化单元123针对每个亮度等级计算频率分布的加权平均。
伽马曲线计算单元124从最小化的直方图的检测结果中计算伽马曲线。以上已经参照图4A到图7B描述了计算伽马曲线的算法。例如，可以基于在亮度等级(水平轴)方向上对亮度分布的直方图进行积分的结果来获得伽马曲线。
在接收到立体视频的左眼视频信号和右眼视频信号的输入时，伽马曲线输出单元125根据由伽马曲线计算单元124计算的伽马曲线，将每个视频信号的亮度等级进行转换以用于输出。
即使当左眼视频信号和右眼视频信号之间的性能差异大，也对从左眼视频信号直方图检测单元121和右眼视频信号直方图检测单元122检测的亮度分布的直方图进行加权平均，由此减少性能差异的影响。
已经关于立体视频的对比度校正描述了图8、10和12中描绘的三个示例，并且其分别具有小处理量、消除遮挡的影响，以及减少左眼和右眼视频信号之间的性能差异的效果。由此，可以如在图13中描绘的组合这三种处理方法。图13中描绘的功能块131到137例如以视频信号处理单元13来实现。
左眼视频信号直方图检测单元131在立体视频信号中接收左眼视频信号的输入以检测亮度分布的直方图。此外，右眼视频信号直方图检测单元132接收右眼视频信号的输入以检测亮度分布的直方图。
在从左眼视频信号直方图检测单元131和右眼视频信号直方图检测单元132接收到检测的亮度分布的直方图的每一个时，最小化单元133对每个亮度等级最小化频率分布。
在从左眼视频信号直方图检测单元131和右眼视频信号直方图检测单元132接收到检测的亮度分布的直方图的每一个时，平均化单元134针对每个亮度等级计算频率分布的加权平均。
选择单元135从来自左眼视频信号直方图检测单元131、最小化单元133，和平均化单元134中的输出中，选择要输入到伽马曲线计算单元136的直方图。例如，当期望缩短直方图检测时段时，选择单元135选择来自左眼视频信号直方图检测单元131的输出，当期望消除遮挡区域的影响时，选择来自最小化单元133的输出，当减少左眼和右眼视频信号之间的性能差异时，选择来自平均化单元134的输出。
选择单元135根据例如在立体视频显示系统1中包括的操作切换或者从遥控器(未示出)接收的遥控信号，确定来自左眼视频信号直方图检测单元131、最小化单元133和平均化单元134的输出的任一个。可替换地，可以通过服务工程师的维护来进行选择单元135处的选择切换。
伽马曲线计算单元136使用由选择单元135选择的直方图来计算伽马曲线。以上已经参照图4A到图7B描述了计算伽马曲线的算法。例如，可以基于在亮度等级(水平轴)方向上对亮度分布的直方图进行积分的结果来获得伽马曲线。
在接收到立体视频的左眼视频信号和右眼视频信号的输入时，伽马曲线输出单元137根据由伽马曲线计算单元136计算的伽马曲线，将每个视频信号的亮度等级进行转换以用于输出。
本公开包含了2010年5月28日向日本专利局提交的日本优先权专利申请JP 2010-122336中公开内容有关的主题，在此通过引用并入其全部内容。
本领域技术人员应理解，依赖于设计要求和其它因素，可以出现各种修改、组合、子组合以及变更，只要它们在所附的权利要求书或其等效物的范围内。

Claims (12)

1.一种视频信号处理装置，包括：
直方图检测单元，在输入的立体视频信号中检测左眼视频信号和右眼视频信号中任一个的亮度分布的直方图；
伽马曲线计算单元，基于由直方图检测单元检测的直方图计算伽马曲线；以及
伽马曲线输出单元，基于由伽马曲线计算单元计算的伽马曲线校正左眼视频信号和右眼视频信号。
2.一种视频信号处理装置，包括：
左眼视频信号直方图检测单元，在输入的立体视频信号中检测左眼视频信号的亮度分布的直方图；
右眼视频信号直方图检测单元，在立体视频信号中检测右眼视频信号的亮度分布的直方图；
最小化单元，对每个亮度等级，最小化左眼视频信号直方图检测单元和右眼视频信号直方图检测单元检测的直方图；
伽马曲线计算单元，基于由最小化单元处理的直方图，计算伽马曲线；以及
伽马曲线输出单元，基于由伽马曲线计算单元计算的伽马曲线来校正左眼视频信号和右眼视频信号。
3.一种视频信号处理装置，包括：
左眼视频信号直方图检测单元，在输入的立体视频信号中检测左眼视频信号的亮度分布的直方图；
右眼视频信号直方图检测单元，在立体视频信号中检测右眼视频信号的亮度分布的直方图；
平均化单元，对左眼视频信号直方图检测单元和右眼视频信号直方图检测单元检测的直方图进行加权平均；
伽马曲线计算单元，基于由平均化单元进行加权平均的直方图，计算伽马曲线；以及
伽马曲线输出单元，基于由伽马曲线计算单元计算的伽马曲线来校正左眼视频信号和右眼视频信号。
4.一种视频信号处理装置，包括：
左眼视频信号直方图检测单元，在输入的立体视频信号中检测左眼视频信号的亮度分布的直方图；
右眼视频信号直方图检测单元，在立体视频信号中检测右眼视频信号的亮度分布的直方图；
最小化单元，对每个亮度等级，最小化左眼视频信号直方图检测单元和右眼视频信号直方图检测单元检测的直方图；
平均化单元，对左眼视频信号直方图检测单元和右眼视频信号直方图检测单元检测的直方图进行加权平均；
选择单元，选择从左眼视频信号直方图检测单元、最小化单元，和平均化单元输出的直方图中的任一个；
伽马曲线计算单元，基于由选择单元选择的直方图，计算伽马曲线；以及
伽马曲线输出单元，基于由伽马曲线计算单元计算的伽马曲线来校正左眼视频信号和右眼视频信号。
5.一种视频信号处理方法，包括：
直方图检测步骤，在输入的立体视频信号中检测左眼视频信号和右眼视频信号中任一个的亮度分布的直方图；
伽马曲线计算步骤，基于在直方图检测步骤中检测的直方图计算伽马曲线；以及
伽马曲线输出步骤，基于在伽马曲线计算步骤中计算的伽马曲线来校正左眼视频信号和右眼视频信号。
6.一种视频信号处理方法，包括：
左眼视频信号直方图检测步骤，在输入的立体视频信号中检测左眼视频信号的亮度分布的直方图；
右眼视频信号直方图检测步骤，在立体视频信号中检测右眼视频信号的亮度分布的直方图；
最小化步骤，对每个亮度等级，最小化左眼视频信号直方图检测步骤和右眼视频信号直方图检测步骤中检测的直方图；
伽马曲线计算步骤，基于最小化步骤中处理的直方图，计算伽马曲线；以及
伽马曲线输出步骤，基于在伽马曲线计算步骤中计算的伽马曲线来校正左眼视频信号和右眼视频信号。
7.一种视频信号处理方法，包括：
左眼视频信号直方图检测步骤，在输入的立体视频信号中检测左眼视频信号的亮度分布的直方图；
右眼视频信号直方图检测步骤，在立体视频信号中检测右眼视频信号的亮度分布的直方图；
平均化步骤，对左眼视频信号直方图检测步骤和右眼视频信号直方图检测步骤中检测的直方图进行加权平均；
伽马曲线计算步骤，基于在平均化步骤中加权平均的直方图，计算伽马曲线；以及
伽马曲线输出步骤，基于在伽马曲线计算步骤中计算的伽马曲线来校正左眼视频信号和右眼视频信号。
8.一种视频信号处理方法，包括：
左眼视频信号直方图检测步骤，在输入的立体视频信号中检测左眼视频信号的亮度分布的直方图；
右眼视频信号直方图检测步骤，在立体视频信号中检测右眼视频信号的亮度分布的直方图；
最小化步骤，对每个亮度等级，最小化在左眼视频信号直方图检测步骤和右眼视频信号直方图检测步骤中检测的直方图；
平均化步骤，对在左眼视频信号直方图检测步骤和右眼视频信号直方图检测步骤中检测的直方图进行加权平均；
选择步骤，选择在左眼视频信号直方图检测步骤、最小化步骤和平均化步骤中输出的直方图中的任一个；
伽马曲线计算步骤，基于在选择步骤中选择的直方图，计算伽马曲线；以及
伽马曲线输出步骤，基于在伽马曲线计算步骤中计算的伽马曲线来校正左眼视频信号和右眼视频信号。
9.一种以计算机可读格式描述的、使得在计算机上处理立体视频信号的计算机程序，该计算机程序促使计算机起到以下单元的作用，所述单元包括：
直方图检测单元，在输入的立体视频信号中检测左眼视频信号和右眼视频信号中任一个的亮度分布的直方图；
伽马曲线计算单元，基于由直方图检测单元检测的直方图计算伽马曲线；以及
伽马曲线输出单元，基于由伽马曲线计算单元计算的伽马曲线校正左眼视频信号和右眼视频信号。
10.一种以计算机可读格式描述的、使得在计算机上处理立体视频信号的计算机程序，该计算机程序促使计算机起到以下单元的作用，所述单元包括：
左眼视频信号直方图检测单元，在输入的立体视频信号中检测左眼视频信号的亮度分布的直方图；
右眼视频信号直方图检测单元，在立体视频信号中检测右眼视频信号的亮度分布的直方图；
最小化单元，对每个亮度等级，最小化左眼视频信号直方图检测单元和右眼视频信号直方图检测单元检测的直方图；
伽马曲线计算单元，基于由最小化单元处理的直方图，计算伽马曲线；以及
伽马曲线输出单元，基于由伽马曲线计算单元计算的伽马曲线来校正左眼视频信号和右眼视频信号。
11.一种以计算机可读格式描述的、使得在计算机上处理立体视频信号的计算机程序，该计算机程序促使计算机起到以下单元的作用，所述单元包括：
左眼视频信号直方图检测单元，在输入的立体视频信号中检测左眼视频信号的亮度分布的直方图；
右眼视频信号直方图检测单元，在立体视频信号中检测右眼视频信号的亮度分布的直方图；
平均化单元，对左眼视频信号直方图检测单元和右眼视频信号直方图检测单元检测的直方图进行加权平均；
伽马曲线计算单元，基于由平均化单元进行加权平均的直方图，计算伽马曲线；以及
伽马曲线输出单元，基于由伽马曲线计算单元计算的伽马曲线来校正左眼视频信号和右眼视频信号。
12.一种以计算机可读格式描述的、使得在计算机上处理立体视频信号的计算机程序，该计算机程序促使计算机起到以下单元的作用，所述单元包括：
左眼视频信号直方图检测单元，在输入的立体视频信号中检测左眼视频信号的亮度分布的直方图；
右眼视频信号直方图检测单元，在立体视频信号中检测右眼视频信号的亮度分布的直方图；
最小化单元，对每个亮度等级，最小化左眼视频信号直方图检测单元和右眼视频信号直方图检测单元检测的直方图；
平均化单元，对左眼视频信号直方图检测单元和右眼视频信号直方图检测单元检测的直方图进行加权平均；
选择单元，选择从左眼视频信号直方图检测单元、最小化单元，和平均化单元输出的直方图中的任一个；
伽马曲线计算单元，基于由选择单元选择的直方图，计算伽马曲线；以及
伽马曲线输出单元，基于由伽马曲线计算单元计算的伽马曲线来校正左眼视频信号和右眼视频信号。
CN2011101419201A 2010-05-28 2011-05-30 视频信号处理装置、视频信号处理方法，以及计算机程序 Pending CN102263969A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-122336 2010-05-28
JP2010122336A JP2011250229A (ja) 2010-05-28 2010-05-28 映像信号処理装置及び映像信号処理方法、並びにコンピューター・プログラム

Publications (1)

Publication Number Publication Date
CN102263969A true CN102263969A (zh) 2011-11-30

Family

ID=45010396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011101419201A Pending CN102263969A (zh) 2010-05-28 2011-05-30 视频信号处理装置、视频信号处理方法，以及计算机程序

Country Status (3)

Country Link
US (1) US20110292172A1 (zh)
JP (1) JP2011250229A (zh)
CN (1) CN102263969A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102957934A (zh) * 2012-11-22 2013-03-06 京东方科技集团股份有限公司 显示处理方法、装置及显示装置
CN103731655A (zh) * 2013-12-30 2014-04-16 深圳市华星光电技术有限公司 快门式三维眼镜的灰度驱动方法
CN104897377A (zh) * 2015-06-23 2015-09-09 深圳市时代华影科技股份有限公司 一种3d投影系统的投影质量评价系统
CN105827898A (zh) * 2016-03-28 2016-08-03 深圳英飞拓科技股份有限公司 应用于摄像机的伽马曲线调整方法及装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5623156B2 (ja) 2010-06-29 2014-11-12 キヤノン株式会社 画像処理装置及びその制御方法
JP5585264B2 (ja) * 2010-07-22 2014-09-10 セイコーエプソン株式会社 画像表示装置、画像表示方法、及び、画像供給装置
JP5585266B2 (ja) * 2010-07-22 2014-09-10 セイコーエプソン株式会社 画像表示装置、画像供給装置、及び、画像処理方法
JP5683214B2 (ja) * 2010-11-01 2015-03-11 キヤノン株式会社 画像処理装置及びその制御方法
JP5780054B2 (ja) 2011-08-24 2015-09-16 セイコーエプソン株式会社 電気光学装置および電子機器
JP2013114143A (ja) * 2011-11-30 2013-06-10 Seiko Epson Corp 電気光学装置および電子機器
KR101930372B1 (ko) * 2011-12-07 2018-12-19 엘지디스플레이 주식회사 3ｄ 디스플레이 장치와 이의 구동 방법
JP5924932B2 (ja) * 2011-12-27 2016-05-25 キヤノン株式会社 画像処理装置及びその制御方法
KR101927319B1 (ko) * 2012-01-09 2018-12-11 삼성디스플레이 주식회사 표시 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007151125A (ja) * 2005-11-28 2007-06-14 Samsung Electronics Co Ltd 立体映像信号の処理装置及び方法
CN1987929A (zh) * 2006-12-27 2007-06-27 浙江大学 一种基于累计直方图的非线性亮度校正方法
CN101089942A (zh) * 2006-06-15 2007-12-19 日本胜利株式会社 影像显示装置及影像显示方法
CN101393727A (zh) * 2007-09-21 2009-03-25 北京京东方光电科技有限公司 液晶显示装置高动态对比度的处理装置和处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007151125A (ja) * 2005-11-28 2007-06-14 Samsung Electronics Co Ltd 立体映像信号の処理装置及び方法
CN101089942A (zh) * 2006-06-15 2007-12-19 日本胜利株式会社 影像显示装置及影像显示方法
CN1987929A (zh) * 2006-12-27 2007-06-27 浙江大学 一种基于累计直方图的非线性亮度校正方法
CN101393727A (zh) * 2007-09-21 2009-03-25 北京京东方光电科技有限公司 液晶显示装置高动态对比度的处理装置和处理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102957934A (zh) * 2012-11-22 2013-03-06 京东方科技集团股份有限公司 显示处理方法、装置及显示装置
CN102957934B (zh) * 2012-11-22 2015-02-25 京东方科技集团股份有限公司 显示处理方法、装置及显示装置
CN103731655A (zh) * 2013-12-30 2014-04-16 深圳市华星光电技术有限公司 快门式三维眼镜的灰度驱动方法
CN104897377A (zh) * 2015-06-23 2015-09-09 深圳市时代华影科技股份有限公司 一种3d投影系统的投影质量评价系统
CN105827898A (zh) * 2016-03-28 2016-08-03 深圳英飞拓科技股份有限公司 应用于摄像机的伽马曲线调整方法及装置
CN105827898B (zh) * 2016-03-28 2019-03-12 深圳英飞拓科技股份有限公司 应用于摄像机的伽马曲线调整方法及装置

Also Published As

Publication number Publication date
JP2011250229A (ja) 2011-12-08
US20110292172A1 (en) 2011-12-01

Similar Documents

Publication Publication Date Title
CN102263969A (zh) 视频信号处理装置、视频信号处理方法，以及计算机程序
US8462200B2 (en) Image processing apparatus, image display apparatus and image display system
US20080316303A1 (en) Display Device
JP5619863B2 (ja) 無眼鏡立体映像表示装置とその制御方法
JP5445976B2 (ja) フラットパネルディスプレイに立体視画像を表示する方法、及び立体視画像を表示可能なフラットパネルディスプレイ
US20110007136A1 (en) Image signal processing apparatus and image display
US20110221788A1 (en) Liquid crystal display and picture display system
KR20110043453A (ko) 표시 장치, 표시 방법 및 컴퓨터 프로그램
CN102263970B (zh) 显示设备和显示方法
TWI420151B (zh) 顯示方法
CN103106879A (zh) 显示装置和显示方法
US8780175B2 (en) Picture signal processor, picture display and picture display system
KR101964892B1 (ko) 입체 영상 표시 방법 및 이를 수행하는 표시 장치
JP2011186224A5 (zh)
KR101981530B1 (ko) 입체영상 표시장치와 그 구동방법
US20120113222A1 (en) Video signal processing apparatus, video signal processing method, and computer program
US20120019515A1 (en) Display method
JP2014032338A (ja) 画像表示装置及び画像表示方法
Kim et al. 18.1: Distinguished Paper: Novel TFT‐LCD Technology for Motion Blur Reduction Using 120Hz Driving with McFi
US8952957B2 (en) Three-dimensional display apparatus
KR20140122123A (ko) 입체 영상 표시 장치 및 그의 인버전 구동 방법
US9489922B2 (en) Electro-optical device and electronic apparatus
US20110242094A1 (en) Stereoscopic image display apparatus and stereoscopic image display method
CN102868902A (zh) 立体图像显示装置及其方法
KR101678215B1 (ko) 입체영상표시장치와 이의 구동방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20160120

C20 Patent right or utility model deemed to be abandoned or is abandoned