CN103167302A - 显示立体图像的电子设备以及相应的方法 - Google Patents

显示立体图像的电子设备以及相应的方法 Download PDF

Info

Publication number
CN103167302A
CN103167302A CN2012104495235A CN201210449523A CN103167302A CN 103167302 A CN103167302 A CN 103167302A CN 2012104495235 A CN2012104495235 A CN 2012104495235A CN 201210449523 A CN201210449523 A CN 201210449523A CN 103167302 A CN103167302 A CN 103167302A
Authority
CN
China
Prior art keywords
stereo
picture
parallax
little
electronic equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012104495235A
Other languages
English (en)
Other versions
CN103167302B (zh
Inventor
李臣慧
张锡琎
郑河洋
全兑泳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN103167302A publication Critical patent/CN103167302A/zh
Application granted granted Critical
Publication of CN103167302B publication Critical patent/CN103167302B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/002Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供了一种显示立体图像的电子设备以及相应的方法。电子设备包括显示模块,该显示模块包括用于生成立体视觉的面板,并且被配置成使用该面板显示立体图像;以及控制器,该控制器被配置成显示第一立体图像,接收将第一立体图像移位的请求,并且基于接收到的请求将第一立体图像的负视差改变为正视差。

Description

显示立体图像的电子设备以及相应的方法
相关申请的交叉引用
本申请要求2011年12月19日提交的韩国专利申请No.10-2011-0137053的权益和优先权,其主题通过引用结合于此。
技术领域
本发明涉及例如在诸如移动终端的电子设备中移位立体图像。
背景技术
人的眼睛以预定的距离相互隔开,这使得左眼和右眼观看各自不同的图像。这样的现象被称为“双目视差”。通过人脑将左眼的图像和右眼的图像观看到的图像合成为单个图像,并且因此用户看到3D效果。
现在许多装置能够使用双目视差来显示3D图像。这些装置通过以它们相对于彼此不对准的水平位置显示左眼的图像和右眼的图像来生成3D效果,从而允许对象看上去像是从显示表面突出或者凹陷。
然而,当观看基于双目视差显示的3D图像时,许多用户感到眩晕或者变得疲劳。3D效果也趋向于使一些用户头痛。
发明内容
因此,本发明的一个方面是提供一种电子设备,该电子设备包括显示模块,该显示模块包括被配置成实现立体视觉的面板;以及控制器,该控制器被配置成执行控制,当接收将第一立体图像移位到另一图像的请求时,将在屏幕移位期间显示的第一立体图像的视差包括在预定范围中。
根据另一方面,本发明提供一种电子设备,该电子设备包括显示模块,该显示模块包括被配置成实现立体视觉的面板;以及控制器,该控制器被配置成当第一立体图像开始被移位到另一图像时朝着屏幕的第一边缘逐渐地移动第一立体图像,并且被配置成控制第一立体图像的视差使得根据与第一边缘的距离而逐渐地改变该视差。
根据又一方面,本发明提供一种控制电子设备的方法,该电子设备包括被配置成实现立体视觉的面板,并且该方法包括:显示第一立体图像;接收将第一立体图像移位到第二立体图像的请求;将在屏幕移位期间显示的第一和第二立体图像的视差调整为包括在预定范围中;以及当屏幕移位结束时将第一和第二图像的视差恢复到原始值。
附图说明
附图被包括以提供所描述的本发明实施例的进一步理解,并且被并入到本申请中且组成本申请的一部分,该附图示出本发明的实施例并且连同描述一起用作解释本发明的方面和特征。
图1是图示根据本发明实施例的电子设备的配置的框图。
图2和图3是用于描述根据本发明实施例的使用双目视差来显示立体图像的方法的视图。
图4是用于描述根据本发明实施例的根据立体图像的立体视觉的深度的视图。
图5是图示根据本发明的第一实施例的控制电子设备的方法的流程图。
图6至图10是用于描述根据本发明的第一实施例的控制方法的视图。
图8和图9图示根据本发明的第一实施例的根据屏幕移位的视差变化的示例。
图10图示根据本发明的第一实施例的在屏幕移位期间的视差的逐渐变化。
图11是图示根据本发明的第二实施例的控制电子设备的方法的流程图。
图12是图示根据本发明的第二实施例的控制第一和第二图像的视差使得视差根据在电子设备的屏幕上的位置而逐渐地减少/增加的视图。
具体实施方式
现在将参考附图更加全面地描述本发明,其中示出了本发明的示例性实施例。然而,本发明可以以多种不同的形式实现,并且不应被解释为限制于在此提出的实施例;而是,这些实施例被描述和/或图示为使得本公开将是更加彻底的并且全面的,并且对本领域的技术人员来说将完整地传达本发明的方面。
在下文中,将参考附图在下面更加详细地描述根据本发明实施例的电子设备。在下面的描述中,为了便于描述在对电子设备的组件引用中使用后缀“模块”和“单元”并且该后缀不具有彼此不同的意义或者功能。
在此描述的电子设备可以包括蜂窝电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携多媒体播放机(PMP)、以及导航系统。
图1是根据本发明实施例的电子设备100的框图。理解的是,也可以提供其它的实施例、配置以及布置。参考图1,电子设备100包括无线通信单元110、音频/视频(A/V)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180、和电源单元190。不是图1中示出的所有的组件都是必要的,并且在电子设备100中包括的组件的数目可以变化。现在将描述如参考图1图示的电子设备100的组件。
无线通信单元110可以包括至少一个模块,该至少一个模块使在电子设备100和无线通信系统之间或者在电子设备100和电子设备100位于的网络之间能够进行无线通信。例如,无线通信单元110可以包括广播接收模块111、移动通信模块112、无线因特网模块113、局域(或者短程)通信模块114、以及位置信息(或者定位-位置)模块115。
广播接收模块111可以通过广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和陆地信道,并且广播管理服务器可以是生成和发射广播信号和/或广播相关信息的服务器,或接收预先创建的广播信号和/或广播相关信息以及将广播信号和/或广播相关信息发射到终端的服务器。
广播信号不仅可以包括TV广播信号、无线广播信号、以及数据广播信号,而且可以包括以TV广播信号和无线电广播信号的组合形式的信号。广播相关信息可以是关于广播信道、广播节目、或广播服务提供商的信息,并且甚至可以通过移动通信网络来提供。在后者情况下,可以通过移动通信模块112接收广播相关信息。
广播相关信息可以以各种形式存在。例如,广播相关信息可以以数字多媒体广播(DMB)系统的电子节目指南(EPG)的形式或以手持数字视频广播(DVB-H)系统的电子服务指南(ESG)的形式存在。
广播接收模块111可以使用各种广播系统来接收广播信号。更加具体地,广播接收模块111可以使用诸如陆地数字多媒体广播(DMB-T)系统、卫星数字多媒体广播(DMB-S)系统、仅媒体前向链路(MediaFLO)系统、DVB-H系统和陆地综合业务数字广播(ISDB-T)系统的数字广播系统来接收数字广播信号。广播接收模块111可以从除了上述数字广播系统之外的提供广播信号的广播系统来接收信号。
通过广播接收模块111接收到的广播信号和/或广播相关信息可以被存储在存储器160中。移动通信模块112向在移动通信网络上的基站、外部终端和服务器中的至少一个发射无线电信号,或从在移动通信网络上的基站、外部终端和服务器中的至少一个接收无线电信号。无线信号可以包括根据文本/多媒体消息的发射和接收的各种形式的语音呼叫信号、视频呼叫信号或者数据。
无线因特网模块113可以对应于用于无线因特网接入的模块,并且可以被包括在电子设备100中,或可以被外部地附接到电子设备100。无线LAN(WLAN或者Wi-Fi)、无线宽带(WibroTM)、全球微波接入互操作性(WimaxTM)、高速下行链路分组接入(HSDPA)以及其它技术可以被用作无线因特网技术。
局域通信模块114可以对应于用于局域通信的模块。此外,BluetoothTM、射频标识(RFID)、红外线数据协会(IrDA)、超宽带(UWB)和/或ZigBeeTM可以被用作局域通信技术。
位置-定位模块115可以确认或者获得电子设备100的位置。位置-定位模块115可以通过使用全球导航卫星系统(GNSS)来获得位置信息。GNSS指的是无线电导航卫星系统,该无线电导航卫星系统在地球周围旋转,并且将基准信号发射到预定类型的无线电导航接收器,使得该无线电导航接收器可以确定其在地球表面上或者地球表面附近的位置。除了别的之外,GNSS可以包括美国的全球定位系统(GPS)、欧洲的伽利略、俄罗斯的全球轨道导航卫星系统(GLONASS)、中国的指南针、以及日本准天顶卫星系统(QZSS)。
全球定位系统(GPS)模块是位置-定位模块115的一个示例。GPS模块115可以计算关于在一个点或者对象和至少三个卫星之间的距离的信息、以及关于当测量距离信息时的时间的信息,并且将三角法应用于获得的距离信息以在预定的时间,根据维度、经度以及高度来获得关于点或者对象的三维位置信息。也可以使用利用三个卫星来计算位置和时间信息,并且使用另一卫星校正所计算的位置和时间信息的方法。另外,GPS模块115可以连续地实时计算当前位置并且使用位置或者定位信息来计算速度信息。
参见图1,A/V输入单元120可以输入音频信号或视频信号,并且可以包括照相机121和麦克风122。照相机121处理由图像传感器在视频呼叫模式或拍摄模式中获得的静止图像或运动画面的图像帧。该处理的图像帧然后能够被显示在可以是触摸屏的显示模块151上。
通过照相机121处理的图像帧可以被存储在存储器160中,或者可以通过无线通信单元110而被发射到外部设备。电子设备100也可以包括至少两个相机121。
此外,麦克风122可以在呼叫模式、记录模式、或语音识别模式中接收外部音频信号,并且将接收到的音频信号处理为电子音频数据。然后音频数据可以被转换为可以通过移动通信模块112被发射到移动通信基站,并且在呼叫模式下输出的形式。麦克风122可以采用用于去除或者减少当接收到外部音频信号时产生的噪声的噪声去除算法(或噪声消除算法)。
用户输入单元130可以接收来自于用户的用于控制电子设备100的输入数据。用户输入单元130可以包括键盘、圆顶开关(dome switch)、触摸板(例如,恒压/电容)、转向轮(jog wheel)、以及转向开关。
感测单元140可以感测电子设备100的当前状态,诸如电子设备100的开/关状态、电子设备100的位置、用户是否接触电子设备100、电子设备100的方向、以及电子设备100的加速/减速,并且生成用于控制电子设备100的感测信号。例如,如果电子设备100是滑盖电话,则感测单元140可以感测滑盖电话是否打开或关闭。此外,感测单元140可以感测电源190是否供电,并且/或者接口单元170是否被连接到外部设备。感测单元140也可以包括接近传感器141。
输出单元150可以产生视觉、听觉和/或触觉输出,并且可以包括显示模块151、音频输出模块152、警报单元153、和触觉模块154。显示模块151可以显示由电子设备100处理的信息。当电子设备100处于呼叫模式中时,显示模块151可以显示与语音呼叫相关的用户界面(UI)或图形用户界面(GUI)。当电子设备100处于视频呼叫模式或拍摄模式中时,显示模块151也可以显示所捕获和/或接收的图像和UI或GUI。
另外,显示模块151可以至少包括液晶显示器、薄膜晶体管液晶显示器、有机发光二极管显示器、柔性显示器、或者三维显示器。这些显示器中的一些可以是透明型或透光型。即,显示模块151可以包括透明显示器。
透明显示器可以包括透明的液晶显示器。显示模块151的后部可以包括透光型显示器。因此,用户能够通过在电子设备100的主体上的显示单元151的透明部分看到位于电子设备100的主体之后的对象。
电子设备100也可以包括至少两个显示器模块151。例如,电子设备100可以包括被布置在电子设备100的单个面上并且被以预定的间隔相互隔开的或者被一体化在一起的多个显示模块151。多个显示模块151也可以被布置在电子设备100的不同侧上。
此外,当显示模块151和感测触摸的传感器(在下文中被称为触摸传感器)形成被称为触摸屏的分层结构时,除了输出装置之外,显示模块151可以用作输入装置。例如,触摸传感器可以是例如触摸膜、触摸片、或者触摸板的形式。
触摸传感器可以将施加到显示模块151的特定部分的压力变化或在显示模块151的特定部分处产生的电容变化转换为电输入信号。触摸传感器可以感测触摸的压力、位置和面积(或者大小)。
当用户向触摸传感器应用触摸输入时,与触摸输入相对应的信号可以被发射到触摸控制器。然后触摸控制器可以处理该信号,并且向控制器180发射与被处理的信号相对应的数据。因此,控制器180可以检测显示模块151的被触摸的部分。
感测单元140的接近传感器141可以位于电子设备100的由触摸屏围绕或接近触摸屏的内部区域中。接近传感器141可以在没有机械接触的情况下使用电磁力或红外线来感测接近预定的感测面的对象或在位于接近传感器附近的对象。接近传感器141可以具有比接触传感器长的寿命并且因此可以更适合于在电子设备100中使用。
接近传感器141可以包括透射型光电传感器、直接反射型光电传感器、镜面反射型光电传感器、高频振荡接近传感器、电容接近传感器、磁接近传感器、和/或红外接近传感器。电容触摸屏可以被构造使得通过根据指示器接近的电场变化来检测指示器的接近。触摸屏(触摸传感器)可以被视为接近传感器141。
为了方便起见,可以将在没有实际地触摸该触摸屏的情况下使指示器接近触摸屏的动作称为接近触摸,并且可以将指示器接触触摸屏的动作称为接触触摸。指示器在触摸屏上的接近触摸点可以对应于指示器垂直于触摸屏的触摸屏的点。
接近传感器141可以感测接近触摸和接近触摸模式(例如,接近触摸距离、接近触摸方向、接近触摸速率、接近触摸时间、接近触摸位置、和接近触摸移动状态)。然后可以在触摸屏上显示与感测到的接近触摸动作和接近触摸模式相对应的信息。
音频输出模块152可以在呼叫信号接收模式、呼叫模式或记录模式、语音识别模式、以及广播接收模式中输出从无线通信单元110接收的或在存储器160中存储的音频数据。音频输出模块152可以输出与在电子设备100中执行的功能有关的音频信号,诸如呼叫信号进入音调和消息进入音调。音频输出模块152可以包括接收器、扬声器、和/或蜂鸣器。音频输出模块152可以通过耳机插孔来输出声音。用户可以通过将耳机连接到耳机插孔来听声音。
警报单元153可以输出指示电子设备100的事件的产生(或者发生)的信号。例如,当接收呼叫信号或者消息时并且当输入键信号或者触摸时可以产生警报。警报单元153也可以输出不同于视频信号或者音频信号的信号,例如,通过振动来指示事件的产生的信号。通过显示模块151或音频输出模块152也可以输出视频信号或者音频信号。
触觉模块154可以产生用户可以感觉的各种触觉效果。触觉效果之一是振动。也可以控制由触觉模块154产生的振动的强度和/或模式。例如,不同的振动可以被相互组合并且输出,或者可以被顺序地输出。
除了振动之外,触觉单元154可以产生各种触觉效果,所述触觉效果包括:归因于紧靠着接触皮肤表面垂直移动的引脚的布置的效果、归因于通过喷射孔或吸入孔的空气的喷射力或吸入力的效果、归因于摩擦皮肤的效果、归因于与电极接触的效果、归因于静电力的刺激的效果、以及归因于使用用于吸收或辐射热量的元件的冷/热的再现的效果。
触觉单元154不仅可以通过直接接触来传递触觉效果,而且也可以允许用户通过用户的手指或手臂来感觉触觉效果。电子设备100也可以包括多个触觉模块154。
存储器160可以存储用于操作控制器180的程序,并且暂时存储输入/输出数据,诸如电话簿、消息、静止图像、和/或运动画面。存储器160也可以存储关于从当触摸输入被应用到触摸屏时而输出的各种模式的振动和声音的数据。
存储器160可以至少包括闪存、硬盘型存储器、多媒体卡微型存储器、诸如SD或XD存储器的卡型存储器、随机存取存储器(RAM)、静态RAM(SRAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、可编程ROM(PROM)磁存储器、磁盘、或者光盘。电子设备100也可以与在因特网上执行存储器160的存储功能的网络存储相关联地操作。
接口单元170可以用作到连接到电子设备100的外部设备的路径。接口单元170可以从外部设备接收数据或接收电力,并且将该数据或者电力发射到电子设备100的内部组件,或将电子设备100的数据发射到外部设备。例如,接口单元170可以包括有线/无线头戴式耳机端口、外部充电器端口、有线/无线数据端口、存储卡端口、用于连接到具有用户标识模块的装置的端口、音频I/O端口、视频I/O端口、和/或耳机端口。
接口单元170也可以与作为存储用于认证使用电子设备100的权限的信息的芯片的用户识别模块对接。例如,用户识别模块可以是用户身份模块(UIM)、订户身份模块(SIM)和通用订户身份模块(USIM)。也可以以智能卡的形式来制造包括用户识别模块的识别装置。因此,识别装置可以通过接口单元170的端口被连接到电子设备100。
接口单元170也可以是当电子设备100连接到外部托架时用作将来自外部托架的电力提供给电子设备100所通过的路径,或用户通过托架将各种命令信号提供给电子设备100所通过的路径。从托架输入的各种命令信号或电力也可以被用作检查是否电子设备100被正确地固定(或者加载)在托架中的信号。
控制器180可以控制电子设备100的整体操作。例如,控制器180可以控制和处理语音通信、数据通信和/或视频呼叫。控制器180也可以包括多媒体模块181,该多媒体模块181用于播放多媒体文件。多媒体模块181可以被包括在如图1中所示的控制器180中,或者可以与控制器180分离。
控制器180可以执行模式识别处理,该模式识别处理将被应用于触摸屏的手写输入或图像绘制输入识别为字符和图像。电源单元190可以在控制器180的控制下接收外部电力和内部电力,并且提供操作电子设备100的组件所需的电力。
根据硬件实现,可以使用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、和/或用于执行功能的电子单元中的至少一个来实现本发明的实施例。该实施例可以使用控制器180来实现。
根据软件实现,可以使用执行至少一个功能或操作的单独的软件模块来实现包括过程或功能的实施例。可以根据以适当的软件语言编写的软件应用来实现软件代码。软件代码可以被存储在存储器160中,并且被控制器180执行。
接下来,图2和图3是用于描述根据本发明实施例的使用双目视差的立体图像显示方法的图。具体地,图2图示使用柱状透镜阵列的方法,并且图3图示使用视差屏障的方法。
更加详细地,双目视差指的是沿着两条不同的视线观看的对象的视位置的差。当在人的大脑中将由人的左眼看到的图像和由他的右眼看到的图像组合时,人看到作为立体图像的被组成的图像。
在下面的描述中,由于人类双目视差的深度的视觉感知被称为“立体视觉,并且引起立体视觉的图像被称为“立体图像”。另外,当被包括在图像中的特定对象造成立体视觉时,此对象被称为“立体对象”。此外,被生成以引起立体视觉的内容被称为“立体内容”。立体内容可以包括立体图像、立体对象等。
此外,使用双目视觉的立体图像显示方法被分类为需要特殊眼镜的立体显示方法和不需要眼镜的裸眼立体显示。立体显示方法包括使用有色眼镜、使用由于偏振光差异而导致的阴影效果的偏振眼镜、在眼睛的余像时间内交替地提供左眼的图像和右眼的图像的场序眼镜等的方法。另外,存在使用具有用于用户的左眼和右眼的不同的透射率的滤波器,以根据由透射率差引起的视觉系统的时间差而相对于水平运动获得立体效果的方法。
从图像显示侧而非观察者获得立体效果的裸眼立体显示方法包括使用视差屏障的方法、使用柱状透镜的方法、使用显微透镜阵列的方法等。
参考图2,显示单元151包括柱状透镜阵列11a以显示立体图像。柱状透镜阵列11a位于左眼12a和右眼12b与显示平面13之间,要被输入到左眼12a的像素L和要被输入到右眼12b的像素R在水平方向中被交替地布置在该显示平面13上,并且柱状透镜阵列11a提供相对于要被输入到左眼12a的像素L和要被输入到右眼12b的像素R的光学区别方向性。因此,已经经过柱状透镜阵列11a的图像被分离并且被左眼12a和右眼12b看到,并且通过左眼12a看到的图像和通过右眼12b看到的图像在人脑中组合以作为立体图像而被看到。
参考图3,用于显示立体图像的显示模块151包括以垂直晶格的形式的视差屏障11b。视差屏障11b位于左眼12a和右眼12b与显示平面13之间,要被输入到左眼12a的像素L和要被输入到右眼12b的像素R在水平方向中被交替的布置在该显示平面13上,并且视差屏障11b包括垂直地布置的孔径以允许图像被分离并被左眼12a和右眼12b看到。因此,通过左眼12a看到的图像和通过右眼12b看到的图像在人脑中组合以作为立体图像而被看到。仅当需要显示立体图像时,将视差屏障11b开启以分离输入图像,并且当需要显示2D图像时,将其关闭以使得输入图像在没有被分离的情况下通过。
已经描述了上述立体图像显示方法以解释本发明的实施例,并且本发明不限于此。然而,本发明能够通过除了上述方法之外的各种方法来使用双目视差显示立体图像。
接下来,图4是根据本发明实施例的用于描述根据立体图像的立体视觉的立体图像的深度的视图。具体地,图4的图4(a)图示从前面观看到通过显示模块151显示的立体图像4的示例,并且图4(b)图示从顶部观看到由立体图像4由于立体视觉而产生的立体空间4’的示例。
参考图4(a),被包括在立体图像4中的对象4a、4b、以及4c具有不同的视差程度。在此,由于对象的左眼的图像上的显示点和对象的右眼的图像上的显示点而出现视差。
这样的对象的视差给予对象立体效果,即,根据视差的程度而变化的根据立体视觉的深度。例如,随着对象的深度接近显示平面,对象的视差的程度减少,并且随着深度远离显示平面,视差的程度增加。
以在图4(b)中图示的示例为例,具有小视差的第一对象4a具有与显示平面相对应的深度D0,并且具有比第一对象4a的深度大的深度的第二和第三对象4b和4c分别具有允许对象4b看上去从显示平面突出的深度D1以及允许对象4c看上去从显示平面凹陷的深度D2。
为了方便起见,当提供3D效果使得对象看上去从显示屏幕凹陷时,该视差在下文中被称为是“正视差”,并且当提供3D效果使得对象看上去从显示平面突出时,该视差在下文中被称为“负视差”。
根据图4(b),第二对象4b具有负视差,使得其看上去在虚拟立体空间4中从显示平面D0中突出,并且第三对象4c具有正视差,使得其看上去在虚拟立体空间4’中从显示平面凹陷。此外,因为第一对象4a没有示出视差,所以其看上去像是被定位在显示表面D0上。因此,第一对象4a被聚焦。
通过结合图1描述的电子设备100可以实现在此公开的实施例。如在此所使用的,显示模块151可以包括面板以实现立体视觉。面板可以具有以上述柱状透镜型或者视差屏障型来实现立体视觉的结构。
将显示模块151假定为触摸屏151。如上所述,触摸屏151可以执行信息显示/输入功能,但是不限于此。如在此所使用的,触摸手势指的是通过接触触摸或者接近触摸实现的手势,并且触摸输入指的是通过触摸手势接收到的输入。
根据动作,触摸手势的示例可以包括轻敲(tapping)、拖曳(dragging)、轻弹(flicking)、按压(pressing)、多点触摸(multi touch)、捏(pinch in)、以及伸展(pinch out)。“轻敲”指的是利用手指轻轻地按压触摸屏151并且然后收回的动作。轻敲是与在一般计算机中鼠标点击相类似的触摸手势。
“拖曳”指的是在触摸触摸屏151的情况下例如将手指移向特定位置,并且然后收回的动作。当被拖曳时,对象可以沿着拖曳的方向保持显示。“轻弹”指的是如下动作,即,在触摸触摸屏151之后,沿着特定方向(例如,上、下、左、右、或者对角线方向)移动例如手指,并且然后收回。当通过轻敲接收触摸输入时,电子设备100基于轻弹方向和速度来执行特定的操作,例如,电子书的翻页。
“按压”指的是在预定的时间期间在触摸屏151上保持触摸的动作。“多点触摸”指的是在触摸屏151上触摸多个点的动作。“捏”指的是执行拖曳使得在触摸屏151上被多点触摸的多个点相互靠近的动作。具体地,“捏”允许从被多点触摸的多个点中的至少一个开始,在彼此靠近的方向上拖曳被多点触摸的多个点。
“伸展”指的是执行拖曳使得在触摸屏151上被多点触摸的多个点彼此分开的动作。具体地,“伸展”允许从被多点触摸的多个触摸点中的至少一个开始,在彼此分开的方向上拖曳被多点触摸的多个点。
现在将参考附图更详细地描述根据本发明的第一实施例的控制电子设备和电子设备的操作的方法。
具体地,图5是图示根据本发明的第一实施例的控制电子设备100的方法的流程图。图6至图10是用于描述根据本发明的第一实施例的控制方法的视图。
参考图5,控制器180基于用户的控制输入来显示第一图像(S101)。当显示第一图像时,控制器180可以激活显示模块151中的面板以显示立体图像。响应于将第一图像移位到第二图像的请求(在S102中的是),控制器180初始化屏幕移位处理(S103)。
当屏幕移位处理开始时,第一和第二图像的视差程度被控制在预设范围内(S104)。即,当屏幕移位处理开始时,将第一和第二图像的深度控制为属于预设深度范围。此外,在开始屏幕移位处理时,控制器180逐渐地移位第一和第二图像。
其后,在屏幕移位处理结束时(在S105中的是),控制器180将第一和第二图像的视差程度恢复到第一和第二图像的原始视差程度(S106)。在步骤S104中,当屏幕开始移位时,控制器180可以控制第一图像的视差程度使得第一图像看上去像是从显示平面凹陷。
例如,如果被包括在第一图像中的对象是看上去像是从显示平面突出的对象,即,具有负视差的对象,控制器180可以从对象去除视差或者调整该视差以将其移位为正视差。也可以通过重新定位第一图像的左眼的图像和右眼的图像中的对象来控制各个对象的视差程度。
例如,如果第一图像看上去从显示平面突出,则控制器180可以调整第一图像的整体视差以将焦点重新定位在离显示平面最近的对象。即,可以通过特定值来调整第一图像的整体视差使得将位于离显示平面最近的对象的视差去除或者改变为正视差。通过移位第一图像的左眼的图像和右眼的图像的同步的位置可以控制这种对第一图像的整体视差的调整。
图6和图7图示了在执行屏幕移位处理时调整第一图像的视差的示例。具体地,图6(a)和图6(b)以及图7(a)和图7(b)分别图示在屏幕移位处理的示例之前和之后。
参考图6(a),第一图像6包括具有负视差的对象6a。因此,当屏幕移位处理开始时,控制器180将对象6a从负视差调整到如图6(b)中所示的正视差,使得对象6a看上去从显示平面D0凹陷。
参考图7(a),第一图像6具有允许图像6看上去从显示平面突出的深度。因此,当屏幕移位处理开始时,控制器180调整第一图像6的整体视差使得第一图像6看上去从显示平面D0凹陷,如在图7(b)中所示。
此外,在步骤S104中,当屏幕移位处理正在进行中时,控制器180可以将第二图像的视差控制为看上去从显示平面凹陷。在此,可以通过与控制第一图像的视差的方法相同的方法来执行响应于屏幕移位处理的请求而控制第二图像的视差,并且因此,省略详细描述。
接下来,图8和图9图示了根据屏幕移位处理的视差变化的示例。具体地,图8(a)和图8(b)分别示出在初始化屏幕移位处理之前和之后的第一和第二图像8a和8b的视差变化的示例。
参考图8(a),第一和第二图像8a和8b引起正和负视差这两者。如在图8(a)中所示,当在显示第一图像8a的同时请求到第二图像8b的屏幕移位处理时,控制器180使第一和第二图像8a和8b具有如在图8(b)中所示的正视差。即,控制器180控制第一图像8a和第二图像8b的深度,使得第一和第二图像8a和8b看上去从显示平面凹陷。
接下来,图9(a)和图9(b)图示在执行屏幕移位处理的同时和之后的第一和第二图像8a和8b的视差变化的示例。参考图9(a),当在显示第一图像8a的同时执行到第二图像8b的屏幕移位时,第一和第二图像8a和8b被调整为两者都被包括在正视差范围中。其后,如在图9(b)中所示的,当屏幕移位处理结束时,控制器180将第一和第二图像8a和8b的视差调整为原始视差。
参考图5,在步骤S104中,控制器180可以控制第一和第二图像的视差以逐渐地变化,以便防止急剧地进行屏幕移位。例如,当接收对于屏幕移位处理的请求时,控制器180可以控制第一和第二图像的视差,使得当第一图像被移位到第二图像时,第一和第二图像的视差被逐渐地包括在预定范围内,并且在特殊的时间点处,第一和第二图像的视差被改变为原始视差。
第一和第二图像的视差返回到原始视差的时间点可以包括各种时间点,诸如在请求屏幕移位处理之后的预定时间、在屏幕移位处理结束之前的预定时间、或者在当被显示在整个屏幕上的第二图像的比率具有预定值或更大或者被显示在屏幕上的第二图像的程度具有预定值或更大时结束屏幕移位处理时。
另一方面,如在图6中所示,当仅调整一些对象的视差时,控制器180能够通过将被显示在左眼的图像和右眼的图像上的对象的位置逐渐地移位来逐渐地调整对象的视差。
相反,在图7中示出的情况下,当执行屏幕移位处理时调整第一或者第二图像的整体视差,并且控制器180能够通过将包括在第一或者第二图像中的左眼的图像和右眼的图像的同步的位置逐渐地移位来实现第一和第二图像的视差逐渐变化。为了将同步的位置逐渐移位,在通过屏幕移位处理来移位图像的同时,控制器180能够将组成每个图像的左眼的图像和右眼的图像控制为以具有不同的行进速度。
接下来,图10图示了在屏幕移位处理期间的视差逐渐变化。参考图10(a),当请求屏幕移位处理时,控制器180使组成第一图像10的左眼的图像和右眼的图像的行进速度在屏幕移位处理期间相互不同,使得左眼的图像和右眼的图像的视差被逐渐地包括在正视差范围中。
当第一图像10的视差逐渐地行进到正视差范围时,第一图像形成允许第一图像看上去像是逐渐地后退的3D效果,使得第一图像10中的被聚焦的目标从树变成在第一图像10中位于最近的距离的人。
其后,随着经过特定的时间,控制器180改变组成第一图像10的左眼的图像和右眼的图像的行进速度,使得左眼的图像和右眼的图像的视差被恢复到原始视差。因此,第一图像逐渐地向前突出,从而恢复到原始的图像,并且第一图像10中被聚焦的目标从人变成树。
通常,立体图像的负视差比正视差引入更多疲劳,并且当屏幕移位处理进行时,用户的疲劳被进一步增加。因此,在本发明的第一实施例中,在屏幕移位处理时,将立体图像的视差暂时地移位到正视差范围,并且随着经过预定的时间,将视差恢复到原始视差,从而最小化用户的疲劳。
现在将参考附图来更加详细地描述根据本发明的第二实施例的控制电子设备的方法和该电子设备的操作。
具体地,图11是图示根据本发明的第二实施例的控制电子设备100的方法的流程图,并且图12是用于描述根据本发明的第二实施例的控制方法的视图。
参考图11,控制器180基于用户的控制输入来显示第一图像(S201)。当显示第一图像时,控制器180可以激活显示模块151中的面板以实现立体视觉,并且因此显示立体图像。响应于将第一图像移位到第二图像的请求(在S202中的是),控制器180初始化屏幕移位处理(S203)。
当屏幕移位处理开始时,控制器180将第一图像朝着屏幕的第一边缘逐渐地移动,使得第一图像变为在屏幕外部,同时第二图像从屏幕的第二边缘逐渐地进入屏幕并且从而被显示在屏幕上。
同时,当在初始化屏幕移位处理之后将第一和第二图像逐渐地移动的同时,控制器180控制第一和第二图像的视差,使得视差根据屏幕上的图像的位置而逐渐地减少/增加(S204)。其后,当完成屏幕移位处理时(在S205中的是),控制器180将第一和第二图像的视差恢复到它们的原始视差(S206)。当第一图像从屏幕完全地消失并且全部第二屏幕在屏幕上时,控制器180将其确定为完成屏幕移位处理。
在步骤S204中,当第一图像随着执行屏幕移位处理而通过第一边缘从屏幕逐渐地消失时,控制器180可以使第一图像的视差随着第一图像朝着第一边缘推动而减少。即,控制器180控制第一图像的视差,使得第一图像的视差随着接近屏幕的第一边缘而减少。
在步骤S204中,当第二图像随着执行屏幕移位处理而通过第二边缘逐渐地出现在屏幕时,控制器180可以使第二图像的视差随着第二图像变得远离其进入的第二边缘而增加,使得在接近预定的时间点时,视差变回原始视差。即,控制器180控制第二图像的视差使得被显示在屏幕上的第二图像的一部分的视差从其最小值逐渐地增加到原始视差。
接下来,图12图示了控制第一和第二图像使得视差根据屏幕上的图像的位置而逐渐地减少/增加的示例。参考图12,当屏幕移位开始从第一图像12a到第二图像12b时,控制器180将第二图像12b的视差变成如在图12(a)中所示的最小值。
其后,当屏幕移位处理进行时,随着第一图像12a的一部分移位到屏幕的左边缘b1,控制器180减少第一图像12a的该部分的视差。因此,当屏幕移位处理正在进行时,第二图像12b具有增加的视差减少的部分,并且如果屏幕移位处理结束,则整个第一图像12a的视差被减少到如在图12(c)中所示的最小值。
此外,当屏幕移位处理发生时,随着第二图像12b的一部分远离右边缘b2,控制器180逐渐地增加第二图像12b的该部分的视差,从而恢复到如在图12(b)的(b)中所示的原始视差。因此,当屏幕移位处理进行时,第二图像12b具有增加的恢复到其原始视差的部分,并且当完成屏幕移位处理时,整个第二图像12b变回其原始视差。
返回到图11,在步骤S204中,控制器180也可以部分地或者各自地控制第一和第二图像的视差使得视差根据屏幕上的位置而逐渐地减少/增加。对于每个对象控制视差的方法与结合图6描述的方法相类似,并且省略详细描述。
通常,立体图像中的突然变化会使用户感到更疲劳,因为这阻止它们立即适应变化。此外,在屏幕上对于边缘更难以实现大视差。因此,在第二实施例中,在屏幕移位处理时,从将要通过边缘被推出的部分逐渐地减少视差,并且将更多的视差放入出现到屏幕的部分,从而防止屏幕上的边缘出现破碎而没有深度的突然变化。
经由计算机可读记录介质能够实现本发明,该计算机可读记录介质可以是可以存储数据并且可以通过计算机系统读取的任何数据存储装置。计算机可读记录介质的示例可以包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、DVD±ROM、DVD-RAM、磁带、软盘、以及光数据存储装置。计算机可读记录介质也可以被分布在与网络耦合的计算机系统上,使得以分布式的方式来存储和执行计算机可读代码。
前述实施例和特征本质上仅是示例性的并且不被解释为限制本发明。公开的实施例和特征可以被容易地应用于其它类型的设备。前述实施例的描述旨在是示意性的,并且不限制权利要求的范围。对本领域的技术人员来说许多的替代、修改、以及变化将是显而易见的。

Claims (18)

1.一种电子设备,包括:
显示模块,所述显示模块包括用于生成立体视觉的面板,并且被配置成使用所述面板来显示立体图像;以及
控制器,所述控制器被配置成:
显示第一立体图像,
接收将所述第一立体图像移位的请求,以及
基于接收到的请求,将所述第一立体图像的负视差改变为正视差。
2.根据权利要求1所述的电子设备,其中,所述控制器进一步被配置成当接收到将所述第一立体图像移位到第二立体图像的请求时将所述第一和第二立体图像这两者的负视差改变为正视差。
3.根据权利要求1所述的电子设备,其中,所述控制器进一步被配置成当所述改变步骤结束时将所述第一立体图像的视差恢复到原始值。
4.根据权利要求1所述的电子设备,其中,所述控制器进一步被配置成将所述第一立体图像的整体负视差调整为正视差。
5.根据权利要求1所述的电子设备,其中,所述控制器进一步被配置成将在所述第一立体图像中包括的至少一个对象的负视差调整为正视差。
6.根据权利要求1所述的电子设备,其中,所述控制器进一步被配置成将所述第一立体图像的负视差逐渐地调整为正视差。
7.根据权利要求6所述的电子设备,其中,所述控制器进一步被配置成不同地改变在所述第一立体图像中包括的左眼的图像和右眼的图像的移动速度,使得所述第一立体图像的负视差被逐渐地改变为正视差。
8.一种电子设备,包括:
显示模块,所述显示模块包括用于生成立体视觉的面板,并且被配置成使用所述面板来显示立体图像;以及
控制器,所述控制器被配置成:
显示第一立体图像,
接收将所述第一立体图像移位到第二立体图像的请求,
响应于将所述第一立体图像移位到所述第二立体图像的请求,将所述第一立体图像朝着所述显示模块中的屏幕的第一边缘逐渐地移动;以及
根据离所述屏幕的第一边缘的距离而逐渐地改变所述第一立体图像的视差。
9.根据权利要求8所述的电子设备,其中,所述控制器进一步被配置成随着所述第一立体图像的一部分朝着所述屏幕的第一边缘移动而逐渐地减少所述第一立体图像的一部分的视差。
10.根据权利要求9所述的电子设备,其中,所述控制器进一步被配置成:
响应于将所述第一立体图像移位到所述第二立体图像的请求而将所述第二立体图像显示为从所述屏幕的第二边缘逐渐地出现,以及
根据离所述屏幕的第二边缘的距离而逐渐地改变所述第二立体图像的视差。
11.根据权利要求10所述的电子设备,其中,所述控制器进一步被配置成随着所述第二立体图像朝着所述第一边缘远离所述第二边缘移动而逐渐地增加所述第二立体图像的视差。
12.一种控制电子设备的方法,所述方法包括:
在显示模块上显示第一立体图像,所述显示模块包括用于生成立体视觉的面板;
接收将所述第一立体图像移位的请求;以及
基于接收到的请求,经由所述电子设备的控制器,将所述第一立体图像的负视差改变为正视差。
13.根据权利要求12所述的方法,其中,当接收到将所述第一立体图像移位到第二立体图像的请求时,所述改变步骤将所述第一和第二立体图像这两者的负视差改变为正视差。
14.根据权利要求12所述的方法,进一步包括:
当屏幕移位结束时,将所述第一立体图像的视差恢复到原始值。
15.根据权利要求12所述的方法,其中,所述改变步骤将所述第一立体图像的整体负视差调整为正视差。
16.根据权利要求12所述的方法,其中,所述改变步骤将在所述第一立体图像中包括的至少一个对象的负视差调整为正视差。
17.根据权利要求12所述的方法,其中,所述改变步骤将所述第一立体图像的负视差逐渐地调整为正视差。
18.根据权利要求17所述的方法,其中,所述改变步骤不同地改变在所述第一立体图像中包括的左眼的图像和右眼的图像的移动速度,使得所述第一立体图像的负视差被逐渐地改变为正视差。
CN201210449523.5A 2011-12-19 2012-11-12 显示立体图像的电子设备以及相应的方法 Expired - Fee Related CN103167302B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0137053 2011-12-19
KR1020110137053A KR101872864B1 (ko) 2011-12-19 2011-12-19 전자 기기 및 전자 기기의 제어 방법

Publications (2)

Publication Number Publication Date
CN103167302A true CN103167302A (zh) 2013-06-19
CN103167302B CN103167302B (zh) 2016-05-18

Family

ID=47262953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210449523.5A Expired - Fee Related CN103167302B (zh) 2011-12-19 2012-11-12 显示立体图像的电子设备以及相应的方法

Country Status (4)

Country Link
US (1) US9319655B2 (zh)
EP (1) EP2608548B1 (zh)
KR (1) KR101872864B1 (zh)
CN (1) CN103167302B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104811679A (zh) * 2014-01-29 2015-07-29 宏达国际电子股份有限公司 立体图像的调整方法与图像处理装置
CN105453560A (zh) * 2013-07-26 2016-03-30 三星电子株式会社 多视点图像处理设备及其图像处理方法
CN105608427A (zh) * 2015-12-17 2016-05-25 安徽寰智信息科技股份有限公司 一种用于人机交互系统中的双目测量装置
CN114495444A (zh) * 2021-12-16 2022-05-13 珠海格力电器股份有限公司 一种漏电监测方法、装置、存储介质及电子设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9736467B2 (en) * 2013-08-05 2017-08-15 Samsung Display Co., Ltd. Apparatus and method for adjusting stereoscopic images in response to head roll
CN103995361B (zh) * 2014-06-17 2017-01-11 上海新视觉立体显示科技有限公司 裸眼3d显示像素单元及多视图裸眼3d图像显示设备
BR112019016820B1 (pt) 2017-04-11 2022-05-24 Dolby Laboratories Licensing Corporation Método para experiências de entretenimento aumentadas em camadas

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1795682A (zh) * 2003-05-27 2006-06-28 三洋电机株式会社 图像显示装置及程序
CN101276060A (zh) * 2007-03-29 2008-10-01 三星电子株式会社 控制立体视图或多视图序列图像的动态深度的方法和装置
EP2362668A2 (en) * 2010-02-26 2011-08-31 Sony Corporation Method and apparatus for processing stereoscopic video images

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1628490A1 (en) * 2003-05-27 2006-02-22 Sanyo Electric Co., Ltd. Image display device and program
KR101185870B1 (ko) * 2005-10-12 2012-09-25 삼성전자주식회사 3d 입체 영상 처리 장치 및 방법
US7679641B2 (en) * 2006-04-07 2010-03-16 Real D Vertical surround parallax correction
KR101311896B1 (ko) * 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
JP5434231B2 (ja) * 2009-04-24 2014-03-05 ソニー株式会社 画像情報処理装置、撮像装置、画像情報処理方法およびプログラム
JP5491786B2 (ja) * 2009-07-21 2014-05-14 富士フイルム株式会社 画像再生装置及び方法
GB2478156A (en) * 2010-02-26 2011-08-31 Sony Corp Method and apparatus for generating a disparity map for stereoscopic images
US8994796B2 (en) * 2011-07-06 2015-03-31 Fujifilm Corporation Stereo image display apparatus and stereo image display method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1795682A (zh) * 2003-05-27 2006-06-28 三洋电机株式会社 图像显示装置及程序
CN101276060A (zh) * 2007-03-29 2008-10-01 三星电子株式会社 控制立体视图或多视图序列图像的动态深度的方法和装置
EP2362668A2 (en) * 2010-02-26 2011-08-31 Sony Corporation Method and apparatus for processing stereoscopic video images

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105453560A (zh) * 2013-07-26 2016-03-30 三星电子株式会社 多视点图像处理设备及其图像处理方法
CN104811679A (zh) * 2014-01-29 2015-07-29 宏达国际电子股份有限公司 立体图像的调整方法与图像处理装置
CN105608427A (zh) * 2015-12-17 2016-05-25 安徽寰智信息科技股份有限公司 一种用于人机交互系统中的双目测量装置
CN114495444A (zh) * 2021-12-16 2022-05-13 珠海格力电器股份有限公司 一种漏电监测方法、装置、存储介质及电子设备
CN114495444B (zh) * 2021-12-16 2023-08-11 珠海格力电器股份有限公司 一种漏电监测方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
EP2608548A2 (en) 2013-06-26
KR20130069975A (ko) 2013-06-27
EP2608548B1 (en) 2018-09-05
KR101872864B1 (ko) 2018-06-29
EP2608548A3 (en) 2014-01-15
US9319655B2 (en) 2016-04-19
US20130155054A1 (en) 2013-06-20
CN103167302B (zh) 2016-05-18

Similar Documents

Publication Publication Date Title
KR102014775B1 (ko) 휴대 단말기 및 그 제어 방법
KR101666919B1 (ko) 전자 기기 및 전자 기기의 제어 방법
US9189825B2 (en) Electronic device and method for displaying stereoscopic image
KR101830966B1 (ko) 전자 기기 및 전자 기기의 컨텐츠 생성 방법
CN103167302B (zh) 显示立体图像的电子设备以及相应的方法
KR20120021414A (ko) 이동 단말기 및 그 제어방법
KR20120010764A (ko) 이동 단말기 및 3차원 영상 제어 방법
KR20130052280A (ko) 입체영상 처리 장치 및 입체영상 처리 장치의 전력 제어 방법
KR101883375B1 (ko) 이동 단말기
KR20130065074A (ko) 전자 기기 및 전자 기기의 제어 방법
KR102026639B1 (ko) 이동 단말기 및 그것의 제어방법
KR20120093601A (ko) 이동 단말기 및 그 제어방법
KR20120081651A (ko) 이동 단말기 및 그 제어방법
KR20120130394A (ko) 휴대 단말기 및 그 제어방법
KR20130053476A (ko) 휴대 단말기 및 그 제어 방법
KR20110060125A (ko) 이동 단말기 및 그 제어방법
KR101739043B1 (ko) 이동 단말기 및 이동 단말기의 입체 영상 표시 방법
KR101799269B1 (ko) 이동 단말기 및 그 제어방법
KR20130017178A (ko) 휴대 단말기 및 그 제어 방법
KR20130058203A (ko) 이동 단말기 및 그 제어방법
KR101864698B1 (ko) 전자 기기 및 전자 기기의 제어 방법
KR101844225B1 (ko) 휴대 단말기 및 그 제어 방법
KR102014417B1 (ko) 단말기 및 그 제어 방법
KR20110136132A (ko) 전자 기기 및 전자 기기의 제어 방법
KR101850824B1 (ko) 전자 기기 및 전자 기기의 제어 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160518

Termination date: 20191112