CN105830145B - 显示装置、图像变形方法以及存储介质 - Google Patents

显示装置、图像变形方法以及存储介质 Download PDF

Info

Publication number
CN105830145B
CN105830145B CN201480055115.9A CN201480055115A CN105830145B CN 105830145 B CN105830145 B CN 105830145B CN 201480055115 A CN201480055115 A CN 201480055115A CN 105830145 B CN105830145 B CN 105830145B
Authority
CN
China
Prior art keywords
image
display device
display
user
opening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480055115.9A
Other languages
English (en)
Other versions
CN105830145A (zh
Inventor
土井良太
清田敦史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN105830145A publication Critical patent/CN105830145A/zh
Application granted granted Critical
Publication of CN105830145B publication Critical patent/CN105830145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1675Miscellaneous details related to the relative movement between the different enclosures or enclosure parts
    • G06F1/1677Miscellaneous details related to the relative movement between the different enclosures or enclosure parts for detecting open or closed state or particular intermediate positions assumed by movable parts of the enclosure, e.g. detection of display lid position with respect to main body in a laptop, detection of opening of the cover of battery compartment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/02Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0232Special driving of display border areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2356/00Detection of the display position w.r.t. other display screens
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/14Electronic books and readers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • G09G3/342Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines
    • G09G3/3426Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines the different display panel areas being distributed in two dimensions, e.g. matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

显示装置具备:能开闭的多个壳体、分别被设置于多个壳体的多个显示部、和对多个壳体的开闭角度进行检测的开闭角度检测部。显示装置根据多个壳体的开闭角度对多个图像执行变形处理,使得多个图像被视觉辨认为连续的平面图像。此外,显示装置根据纵置姿势、横置姿势来切换变形处理。进而,也可以根据用户的特定部位相对于显示装置的位置来修正多个图像。

Description

显示装置、图像变形方法以及存储介质
技术领域
本发明涉及具有多个显示部的显示装置,尤其涉及对由多个显示部连续显示的图像进行修正的图像修正方法。
本申请基于2013年10月10日在日本提出申请的特愿2013-212834号来主张优先权,并将其内容援引于此。
背景技术
以往,已开发出具备多个显示部并连续地显示图像的显示装置。例如,已开发出在开闭自如的两个壳体分别设置显示部而成为两个画面构成的显示装置。专利文献1公开一种“信息终端装置”,在折叠式便携信息终端中根据多个显示部的开闭角度来处理图像信息。专利文献2公开一种“显示装置”,在电子书中根据两个显示部的开闭角度的变化来变更图像的放大缩小率以及显示方向。专利文献3公开一种“显示装置”,在移动通信装置中利用两个画面来进行3D显示时根据上下、左右的打开角度来计算视力以变更用于3D显示的参数。专利文献4公开一种“信息处理装置”,在信息处理装置中针对由照相机拍摄到的图像执行脸部认证处理时按照相对于基准轴的旋转角度来显示图像。专利文献5公开一种“折叠式便携终端”,连续排列两个显示部来显示图像。专利文献6公开一种“显示装置”,在使挠性显示面板从折叠状态转变为展开状态时防止显示面板相对于壳体的偏离。
在先技术文献
专利文献
专利文献1:JP特开平11-85108号公报
专利文献2:JP特开2009-222951号公报
专利文献3:JP特开2011-107711号公报
专利文献4:JP特开2012-4798号公报
专利文献5:JP特开2012-114739号公报
专利文献6:JP特开2013-50547号公报
发明内容
发明要解决的课题
在专利文献1的显示装置中,为了避免在两个壳体的开闭角度小的情况下难以观看显示画面,根据开闭角度而在纵向、横向上放大、缩小显示图像。由此,能够避免在用户斜看显示画面的情况下字符、图像的纵横比变得不自然而难以观看。但是,在专利文献1的显示装置中,由于按照每个画面来变形图像,因此在利用两个画面来显示一个图像的情况下存在视觉辨认性下降这样的问题点。例如,在利用两个画面来显示一个图像的情况下,由于开闭角度而有时画面以连接两个壳体的铰链部为界发生弯曲。若在这种状态下使图像滚动,则有时用户会产生眩晕。即,难以在利用多个画面来显示图像时确保良好的视觉辨认性。
本发明正是为了解决上述课题而提出的,其目的在于,提供能够在由多个显示部连续地显示图像时对该图像进行修正来提高视觉辨认性的显示装置以及图像修正方法。
用于解决课题的手段
本发明的第1方式为显示装置,具备:能开闭的多个壳体;多个显示部,分别被设置于多个壳体;开闭角度检测部,其检测多个壳体的开闭角度;和控制部,根据所述开闭角度检测部检测出的开闭角度对多个显示部分别显示的多个图像进行变形处理,使得多个显示部分别显示的多个图像被视觉辨认为连续的平面图像。
本发明的第2方式为图像变形方法,被应用于由分别被设置于能开闭的多个壳体的多个显示部所显示的多个图像,检测多个壳体的开闭角度,根据开闭角度对多个显示部分别显示的多个图像进行变形处理,使得多个显示部分别显示的多个图像被视觉辨认为连续的平面图像。
本发明的第3方式为程序,针对由分别被设置于能开闭的多个壳体的多个显示部所显示的多个图像来执行变形处理,检测多个壳体的开闭角度,根据开闭角度对多个显示部分别显示的多个图像进行变形处理,使得多个显示部分别显示的多个图像被视觉辨认为连续的平面图像。
发明的效果
根据本发明,根据能开闭的两个显示部的开闭角度对两个显示部显示的两个图像执行图像变形处理,使得能够将这两个图像视觉辨认为连续的平面图像。此外,即便在由于用户相对于两个显示部的视觉辨认位置使得显示图像弯曲的情况下,也会被自动地修正,从而用户能够将两个图像视觉辨认为连续的平面图像,能够提高用户的视觉辨认性。
附图说明
图1是表示本发明的一实施例所涉及的显示装置的构成的框图。
图2是表示本发明的一实施例所涉及的显示装置的外观的侧视图。
图3是表示将两个壳体打开180度时的显示装置的外观的侧视图。
图4是表示将两个壳体打开225度时的显示装置的外观的侧视图。
图5是示意性地表示将纵置姿势的显示装置的开闭角度设为180度以上时的该显示装置的外观以及显示图像的图。
图6是在显示装置中表示变形处理前的图像的图。
图7是表示将纵置姿势的显示装置的开闭角度设为180度时的显示图像的图。
图8是示意性地表示将横置姿势的显示装置的开闭角度设为180度以上时的该显示装置的外观以及显示图像的图。
图9是在显示装置中表示变形处理前的图像的图。
图10是表示将横置姿势的显示装置的开闭角度设为180度时的显示图像的图。
图11是示意性地表示从图5所示的纵置姿势的显示装置的照相机观察到的在左右方向上移动的用户的位置的图。
图12是示意性地表示由图5所示的纵置姿势的显示装置的照相机摄像到的在左右方向上移动的用户的图像的图。
图13是用于说明根据用户的横向的移动对图5所示的纵置姿势的显示装置中显示的图像进行修正的处理的图。
图14是示意性地表示从图8所示的横置姿势的显示装置的照相机观察到的在上下方向上移动的用户的位置的图。
图15是示意性地表示由图8所示的横置姿势的显示装置的照相机摄像到的在上下方向上移动的用户的图像的图。
图16是用于说明根据用户的纵向的移动对图8所示的横置姿势的显示装置中显示的图像进行修正的处理的图。
具体实施方式
与实施例一起参照附图来详细地说明本发明所涉及的显示装置。图1是表示本发明的一实施例所涉及的显示装置1的构成的框图。图2至图4是表示显示装置1的外观的侧视图。显示装置1具备:壳体11、显示部12、壳体13、显示部14、开闭角度检测部15、以及控制部16。
如图2至图4所示,壳体11以及壳体13经由铰链部17而开闭自如地连结。图2表示将壳体11、13闭合时的显示装置1,图3表示将壳体11、13打开180度时的显示装置1,图4表示将壳体11、13打开225度时的显示装置1。此外,壳体11具备显示部12,壳体13具备显示部14。进而,壳体11、13的任意一者或者两者具备开闭角度检测部15和控制部16。
显示部12以及显示部14是由液晶面板构成的显示装置。显示部12、14根据从控制部16提供的控制信号来显示图像。如图2所示,能够在将壳体11、13闭合时使显示部12、14朝向显示装置1的外侧。
开闭角度检测部15对两个壳体11、13的开闭角度进行检测。例如,能够利用两个地磁传感器来构成开闭角度检测部15。即,在壳体11、13分别搭载地磁传感器。各地磁传感器对与铰链部17形成的角度进行检测。控制部16基于两个地磁传感器检测出的两个角度来计算壳体11、13之间的角度。例如,也可以以5度为刻度来检测壳体11、13所形成的角度。另外,壳体11、13之间的角度的检测方法并不限定于上述的利用了地磁传感器的方法,也可以采用公知的角度检测技术。
控制部16能够构成为具备CPU(中央处理装置)以及易失性或者非易失性的存储装置。例如,控制部16基于非易失性存储装置中存储的图像信息而将图像显示于显示部12以及显示部14。此时,控制部16根据开闭角度检测部15检测出的壳体11、13之间的开闭角度对显示部12、14显示的图像进行变形,使得显示部12、14显示的两个图像能够视觉辨认为连续的平面图像。
如图3所示,在壳体11和壳体13打开180度的情况下,壳体11的显示部12的显示面和壳体13的显示部14的显示面位于同一平面内。如图4所示,在壳体11与壳体13之间的角度超过180度的情况下,显示部12的显示面和显示部14的显示面成为以铰链部17为界发生弯曲的状态。在该发生弯曲的状态下,若使显示部12的图像和显示部14的图像同时滚动,则被用户的眼睛31视觉辨认为以铰链部17为界而图像在不同的方向上滚动。在此情况下,使图像在同一方向上滚动这样的用户的操作感觉和用户的视觉辨认感觉会产生不同,从而有时用户会产生眩晕。
为此,控制部16使显示部12的图像变形,以使得如图4所示那样从用户的眼睛31观看时能够视觉辨认为显示部12存在于点划线所示的位置(即,虚拟的显示部12i的位置)。即,控制部16根据开闭角度检测部15检测出的开闭角度使显示部12以及显示部14的图像的至少一方变形,以使得用户能够视觉辨认为显示部12的显示面和显示部14的显示面位于同一平面上。
通过上述的图像变形处理,显示装置1能够使用户视觉辨认为显示部12的图像和显示部14的图像是连续的平面(即一个大的画面)。由此,能够使用户的操作感觉和视觉辨认感觉一致,因此能够消除在两个画面内滚动图像时用户产生眩晕。控制部16通过执行给定的程序,由此来实施图像变形处理。关于图像变形处理的详细内容,参照图5至图16而在后面阐述。
本实施例的显示装置1并不限定于图1至图4所示的构成。例如,也可以在显示装置1中具备3个以上的壳体。或者,也可以在显示装置1的铰链部17设置照相机作为检测用户位置的位置检测部以具有拍摄用户脸部等的功能。进而,显示装置1也可以根据基于由照相机拍摄到的图像而检测出的用户的位置(或用户的眼睛的位置)来变更图像变形处理。
在显示装置1中,也可以在显示部12、14一体地设置触摸面板从而具备输入用户对画面的操作的装置,或者与显示部12、14分开具备开关、光标键等的输入装置。或者,也可以在显示装置1中具备加速度传感器以具有检测显示装置1的姿势的功能(姿势检测部)。此外,也可以在显示装置1中具备有线或者无线的通信装置,以具备从外部装置获得所期望的信息的功能。进而,也可以将显示部12、14设为挠性显示器从而在一个挠性基板上构成为一体。
其次,参照图5至图7来说明使图1至图4所示的显示装置1变为纵置姿势并将壳体11与壳体13之间的角度打开180度以上的状态下的两个画面中显示的图像的变形处理。图5是示意性地表示从位于基准位置P1a(即,显示装置1的正面)的用户32a的眼睛观看到的显示装置1的外观以及显示图像的图。图6是表示变形处理前的图像41的图。图7是表示使图5所示的显示图像保持原样并将壳体11与壳体13之间的角度设为180度时的显示图像的图。在图5以及图7所示的显示装置1中,将图1至图4中未图示的照相机18配备在铰链部17的中央附近。图5所示的图像41包含平面图像42和滚动条的图像(以下称作滚动条43)。图像41使表示滚动操作的方向的箭头图像44以叠加于平面图像42的方式来包含。此外,滚动条43包含滚动轴431以及滚动框432。另外,对于平面图像42而朝向附图准备在上方或者下方连续的图像(未图示)。
图5所示的变形处理后的图像是在将显示装置1的下部壳体11置于台上、且将壳体11、13之间的角度打开180度以上以使上部壳体13的显示面与用户32a的视线大致成直角的状态下绘制出的。在该情况下,用户32a也可以手动地调整上部壳体13的倾斜度以与自己的视线相适。控制部16在显示装置1为纵置姿势和横置姿势下切换图像变形处理来变形图像。这里,说明显示装置1的纵置姿势下的显示图像,关于横置姿势的显示图像将在后面阐述。在切换图像变形处理时,控制部16也可以利用由加速度传感器构成的姿势检测部(未图示)来检测壳体11、13是纵置姿势。或者,也可以通过用户32a对显示装置1进行给定的操作来设定是纵置姿势。
在图5中,控制部16在不对图6的平面图像41的大致上半部分的图像41a进行变形处理的情况下显示于上部壳体13的显示部14。此外,控制部16使下部壳体11的显示部12显示将平面图像41的大致下半部分变形为能够与上部壳体13的显示图像41a连续地视觉辨认在同一平面内的图像41b。在图5以及图7所示的显示图像中,由粗线的虚线来包围变形处理后的图像41b。此时,在下部壳体11的显示部12的画面上的显示图像中,如图7所示,越是从铰链部17向下方远离的位置,则越被变形(即压缩)为比变形处理前的图像更靠内侧。即,越是从铰链部17(即壳体11、13的开闭操作的中心)向上方或者下方远离的位置,则控制部16越增大横向的压缩率。进而,控制部16根据壳体11、13的开闭角度以软件来控制图像数据,使得图像的压缩率变化。
此外,控制部16根据变形处理为用户能够连续地进行视觉辨认的显示图像(即沿着图像的变形方向)来变更滚动操作的方向变更。在图5以及图7中,箭头51表示图像变形处理后的滚动方向,箭头52表示图像变形处理前的滚动方向。控制部16根据用户对于显示装置1所具备的给定的操作部的给定的操作来滚动显示图像41a、41b。在本实施例所涉及的显示装置1中,作为操作部而具备与显示部12以及显示部14一体地形成的触摸面板。在此情况下,如图5以及图7的箭头51所示,基于用户的手指的触摸面板上的接触位置越是从铰链部17向上方或者下方远离的位置,则越是以附加成为比对于变形处理前的图像的接触位置更靠内侧的位置这样的角度的方向来进行滚动操作。关于该角度,壳体11与壳体13之间的角度越大则越大。这里,图像41a或者图像41b中包含的箭头44、滚动条43成为以视觉的方式向用户通知滚动操作的方向的信息。根据该通知信息,即便在变形处理后的图像的显示画面内,用户也能够容易获知画面内的滚动方向。
在将变形处理后的图像41b显示于显示部12时,在被压缩的图像41b的两侧形成空出的显示空间45、46(参照图5以及图7的阴影线区域),控制部16也可以控制显示部12而在该显示空间45、46显示小工具(例如表示日期时间、天气的图像)。这里,所谓小工具,是指小型的应用,例如是以给定的时间间隔更新日期时间、天气等的信息并进行显示的软件。例如,在显示部12以及显示部14具有正下方式的LED背光灯的情况下,控制部16也可以控制显示部12,以使灯显示空间45、46的正下方的背光熄灭。在存在多个空显示空间的情况下,控制部16也可以组合显示小工具的显示和背光灯的熄灭。或者,背光灯也可以不完全熄灭而降低光量。即,控制部16能够将图像变形处理的结果而空出的显示空间设定为给定的应用显示区域,或者不显示该显示空间。
其次,参照图8至图10来说明使图1至图4所示的显示装置1变为横置姿势并将壳体11与壳体13之间的角度打开180度以上的状态下的图像变形例。图8是示意性地表示从用户32的眼睛观看到的显示装置1的外观以及显示图像的图。图9是表示变形处理前的图像的图。图10是表示使图8所示的显示图像保持原样并将壳体11与壳体13之间的角度设为180度时的显示图像的图。在图8至图10所示的显示装置1中,将图1至图4的显示装置1中未示出的照相机18配备在铰链部17的中央附近。图9所示的图像61包含平面图像62和表示滚动条的图像63(以下称作滚动条63)。图像61使表示滚动操作的方向的箭头图像64以叠加于平面图像62的方式来包含。此外,相对于图9,对于平面图像62而准备在左方或者右方连续的图像(未图示)。
图8表示用手保持显示装置1使得铰链部17位于用户32的正面中央并将壳体11与壳体13之间的角度打开180度以上的状态下的显示图像。这次,显示装置1被保持为铰链部17与用户32的视线大致成直角。控制部16利用例如由加速度传感器构成的姿势检测部(未图示)来检测壳体11以及壳体13是横置姿势,将图像变形处理从纵置姿势切换为横置姿势来变形图像。
在图8中,控制部16使左侧壳体13的显示部14显示对图9所示的平面图像41的大致左半部分进行了变形后的图像61a。此外,控制部16使右侧壳体11的显示部12显示将平面图像41的大致右半部分变形为能够与图像61a连续地进行视觉辨认的图像61b。在图8以及图10中,由粗线的虚线来包围变形处理后的图像61a以及61b。
在将显示装置1设为横置姿势的情况下,控制部16如图8所示那样将左图像61a以及右图像61b变形处理相同的角度。即,控制部16实施变形处理使得左图像61a以及右图像61b能够视觉辨认为连续的平面图像,并显示于壳体13的显示部14以及壳体11的显示部12。此时,如图8以及图10所示,在左图像61a以及右图像61b中,越是远离铰链部17的位置,则与变形处理前的图像61相比越向内侧变形(或者压缩)。即,越是从铰链部17向水平方向远离的位置,则控制部16越增大纵向的压缩率。此外,控制部16根据壳体11与壳体13之间的开闭角度来进行软件控制,使得图像的压缩率变化。
此外,与显示装置1的纵置姿势的情况同样,在横置姿势下,控制部16也根据变形处理为被视觉辨认为在左右方向上连续的平面图像的图像来变更滚动操作的方向。在图8以及图10中,如箭头53所示,触摸面板上的用户的手指的接触位置越是从铰链部17向左右方向远离的位置,则越是以附加角度使得成为比图像变形处理前的接触位置(即箭头54所示的方向)更靠内侧的位置的方向来进行滚动。关于该角度,壳体11与壳体13之间的角度越大则越大。此外,控制部16显示用于通知滚动操作的方向的信息(即箭头64、滚动条63等)。由此,即便在显示实施了变形处理的图像的画面内,用户也能够识别滚动方向。在画面显示实施了变形处理的图像61a以及图像61b时,在其上下部分形成空出的显示空间65~68。此时,控制部16也可以在显示空间65~68内显示小工具(例如表示日期时间、天气等的图像),或者也可以使背光灯熄灭。
其次,参照图5以及图11至图13来说明在位于基准位置P1a的用户32a移动到位置P1b或者位置P1c的情况下控制部16根据利用照相机18检测出的用户的位置对图像变形处理执行的修正处理。如图5所示,考察用户的眼睛或脸部从基准位置P1a向与滚动方向(箭头51的方向)正交的方向移动而移至位置P1b或者位置P1c的情况。在该情况下,移动到位置P1b或者P1c的用户32b或者32c,由于显示部12、14中显示的图像在铰链部17处横向地弯曲,而无法视觉辨认为连续的平面图像。在图13的左侧示出从位置P1b的用户32b观看到的显示装置1的显示部14、12中显示的图像41c、41d(即修正前的图像)。此外,在图13的右侧示出从位置P1b的用户32b观看到的显示装置1的显示部14、12中显示的图像41e、41f(即修正后的图像)。显示部14的图像41c是由用户32b观看图5的图像41a而得到的图像,图像41d是由用户32b观看图5的图像41b而得到的图像。用户32a从基准位置P1a移动到位置P1b,由此从移动后的用户32b观看到的图像41c以及图像41d被视觉辨认为不连续的图像。为此,控制部16基于照相机18的拍摄信息来生成能够连续地视觉辨认为平面图像的图像41e以及图像41f。在此情况下,控制部也可以修正图像41c、41d来生成图像41e、41f,或者也可以使原始的图像41变形来生成图像41e、41f。
在执行图13所示的修正处理的情况下,控制部16利用配备于铰链部17的照相机18并基于从照相机18提供的角度信息来计算用户的脸部(或用户的眼睛)的位置。即,照相机18根据拍摄到的图像来进行脸部识别、眼睛的识别处理,将表示用户的脸部、眼睛的位置的角度信息作为电信号而提供给控制部16。控制部16利用预先准备的给定的设定信息并与角度信息相匹配地对图像数据进行变形处理(或者修正处理)。这里,所谓给定的设定信息,是指从显示装置1至用户的距离的初始值、或者用于根据摄像到的用户的脸部等的信息来计算至用户的距离的信息。其次,参照图11以及图12来说明利用照相机18检测表示用户33a~33c的眼睛的位置的角度信息的方法。图11是示意性地表示从照相机18观察到的用户33a~33c的位置的图。图12是示意性地表示由照相机18摄像到的用户33a~33c的图像71的图。在图11以及图12中,用户33a~33c的位置分别对应于图5的用户32a~32c的位置。
在图11中,将照相机18能拍摄的横向的角度范围(即视场角)设为80度。在此情况下,照相机18摄像到的图像71如图12所示那样成为将中央位置作为“0度”而左右各40度的范围的图像。图12利用数字直线来表示照相机18的视场角,在左40度至右40度的范围内将摄像到的用户33的眼睛或者脸部的位置检测为10度刻度的位置。即,9个点的位置被设定在数字直线上。在图12的情况下,用户33的眼睛或者脸部的位置从数字直线上的左起依次存在于第2个、第5个、第8个数字直线。即,照相机18将用户33c的位置检测为“左30度”,将用户33a的位置检测为“0度”,将用户33b的位置检测为“右30度”。照相机18将该角度信息作为电信号而提供给控制部16。控制部16执行与角度信息相匹配地对图像41c、41d进行修正成为图像41e、41f这样的软件控制。
其次,参照图8以及图14至图16来说明在位于基准位置P2a的用户32垂直地移动到位置P2b或者位置P2c的情况下控制部16根据利用照相机18检测出的用户32的位置对变形处理执行的修正处理。参照图11至图13对图5所示的纵置姿势的显示装置1进行了说明,但参照图14至图16对图8所示的横置姿势的显示装置1也同样进行说明。
如图8所示,考察用户32的眼睛或者脸部从基准位置P2a向与滚动方向(箭头53的方向)正交的方向移动而移至位置P2b或者位置P2c的情况。在该情况下,从移动后的用户32观看时,由于显示部14以及显示部12中显示的图像在铰链部17处纵向地弯曲,而无法视觉辨认为连续的平面图像。在图16的左侧示意性地示出从移动到位置P2b的用户35b观看到的图像61c以及图像61d(即修正前的图像)。图像61c是从位置P2b的用户35b观看到的显示部14的图像61a,图像61d是从用户35d观看到的显示部12的图像61b。修正前的图像61c以及图像61d被视觉辨认为不连续的平面图像。在图16的右侧示出对从用户35b观看到的图像61c以及图像61d进行了修正后的图像61e以及图像61f。控制部16基于照相机18的拍摄信息对图像61c以及图像61d进行修正,从用户35b观看时成为能够视觉辨认为连续的平面图像的图像61e以及图像61f。
在执行图16所示的修正处理时,控制部16利用配备于铰链部17的照相机18来获取表示用户的眼睛或者脸部的位置的角度信息。即,照相机18根据拍摄图像来进行脸部识别、眼睛的识别处理,将表示用户的脸部或者眼睛的位置的角度信息作为电信号而提供给控制部16。控制部16与该角度信息相匹配地对图像进行修正或者变形。参照图14以及图15来说明利用照相机18检测表示用户34a~34c的眼睛的位置的角度信息的检测方法。图14示意性地表示从照相机18观看到的用户34a~34c的位置。图15示意性地表示从照相机18观看到的用户34a~34c被拍摄到的图像72。在图14以及图15中,用户34a、34b、34c的位置分别对应于图8所示的位置P2a、P2b、P2c。
在图14中,将照相机18能拍摄的纵向的角度的范围(即视场角)设为40度。在该情况下,照相机18拍摄到的图像72如图15所示那样成为将中央作为“0度”而上下各20度的范围。在图15中,在数字直线(number line)上从上20度至下20度,将用户的脸部或者眼睛的位置设定为10度刻度。因而,在数字直线上设定了5点的位置。在图15中,用户的脸部或者眼睛的位置从数字直线的上起依次被绘制在第2个、第3个、第4个的位置,因此照相机18分别检测为上10度、0度、下10度。照相机18将该角度信息作为电信号而提供给控制部16。控制部16与角度信息相匹配地如图16所示那样利用软件控制而将图像61c以及图像61d修正为图像61e以及图像61f。
如以上,在本实施例的显示装置1中,利用显示部12以及显示部14来合成一个平面图像的情况下,对两个图像进行变形处理,使得从用户的眼睛观看时能够视觉辨认为连续的平面图像。由此,在本实施例的显示装置1中,能够消除两个画面同时滚动操作时产生的用户的眩晕。
本发明并不限定于上述的实施例。例如,也可以对于显示装置而设置多台照相机,或者设置利用了声波、红外线的测距装置,由此以角度和距离来检测用户的位置,并根据该检测位置来使图像变形。此外,也能够组合用户相对于显示装置的水平方向移动和垂直方向移动,与相对于滚动方向而倾斜方向的位置变化相一致地来进行图像修正。另外,本发明所涉及的显示装置能够利用一个或者多个计算机和程序来构成,该程序能够经由计算机可读取的记录介质、通信线路来提供。
产业上的可利用性
本发明适用于合成多个画面来显示一个连续的平面图像的显示装置,在电子书、折叠式信息终端中能够根据开闭角度、视听位置来结合多个图像,使得从用户观看时可自然地被视觉辨认。
符号说明
1 显示装置
11、13 壳体
12、14 显示部
15 开闭角度检测部
16 控制部
17 铰链部
18 照相机

Claims (10)

1.一种显示装置,其特征在于,具备:
通过开闭装置连接在一起的多个壳体;
多个显示部,分别被设置于所述多个壳体;
开闭角度检测部,检测所述多个壳体在纵置姿势或横置姿势打开或闭合的开闭角度;和
控制部,根据所述开闭角度检测部检测出的开闭角度对所述多个显示部分别显示的多个图像进行变形处理,使得多个图像被视觉辨认为连续的平面图像,
其中,所述控制部根据所述多个壳体距开闭操作的中心的距离来变更多个图像的变形率。
2.根据权利要求1所述的显示装置,其特征在于,
所述显示装置还具备:位置检测部,检测用户的特定部位的位置,
所述控制部进行修正处理,使得在所述位置检测部检测出的用户的位置处由所述多个显示部显示的多个图像能够视觉辨认为连续的平面图像。
3.根据权利要求1所述的显示装置,其特征在于,
所述显示装置还具备:姿势检测部,检测所述多个壳体的姿势,
所述控制部根据将所述多个壳体沿着垂直方向排列的纵置姿势或将所述多个壳体沿着水平方向排列的横置姿势来改变针对多个图像的变形处理。
4.根据权利要求3所述的显示装置,其特征在于,
所述控制部根据变形处理来变更针对显示于所述多个显示部的多个图像的滚动操作的方向。
5.根据权利要求3所述的显示装置,其特征在于,
被配置为纵置姿势的控制部改变变形率,使得当与中心的距离在垂直方向变得更长时至少一个图像在水平方向以更高的压缩率被压缩。
6.根据权利要求3所述的显示装置,其特征在于,
被配置为横置姿势的控制部改变变形率,使得当与中心的距离在水平方向变得更长时至少一个图像在垂直方向以更高的压缩率被压缩。
7.一种图像变形方法,被应用于由分别设置于能开闭的多个壳体的多个显示部所显示的多个图像,其特征在于,
检测所述多个壳体在纵置姿势或横置姿势打开或闭合的开闭角度,
根据开闭角度对所述多个显示部分别显示的多个图像进行变形处理,使得多个图像被视觉辨认为连续的平面图像,以及
根据所述多个壳体距开闭操作的中心的距离来变更多个图像的变形率。
8.根据权利要求7所述的图像变形方法,其特征在于,
改变适于纵置姿势的变形率,使得当与中心的距离在垂直方向变得更长时至少一个图像在水平方向以更高的压缩率被压缩。
9.根据权利要求7所述的图像变形方法,其特征在于,
改变适于横置姿势的变形率,使得当与中心的距离在水平方向变得更长时至少一个图像在垂直方向以更高的压缩率被压缩。
10.一种非瞬时计算机可读存储介质,存储有根据权利要求7所述的图像变形方法。
CN201480055115.9A 2013-10-10 2014-10-03 显示装置、图像变形方法以及存储介质 Active CN105830145B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-212834 2013-10-10
JP2013212834 2013-10-10
PCT/JP2014/076545 WO2015053188A1 (ja) 2013-10-10 2014-10-03 表示装置及び画像変形方法

Publications (2)

Publication Number Publication Date
CN105830145A CN105830145A (zh) 2016-08-03
CN105830145B true CN105830145B (zh) 2018-08-10

Family

ID=52813004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480055115.9A Active CN105830145B (zh) 2013-10-10 2014-10-03 显示装置、图像变形方法以及存储介质

Country Status (5)

Country Link
US (1) US9851887B2 (zh)
EP (1) EP3057088A4 (zh)
JP (1) JPWO2015053188A1 (zh)
CN (1) CN105830145B (zh)
WO (1) WO2015053188A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10339700B2 (en) 2017-05-15 2019-07-02 Microsoft Technology Licensing, Llc Manipulating virtual objects on hinged multi-screen device
WO2019111609A1 (ja) * 2017-12-06 2019-06-13 ソニー株式会社 表示装置
CN108319339B (zh) * 2018-01-31 2020-04-24 京东方科技集团股份有限公司 一种显示装置及显示方法
JP6959184B2 (ja) * 2018-06-20 2021-11-02 ヤフー株式会社 表示制御装置、表示制御方法、及び表示制御プログラム
CN113287078A (zh) * 2018-09-21 2021-08-20 深圳市柔宇科技股份有限公司 铰链装置、壳体及电子装置
JP7132859B2 (ja) * 2019-01-21 2022-09-07 株式会社Nttドコモ 表示装置
JP7255202B2 (ja) * 2019-01-29 2023-04-11 セイコーエプソン株式会社 表示方法及び表示装置
KR102681664B1 (ko) * 2019-06-12 2024-07-05 엘지디스플레이 주식회사 폴더블 디스플레이와 그 구동 방법
KR20210000231A (ko) * 2019-06-24 2021-01-04 삼성전자주식회사 플렉서블 디스플레이를 포함하는 전자 장치
JP2021052397A (ja) * 2019-09-24 2021-04-01 中松 義郎 スーパースマートフォン及びスマートフォンシステム
KR20210125167A (ko) * 2020-04-08 2021-10-18 삼성전자주식회사 생체 인증 방법 및 이를 위한 전자 장치
KR20220001862A (ko) * 2020-06-30 2022-01-06 삼성전자주식회사 사용자 모니터링 및 정보 제공 방법 및 그 장치
US11574569B2 (en) * 2021-01-20 2023-02-07 Salesforce.Com, Inc. Multiple viewport flexible screen
WO2023026333A1 (ja) * 2021-08-23 2023-03-02 マクセル株式会社 折り畳み型の電子機器および表示方法
WO2023162799A1 (ja) * 2022-02-28 2023-08-31 ソニーグループ株式会社 画像処理装置および方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101393514A (zh) * 2007-09-21 2009-03-25 乐金电子(昆山)电脑有限公司 双显示器型笔记本电脑的控制方法
CN201541318U (zh) * 2009-06-19 2010-08-04 康佳集团股份有限公司 一种两屏幕电视机

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3447525B2 (ja) * 1997-09-03 2003-09-16 株式会社東芝 情報端末装置
JP3169915B2 (ja) * 1998-11-25 2001-05-28 新潟日本電気株式会社 画面スクロール制御方法および記録媒体
GB2345227B (en) * 1998-12-22 2001-02-14 Motorola Inc Enhanced graphic user interface for mobile radiotelephones
JP3542563B2 (ja) * 2001-02-16 2004-07-14 キヤノン株式会社 画像再生方法
JP4333309B2 (ja) * 2003-09-29 2009-09-16 セイコーエプソン株式会社 複数画面画像表示システム、複数画像表示装置の相対位置検出方法、複数画像表示装置の相対位置検出プログラムおよび複数画像表示装置の相対位置検出プログラムを記録した記録媒体
JP2005115069A (ja) * 2003-10-08 2005-04-28 Seiko Epson Corp 表示装置
JP2006243621A (ja) * 2005-03-07 2006-09-14 Canon Inc 表示装置
CN100590589C (zh) 2006-11-13 2010-02-17 联想(北京)有限公司 多屏显示方法及系统
JP2009222951A (ja) 2008-03-17 2009-10-01 Sanyo Electric Co Ltd 表示装置
US8863038B2 (en) * 2008-09-08 2014-10-14 Qualcomm Incorporated Multi-panel electronic device
JP2010091764A (ja) * 2008-10-08 2010-04-22 Toshiba Corp 画像表示装置、方法およびプログラム
KR101521219B1 (ko) * 2008-11-10 2015-05-18 엘지전자 주식회사 플렉서블 디스플레이를 이용하는 휴대 단말기 및 그 제어방법
US8417297B2 (en) * 2009-05-22 2013-04-09 Lg Electronics Inc. Mobile terminal and method of providing graphic user interface using the same
US8605006B2 (en) 2009-12-23 2013-12-10 Nokia Corporation Method and apparatus for determining information for display
US20110267291A1 (en) * 2010-04-28 2011-11-03 Jinyoung Choi Image display apparatus and method for operating the same
JP2012004798A (ja) 2010-06-16 2012-01-05 Sharp Corp 情報処理装置、情報表示用プログラムおよび情報処理装置の制御方法
JP5621407B2 (ja) * 2010-08-20 2014-11-12 日本電気株式会社 操作入力装置ならびにプログラムと方法
US8462106B2 (en) * 2010-11-09 2013-06-11 Research In Motion Limited Image magnification based on display flexing
JP5172935B2 (ja) 2010-11-25 2013-03-27 シャープ株式会社 折畳み式携帯端末
JP2011107711A (ja) 2010-12-06 2011-06-02 Nec Casio Mobile Communications Ltd 表示装置
US9812074B2 (en) 2011-03-18 2017-11-07 Blackberry Limited System and method for foldable display
TWI438740B (zh) 2011-04-13 2014-05-21 Wistron Corp 可撓式電子裝置
JP5805428B2 (ja) * 2011-04-26 2015-11-04 京セラ株式会社 携帯端末装置およびプログラム
KR101832958B1 (ko) * 2011-06-01 2018-02-28 엘지전자 주식회사 이동 단말기 및 그의 3d영상 표시방법
JP5772289B2 (ja) 2011-06-24 2015-09-02 カシオ計算機株式会社 情報表示装置及びプログラム
US8754961B2 (en) * 2011-08-17 2014-06-17 Nokia Corporation Apparatus and method for generating image data from overlapping regions of images
JP5818583B2 (ja) 2011-08-30 2015-11-18 キヤノン株式会社 表示装置
KR101864185B1 (ko) * 2011-12-15 2018-06-29 삼성전자주식회사 디스플레이 장치 및 이를 이용한 화면 모드 변경 방법
KR20140004863A (ko) * 2012-07-03 2014-01-14 삼성전자주식회사 플랙시블 표시 패널을 가지는 단말에서 표시 방법 및 장치
KR102004409B1 (ko) * 2012-08-23 2019-07-29 삼성전자주식회사 플렉서블 디스플레이 장치 및 그 제어 방법
WO2014100484A1 (en) * 2012-12-19 2014-06-26 HeadsUp Technologies, Inc. Methods and systems for managing motion sickness

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101393514A (zh) * 2007-09-21 2009-03-25 乐金电子(昆山)电脑有限公司 双显示器型笔记本电脑的控制方法
CN201541318U (zh) * 2009-06-19 2010-08-04 康佳集团股份有限公司 一种两屏幕电视机

Also Published As

Publication number Publication date
EP3057088A4 (en) 2017-11-01
EP3057088A1 (en) 2016-08-17
JPWO2015053188A1 (ja) 2017-03-09
US20160246470A1 (en) 2016-08-25
CN105830145A (zh) 2016-08-03
US9851887B2 (en) 2017-12-26
WO2015053188A1 (ja) 2015-04-16

Similar Documents

Publication Publication Date Title
CN105830145B (zh) 显示装置、图像变形方法以及存储介质
JP4869430B1 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
JP6195894B2 (ja) 形状認識装置、形状認識プログラム、および形状認識方法
CN106062826B (zh) 图像生成装置以及图像生成方法
CN104755023B (zh) 图像显示设备和信息输入设备
EP2475178B1 (en) Information processing program, information processing method and information processing apparatus
JP5073013B2 (ja) 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム
US20170052393A1 (en) Eyeglass lens simulation system using virtual reality headset and method thereof
JP5814532B2 (ja) 表示制御プログラム、表示制御装置、表示制御システム及び表示制御方法
JP5702653B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
CN108351690A (zh) 信息处理装置、信息处理系统和信息处理方法
JP6899875B2 (ja) 情報処理装置、映像表示システム、情報処理装置の制御方法、及びプログラム
US9076245B2 (en) Image display apparatus and imaging apparatus
JP5602702B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
US20180031868A1 (en) Spectacle wearing parameter measurement system, measurement program, measurement method thereof, and manufacturing method of spectacle lens
JP2016067024A (ja) 携帯型電子機器
KR101937041B1 (ko) 사시를 개선하는 안구운동장치 및 방법
JP5816032B2 (ja) 入力装置、入力処理プログラム、入力処理方法、入力処理システム
US9167231B2 (en) System and method for calibrating a stereoscopic camera based on manual alignment of test images
JP6500570B2 (ja) 画像表示装置および画像表示方法
CN112748587B (zh) 眼镜镜片的设计方法、眼镜镜片的制造方法及眼镜镜片
JP7055111B2 (ja) ユーザの首曲げ状態を推定可能な携帯装置、プログラム及び方法
JP5525924B2 (ja) 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法
JP2012252592A (ja) 表示制御プログラム、表示制御装置、表示制御方法及び表示制御システム
JP5541973B2 (ja) 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant