CN110574000A - 显示装置 - Google Patents

显示装置 Download PDF

Info

Publication number
CN110574000A
CN110574000A CN201880027596.0A CN201880027596A CN110574000A CN 110574000 A CN110574000 A CN 110574000A CN 201880027596 A CN201880027596 A CN 201880027596A CN 110574000 A CN110574000 A CN 110574000A
Authority
CN
China
Prior art keywords
image
display
display device
enlarged image
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880027596.0A
Other languages
English (en)
Other versions
CN110574000B (zh
Inventor
川岛正裕
藤亩健司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN110574000A publication Critical patent/CN110574000A/zh
Application granted granted Critical
Publication of CN110574000B publication Critical patent/CN110574000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363Graphics controllers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/391Resolution modifying circuits, e.g. variable screen formats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

显示装置具备:显示部;存储部,存储原图像的原图像数据;检测部,在存在针对显示部的画面的触摸操作时,输出表示该触摸操作所对应的触摸位置的触摸位置信息;和控制部,通过根据显示部的显示分辨率来对原图像进行调整大小从而生成基底图像并显示于显示部。控制部在从检测部输出了触摸位置信息时,对基底图像上的区域即包含触摸位置所对应的位置的放大对象区域进行确定,进行原图像上的区域即放大对象区域所对应的区域的调整大小以及切出,从而生成将放大对象区域放大了的局部放大图像,使生成的局部放大图像与基底图像合成并显示于显示部。

Description

显示装置
技术领域
本公开涉及将显示于画面的图像的一部分区域放大并且重叠显示的显示装置。
背景技术
专利文献1公开了一种将显示于画面的图像的一部分区域放大并且合成来进行显示的显示装置。
在先技术文献
专利文献
专利文献1:JP特开2013-225261号公报
发明内容
本公开提供一种即使在将显示图像的一部分的区域放大并且合成来进行显示的情况下,也能够抑制画质的降低的显示装置。
本公开的第1方式的显示装置具备:显示部;存储部,存储原图像的原图像数据;检测部,在存在针对显示部的画面的触摸操作时,输出表示该触摸操作所对应的触摸位置的触摸位置信息;和控制部,通过根据显示部的显示分辨率来对原图像进行调整大小从而生成基底图像并显示于显示部。控制部在从检测部输出了触摸位置信息时,对基底图像上的区域即包含触摸位置所对应的位置的放大对象区域进行确定,进行原图像上的区域即放大对象区域所对应的区域的调整大小以及切出,从而生成将放大对象区域放大了的局部放大图像,使生成的局部放大图像与基底图像合成并显示于显示部。
本公开的第2方式的显示装置具备:显示部;存储部,存储原图像的原图像数据;检测部,在存在针对显示部的画面的触摸操作时,输出表示该触摸操作所对应的触摸位置的触摸位置信息;和控制部,通过根据显示部的显示分辨率来对原图像进行调整大小从而生成基底图像并显示于显示部。控制部在从检测部输出了触摸位置信息时,对基底图像上的区域即包含触摸位置所对应的位置的放大对象区域中包含的放大对象物进行确定,进行原图像上的区域即放大对象物所对应的部分的调整大小以及切出,从而生成将放大对象物放大了的局部放大图像,使生成的局部放大图像与基底图像合成并显示于显示部。
根据本公开,通过进行原图像上的区域即放大对象区域所对应的区域的调整大小以及切出从而生成局部放大图像,因此即使在将图像的一部分的区域放大并且合成显示的情况下,也能够抑制画质的降低。
附图说明
图1是表示实施方式1中的显示装置的外观的立体图。
图2是表示显示装置的电结构的框图。
图3是表示显示装置的显示画面的一个例子的图。
图4A是表示显示装置的显示画面的一个例子的图。
图4B是表示显示装置的显示画面的一个例子的图。
图5是表示显示装置的显示画面的一个例子的图。
图6是表示显示装置的显示画面的一个例子的图。
图7是表示显示装置的显示画面的一个例子的图。
图8A是表示显示装置的显示画面的一个例子的图。
图8B是表示显示装置的显示画面的一个例子的图。
图9是表示显示装置的显示画面的一个例子的图。
图10是表示显示装置的显示画面的一个例子的图。
图11是表示显示装置的显示画面的一个例子的图。
图12是对旋转操作进行说明的图。
图13是表示圆形放大镜功能被选择时的显示装置的动作的一个例子的流程图。
图14是对求出原图像中的对应触摸位置并生成合成用的局部放大图像的方法进行说明的图。
图15是表示方形放大镜功能被选择时的显示装置的动作的一个例子的流程图。
图16A是表示实施方式2中的显示装置的显示画面的一个例子的图。
图16B是表示实施方式2中的显示装置的显示画面的一个例子的图。
图17是表示实施方式2中的方形放大镜功能被选择时的显示装置的动作的一个例子的流程图。
图18是表示实施方式4中的显示装置的显示画面的一个例子的图。
图19是表示实施方式6中的显示装置的显示画面的一个例子的图。
图20是表示实施方式7中的显示装置的显示画面的一个例子的图。
具体实施方式
以下,适当地参照附图,对实施方式详细进行说明。其中,可能省略非必要的详细的说明。例如,可能省略已经事项的详细说明、针对实质相同的结构的重复说明。这是为了避免以下的说明不必要地变得冗长,使本领域技术人员容易理解。
另外,附图以及以下的说明是为了本领域技术人员充分理解本公开而提供的,并不意图通过这些来限定权利要求书所述的主题。
(实施方式1)
以下,参照附图,对实施方式1进行说明。
[1-1.结构]
图1是表示实施方式1中的显示装置的外观的立体图。实施方式1中的显示装置100构成为具有固定桌状的形状的装置。在显示装置100的顶板的上表面,显示部110被平置配置以使得朝向铅垂方向的上侧。此外,在显示部110的上表面,触摸面板120被重叠配置。显示装置100是多个人能够围绕利用的左右的大小,例如,具有上表面的宽度方向的边为150cm左右的长度、深度方向的边为100cm左右的长度。此外,关于显示面110的尺寸,具有宽度方向的边为120cm左右的长度、深度方向的边为70cm左右的长度。图1所示的固定桌状的显示装置100如后面其他实施方式中各种说明那样,是本公开中的显示装置的一个例子。
图2是表示显示装置100的电结构的框图。显示装置100具有显示部110、触摸面板120、触摸面板控制器130、控制部210、存储部220、RAM230以及总线240。
显示部110基于被输入的图像信号来显示图像。显示部110例如由液晶显示器、有机EL显示器构成。显示部110是水平方向(宽度方向)的像素数为7680、垂直方向(深度方向)的像素数为4320的所谓的8K型的显示器。在显示装置100的尺寸为上述左右的情况下,例如也能够精细显示1×1mm范围左右的大小的文字。
触摸面板120与显示部110的表面重叠而被设置。触摸面板120是对显示部110上的被触摸的位置进行检测的指向设备。作为触摸面板120,可以是静电电容检测方式、电阻膜方式等任何方式的面板。触摸面板120也可以在显示部110内被一体构成。
触摸面板控制器130利用触摸面板120的X电极群、Y电极群来检测触摸位置。触摸面板控制器130在触摸面板120上,不仅能够检测基于一根手指、触摸笔的单点触摸,还能够检测多个手指同时触摸的多点触摸。此外,触摸面板控制器130通过检测多点触摸时的各手指的触摸位置的连续变化,能够检测例如进行两根手指在相互分离的方向移动的缩放操作、或进行以一根手指为支点(中心)另一根手指旋转的旋转操作。
触摸面板控制器130在进行单点触摸操作的情况下,输出触摸位置信息。触摸位置信息中,输出表示存在单点触摸操作的信息、以及表示触摸面板120上的触摸位置的X坐标以及Y坐标。此外,触摸面板控制器130在进行缩放操作的情况下,输出缩放操作信息。缩放操作信息中,输出表示存在缩放操作的信息、表示触摸面板120上的缩放操作的基点的位置的X坐标以及Y坐标、以及缩放操作的操作量(两根手指的远离量)。此外,触摸面板控制器130在进行旋转操作的情况下,输出旋转操作信息。旋转操作信息中,输出表示存在旋转操作的信息、表示触摸面板120上的旋转操作的支点(基点)的位置的X坐标以及Y坐标、旋转方向以及旋转操作的旋转量(旋转角度)。
存储部220对操作系统(OS)、应用程序、各种数据进行保存。OS向用户提供用于将显示装置100所具备的结构要素软件地处理的系统。应用程序包含提供后述的放大镜功能等的程序。数据中包含后述的原图像数据。存储部220例如由非易失性存储器(例如,ROM)、硬盘驱动器(HDD)、固态驱动器(SSD)等构成。
RAM230对为了显示装置100进行信息处理所需的数据暂时进行存储。
控制部210对显示装置100的动作进行控制。控制部210包含CPU以及GPU而构成。CPU主要对显示装置100的动作统一进行控制。例如,CPU从存储部220读取OS、应用程序,基于读取的OS、应用程序来进行运算处理从而实现显示装置100中的各种功能。此外,CPU在从触摸面板控制器130接收上述各种信息(信号)的情况下,基于OS、应用程序来执行规定的处理。GPU基于来自CPU的指令,主要进行处理负荷较重的规定的图像处理,并且生成影像信号并输出给显示部110。通过具备多核的GPU的并行处理,来减少进行针对8K影像这种非常多像素的影像的影像处理时的CPU的处理负荷。处理负荷较重的规定的图像处理例如是后述的局部放大图像与基底图像的合成处理、调整大小处理。
总线240是用于在构成显示装置100的结构要素与其他结构要素之间收发各种信号的信号路径。在本实施方式中,在总线240连接触摸面板控制器130、控制部210、存储部220以及RAM230。
1-2.动作
参照图3~图12,对实施方式1的显示装置100的动作进行说明。
图3~图11是表示显示装置100的显示画面的一个例子的图。图12是对旋转操作进行说明的图。在本实施方式的应用程序启动时,在显示部110显示基底图像。在图3中,表示作为基底图像文件而选择地图数据文件、作为基底图像来显示地图的例子。这里,基底图像是通过调整大小(下转换)而生成的图像,以使得具有20K的分辨率(水平方向的像素数为19200,垂直方向的像素数为10800)的原图像数据在具有8K的分辨率的显示部110以适当的大小而被显示。该调整大小在读取原图像数据并显示于显示部110时,通过控制部210而被进行。
在显示于显示部110的基底图像的左下角部,放大镜操作面板Po被重叠显示。此外,在基底图像的下边部的中央附近,基本设定面板Ps被重叠显示。
在基本设定面板Ps,配置文件选择按钮Bf、放大按钮Bg以及旋转按钮Bk。
文件选择按钮Bf是用于对显示于显示部110的图像的文件进行选择的按钮。若文件选择按钮Bf被触摸,则控制部210显示文件清单,能够进行所希望的文件的选择操作。
放大按钮Bg是用于将显示的基底图像的显示倍率增大的按钮。若放大按钮Bg被触摸,则控制部210显示放大操作面板,能够进行显示倍率的放大操作。另外,默认的显示倍率被设定为一倍,使显示部110的分辨率即8K与基底图像的分辨率即8K一致。
旋转按钮Bk是用于使显示的基底图像旋转的按钮。若旋转按钮Bk被触摸,则控制部210显示旋转操作面板,能够进行基底图像的旋转操作。
在放大镜操作面板Po,配置放大镜设定按钮Bs、圆形放大镜按钮Bc以及方形放大镜按钮Br。
放大镜设定按钮Bs是用于设定放大镜功能的内容的按钮。若放大镜设定按钮Bs被触摸,则控制部210显示放大镜设定面板,能够设定放大镜功能的内容。在放大镜设定面板,例如设置圆形放大镜的放大镜倍率、方形放大镜的放大镜倍率、放大镜操作面板Po的配置位置等设定项目。所谓圆形放大镜的放大镜倍率,是指显示于圆形放大镜内的局部放大图像相对于基底图像的放大率,所谓方形放大镜的放大镜倍率,是指显示于方形放大镜内的局部放大图像相对于基底图像的放大率。圆形放大镜的放大镜倍率以及方形放大镜的放大镜倍率默认被设定为长度基准下的2倍。另外,在后述的圆形放大镜功能以及方形放大镜功能的具体例的说明中,说明为圆形放大镜的放大镜倍率以及方形放大镜的放大镜倍率被设定为默认值(换句话说,长度基准下的2倍)。此外,通过对放大镜操作面板Po的配置位置进行操作,能够将放大镜操作面板Po变更为显示画面的4个角的任一个位置等任意位置。在图3中,表示放大镜操作面板Po的配置位置被设定于显示画面的左下角的例子。
圆形放大镜按钮Bc是用于将后述的圆形放大镜功能有效化/无效化的按钮。若在圆形放大镜功能未被有效化时触摸圆形放大镜按钮Bc,则控制部210将圆形放大镜功能有效化。此外,若在圆形放大镜功能被有效化时触摸圆形放大镜按钮Bc,则控制部210将圆形放大镜功能无效化。
方形放大镜按钮Br是用于将后述的方形放大镜功能有效化/无效化的按钮。若在方形放大镜功能未被有效化时触摸方形放大镜按钮Br,则控制部210将方形放大镜功能有效化。此外,若在方形放大镜功能被有效化时触摸方形放大镜按钮Br,则控制部210将方形放大镜功能无效化。
(与圆形放大镜有关的功能)
若在圆形放大镜功能被有效化时,显示部110的画面(显示面)的某个位置被用户触摸,则控制部210如图4A所示,确定以基底图像上的区域即触摸位置所对应的位置(以下适当地称为“对应触摸位置”)为中心的规定直径的圆形的放大对象区域301。并且,控制部210从原图像生成基于放大镜倍率而将放大对象区域301放大的局部放大图像,如图4B所示,将生成的局部放大图像401与基底图像合成并显示。在图4A、图4B中,表示“Osaka”这一文字的附近被触摸并且以默认的放大镜倍率(2倍)生成局部放大图像401的例子。
这里,本实施方式的控制部210在通过圆形放大镜功能来生成与放大镜倍率相应的局部放大图像时,并不是通过对当前显示中的基底图像实施调整大小处理来生成局部放大图像,而是通过对当前显示中的基底图像的原图像(原图像数据的图像)实施调整大小处理来生成局部放大图像。更具体而言,控制部210从当前显示中的基底图像的原图像,切出以对应触摸位置300为中心的放大对象区域301的图像,对切出的图像实施与放大镜倍率相应的调整大小处理,从而生成对基底图像根据放大镜倍率而放大的局部放大图像。后面对局部放大图像的生成处理更加详细进行说明。
此外,说明例如图4B那样,在局部放大图像401已经被显示、圆形放大镜功能被有效化时,在显示部110的画面显示有局部放大图像401的区域以外的某个位置被用户触摸的情况。此时,控制部210与参照图4A、图4B来说明同样地,如图5所示,针对以对应触摸位置为中心的规定直径的圆形的放大对象区域(图5中未图示),从原图像生成基于放大镜倍率而放大的局部放大图像402,与基底图像重叠显示。由此,与之前显示的局部放大图像401合并地显示2个局部放大图像401、402。在图5中,表示“Hikone”这一文字的附近被触摸、以默认的放大镜倍率(2倍)生成局部放大图像402的例子。
此外,说明例如图5那样,2个局部放大图像401、402已经被显示,圆形放大镜功能被有效化时,进一步地,在显示部110的画面显示有局部放大图像401、402的区域以外的某个位置被用户触摸的情况。此时,控制部210与上述同样地,针对以对应触摸位置为中心的规定直径的圆形的放大对象区域301,从原图像生成基于放大镜倍率而放大的局部放大图像(图5中未图示),与基底图像重叠显示。另外,在局部放大图像的显示数达到规定量(例如10个)的情况下,控制部210即使在基底图像中显示有局部放大图像的区域以外的区域被用户触摸的情况下,也可以不生成新的局部放大图像。通过这样,能够防止局部放大图像的显示数过于增加并且难以看到基底图像。
此外,在圆形放大镜功能被有效化时,控制部210对显示局部放大图像时(与存在触摸操作时(触摸位置信息被输出时)几乎相等)起的经过时间进行测量,将经过时间超过规定时间的局部放大图像消除。通过这样设定,在显示多个局部放大图像的情况下,从经过时间超过规定时间的局部放大图像依次消除。规定时间是用户能够适当地识别局部放大图像的内容的长度的时间,例如是10秒。通过依次消除,能够在不需要用户的操作的情况下,防止局部放大图像的显示数过于增加。例如,若图5所示的2个局部放大图像401、402之中,根据最初的触摸操作而生成的左侧的局部放大图像401的经过时间超过规定时间,则控制部210如图6所示,将局部放大图像401消除。此外,若右侧的局部放大图像402的经过时间超过规定时间,则同样消除。另外,基于经过时间的局部放大图像的消除也可以应用于局部放大图像的显示数超过规定量的情况。
此外,在圆形放大镜功能被有效化并且例如图5那样2个局部放大图像401、402已经被显示时,若在左侧的局部放大图像401的显示区域内由用户进行后述的旋转操作,则控制部210如图7所示,仅使被进行了旋转操作的局部放大图像401根据旋转操作的旋转方向以及旋转量来旋转规定角度。在图7中,表示使局部放大图像401逆时针旋转90度的例子。由此,用户能够使局部放大图像旋转以使得自己容易识别。旋转操作例如图12所示,是在局部放大图像的显示区域内将两根手指121、122(例如食指和中指)触摸于触摸面板120的状态(多点触摸的状态)下,将一根手指121(例如食指)作为支点并使另一根手指122(例如中指)旋转的操作。在图12中,表示使一根手指122(例如中指)在顺时针方向旋转的例子。另外,这里,表示了使用食指和中指的例子,但使用的手指也可以是大拇指与食指、中指与无名指等其他的组合。
(与方形放大镜有关的功能)
若在方形放大镜功能被有效化时,显示部110的画面的某个位置被用户触摸,则控制部210如图gA所示,确定以基底图像上的对应触摸位置300为中心的规定范围的四角的放大对象区域302。并且,控制部210从原图像数据生成将放大对象区域302基于放大镜倍率而放大的局部放大图像,如图8B所示,将生成的局部放大图像501与基底图像合成显示。在图8A、图8B中,表示“Osaka”这一文字的附近被触摸、以默认的放大镜倍率(2倍)生成局部放大图像501的例子。
这里,本实施方式的控制部210在通过方形放大镜功能来生成与放大镜倍率相应的局部放大图像时,不是通过对当前显示中的基底图像实施调整大小处理来生成局部放大图像,而是通过对当前显示中的基底图像的原图像(原图像数据的图像)实施调整大小处理来生成局部放大图像。更具体而言,控制部210通过从当前显示中的基底图像的原图像,切出以对应触摸位置300为中心的放大对象区域302的图像,对切出的图像实施与放大镜倍率相应的调整大小处理,从而生成对基底图像根据放大镜倍率而放大的局部放大图像。后面对局部放大图像的生成处理更加详细进行说明。
此外,说明例如图8B那样,在局部放大图像501已经被显示,方形放大镜功能被有效化时,在显示部110的画面中显示有局部放大图像501的区域以外的某个位置被用户触摸的情况。此时,控制部210与参照图gA、图8B来说明同样地,如图9所示,针对以对应触摸位置为中心的规定范围的四角的放大对象区域(图9中未图示),从原图像数据生成基于放大镜倍率而放大的局部放大图像502,与基底图像重叠显示。由此,与之前显示的局部放大图像501一起显示2个局部放大图像501、502。在图9中,表示“Himeji”这一文字的附近被触摸、以默认的放大镜倍率(2倍)生成局部放大图像502的例子。
进一步地,在显示部110的画面中显示有局部放大图像501、502的区域以外的某个位置被用户触摸的情况下,控制部210与上述同样地,针对以对应触摸位置为中心的规定范围的四角的放大对象区域302,从原图像数据生成基于放大镜倍率而放大的局部放大图像,与基底图像重叠显示。这样,与圆形放大镜功能的情况同样地,通过用户触摸显示部110的画面中显示有局部放大图像的区域以外的区域,从而依次显示局部放大图像。另外,在局部放大图像的显示数达到规定量的情况下,控制部210也可以不生成新的局部放大图像这方面,与圆形放大镜功能的情况相同。
此外,与上述的圆形放大镜功能的情况同样地,在方形放大镜功能被有效化时,控制部210也可以对显示局部放大图像起的经过时间进行测量,将经过时间超过规定时间的局部放大图像消除。例如,控制部210在图9所示的2个局部放大图像501、502之中、根据最初的触摸操作而生成的局部放大图像501的经过时间超过规定时间时,如图10所示,将局部放大图像501消除。关于基于方形放大镜功能被有效化时的经过时间的局部放大图像的消除,与上述的圆形放大镜功能的情况相同,因此省略详细的说明。
此外,在方形放大镜功能被有效化,例如处于图8B的显示状态时,若在局部放大图像501内由用户在局部放大图像501的显示区域内进行放大操作(缩放操作),则控制部210如图11所示,以与放大操作量相应的任意的倍率将局部放大图像501放大,使放大的局部放大图像503与基底图像重叠显示。放大操作也可以是例如在将两根手指(例如大拇指和食指)触摸于触摸面板120的状态(多点触摸的状态)下,使其在相互分离的方向移动的所谓的缩放操作。分离的方向也可以是触摸面板120的X方向、Y方向、相对于这些倾斜的方向的任何方向。
(控制部210的显示控制)
针对圆形放大镜功能或者方形放大镜功能被有效化时的控制部210的显示控制,按照圆形放大镜功能、方形放大镜功能的顺序进行说明。
图13是表示圆形放大镜功能被选择时的控制部210的显示控制的一个例子的流程图。该流程图的处理以规定时间周期执行。规定时间例如也可以基于显示的刷新率来设定。
控制部210对是否从触摸面板控制器130输入了触摸位置信息进行判断(S11)。换句话说,对在触摸面板120是否存在基于用户的触摸操作进行判断。
在判断为存在触摸操作的情况下(S11中为是),控制部210对触摸位置信息所示的触摸位置是否为局部放大图像的显示区域内进行判断(S12)。换句话说,判断是针对基底图像的触摸操作还是针对局部放大图像的触摸操作。
在触摸位置不是局部放大图像的显示区域内的情况下(S12中为否),控制部210从存储部220读取基底图像的原图像数据(S13)。
控制部210在显示中的基底图像的原图像上求出触摸面板120的触摸位置所对应的位置(以下适当地称为“对应触摸位置”),从原图像数据切出以对应触摸位置为中心的具有规定的直径的圆形的图像(S14)。
控制部210生成将切出的图像基于放大镜倍率而进行了调整大小(放大)的局部放大图像,将生成的局部放大图像的数据(以下适当地称为“局部放大图像数据”)存储于RAM230(S15)。
这里,对求出原图像中的对应触摸位置并生成合成用的局部放大图像的方法进行说明。
图14是对求出原图像中的对应触摸位置并生成合成用的局部放大图像的方法进行说明的图。在图14中,以原图像是具有20K的分辨率的图像、基底图像是具有8K的分辨率的图像、基底图像上的放大源的圆形区域(以下适当地称为“放大对象区域”)部分放大为2倍的直径的例子进行表示。
由用户来对触摸面板进行触摸操作,此时的触摸位置为坐标(x1,y1)。此时,基底图像中的对应触摸位置为坐标(x2,y2)。对应触摸位置能够通过公知的坐标位置变换方法来求出。将以对应触摸位置(坐标(x2,y2))为中心的直径d1的放大对象区域放大为2倍的直径(2*d1)。此时,原图像中的对应触摸位置的坐标(x3,y3)能够使用原图像的尺寸相对于基底图像的尺寸的尺寸比k,求取为坐标(k*x2,k*y2)。这里,在图14的例子中,尺寸比k的值为20/8,换句话说为2.5。此外,基底图像的直径d1所对应的原图像的直径d2能够使用上述尺寸比k,通过式(d2=k*d1)来求取。并且,从原图像切出原图像中以这样求出的坐标(k*x2,k*y2)为中心的直径d2的圆形的区域。切出后,为了与基底图像的放大对象区域的直径d1的2倍的直径(2*d1)相匹配,将切出的图像根据上述尺寸比k来调整大小为2/k倍,设为合成用的局部放大图像。这样得到的合成用的局部放大图像与基底图像在对应触摸位置(坐标(x2,y2))重叠合成。
这里,调整大小的倍率如上述那样是2/k倍,在图14的例子中尺寸比k为20/8,因此为0.8倍。因此,局部放大图像可通过将切出的图像在缩小方向调整大小而得到。因此,在得到的局部放大图像中难以产生清晰度的劣化。另一方面,在从基底图像切出放大对象区域并放大为2倍的直径的情况下,清晰度降低一半左右。这样,通过本实施方式,即使在通过放大镜来进行了显示图像的一部分的放大的情况下,能够较大抑制清晰度的劣化。
返回到图13,控制部210生成本次生成的局部放大图像的管理信息(以后适当地称为“局部放大图像管理信息”),存储于RAM230(S16)。局部放大图像管理信息中,包含本次生成的局部放大图像的识别信息、生成时刻、对应触摸位置的信息。
控制部210对局部放大图像数据中,是否存在从生成时刻起经过了规定时间的局部放大图像数据进行判断,在存在的情况下,将经过了规定时间的局部放大图像数据以及对应的局部放大图像管理信息削除(S17)。是否存在从生成时刻起经过了规定时间的局部放大图像数据能够通过对存储于RAM230的局部放大图像管理信息的生成时刻与当前时刻进行比较从而判断。
控制部210生成基于局部放大图像管理信息中包含的对应触摸位置来将存储于RAM230的局部放大图像数据的局部放大图像与基底图像合成的合成图像,将生成的合成图像的数据存储于RAM230(S18)。
控制部210将存储于RAM230的合成图像显示于显示部110(S19)。
在步骤S12中判断为触摸位置是局部放大图像的显示区域内的情况下(S13中为是),执行上述步骤S19。
在步骤S11中判断为未输入触摸位置信息的情况下(S11中为否),控制部210对是否从触摸面板控制器130输入了旋转操作信息进行判断(S20)。换句话说,对触摸面板120中是否存在基于用户的旋转操作进行判断。
在旋转操作信息被输入的情况下(S20中为是),控制部210对旋转操作信息所示的旋转操作位置是否为局部放大图像的显示区域内进行判断(S21)。换句话说,判断是否为针对局部放大图像的旋转操作。另外,旋转操作信息中,包含表示触摸面板120中的旋转操作位置的信息。
在旋转操作位置是局部放大图像的显示区域内的情况下(S21中为是),控制部210从RAM230读取存在旋转操作的局部放大图像数据(S22)。
控制部210生成使读取的局部放大图像数据旋转的图像,将生成的局部放大图像数据存储于RAM230(S23)。旋转的方向以及量可基于旋转操作信息而设定。例如,基于旋转操作信息,旋转的方向被设定为左旋方向或右旋方向,旋转量被设定为90度或180度。
控制部210将本次存在旋转操作的局部放大图像的旋转前的局部放大图像数据以及局部放大图像管理信息削除,并且将把伴随着本次旋转操作而新生成的旋转后的局部放大图像数据、针对该新的局部放大图像数据的识别信息、生成时刻、对应触摸位置建立对应的局部放大图像管理信息存储于RAM230(S24),接下来,执行所述步骤S17以后的处理。
接下来,对方形放大镜功能被选择时的显示装置100的动作进行说明。图15是表示方形放大镜功能被选择时的显示装置100的动作的一个例子的流程图。在图15的流程图中的步骤S31~S33、S35~S39中,进行与图13的流程图中的步骤S11~S13、S15~S19相同的处理。因此,以除此以外的部分为中心来进行说明。
控制部210若在步骤S31~S33中,执行与图13的步骤S11~S13相同的处理,则在步骤S34中,求出显示中的基底图像的原图像数据中的对应触摸位置,从原图像数据切出以对应触摸位置为中心的规定范围的四边形的图像。并且,控制部210在步骤S35~S39中,进行与图13的步骤S15~S19相同的处理。
在步骤S31中,在判断为未输入触摸位置信息的情况下(S31中为否),控制部210对是否从触摸面板控制器130输入了缩放操作信息进行判断(S40)。换句话说,对在触摸面板120是否存在基于用户的缩放操作进行判断。
在缩放操作信息被输入的情况下(S40中为是),控制部210对缩放操作信息所示的缩放操作位置是否为局部放大图像的显示区域内进行判断(S41)。换句话说,判断是否为针对局部放大图像的缩放操作。另外,缩放操作信息中,包含表示触摸面板120中的缩放操作位置的信息。
在缩放操作位置是局部放大图像的显示区域内的情况下(S41中为是),控制部210从存储部220读取基底图像的原图像数据(S42)。
控制部210从原图像数据切出以存在缩放操作的局部放大图像中的对应触摸位置为中心的规定范围的四边形的图像(S43)。
控制部210生成将切出的图像以与缩放操作量相应的放大镜倍率调整大小(放大)后的局部放大图像,将生成的局部放大图像数据存储于RAM230(S44)。
控制部210生成本次生成的局部放大图像管理信息,存储于RAM230(S45),接下来,执行步骤S37以后的处理。局部放大图像管理信息中,包含本次生成的局部放大图像的识别信息、生成时刻、对应触摸位置的信息。
另外,在本实施方式中,说明了若方形放大镜按钮Br被触摸操作一次,则方形放大镜功能持续有效,每当进行针对画面的触摸操作,追加局部放大图像的例子,但并不局限于此。例如,也可以在方形放大镜功能变为有效后,进行一次针对画面的触摸操作,在显示局部放大图像的情况下,只要方形放大镜按钮Br没有被再次触摸操作,则即使存在触摸操作也不能追加显示第二个以后的局部放大图像。另外,这针对圆形放大镜按钮Bc也同样。
此外,在局部放大图像的显示中,即使在正在利用显示装置100的多个用户的任意用户使基底图像(例如广域地图)的朝向旋转(例如反转或±90度的旋转)的情况下,控制部210也与基底图像的朝向独立控制,以使得局部放大图像的朝向不发生变化。
(实施方式2)
对实施方式2中的显示装置进行说明。在实施方式1的显示装置100的方形放大镜功能中,在局部放大图像内由用户进行了缩放操作时,切出以对应触摸位置为中心的规定范围的四边形的图像,根据缩放操作量来改变放大镜倍率。与此相对地,在实施方式2中,根据缩放操作量来将切出的范围变更(放大),将切出的图像以一定的放大镜倍率放大。以下,以与实施方式1的显示装置100的不同点为中心来进行说明。
图16A、图16B是表示实施方式2中的显示装置的显示画面的一个例子的图。在方形放大镜功能被有效化,例如处于图8B的显示状态时,若由用户在局部放大图像501的显示区域内进行放大操作(缩放操作),则控制部210根据缩放操作量,将图8A中说明的放大对象区域302如图16A所示的放大对象区域303放大确定。并且,控制部210从原图像切出被放大的放大对象区域303所对应的图像,如图16B所示,使以一定的放大镜倍率放大从而生成的局部放大图像504与基底图像重叠显示。
图17是表示实施方式2中的方形放大镜功能被选择时的显示装置100的动作的一个例子的流程图。
在图17的流程图中,取代图15的流程图的步骤S43、S44,设置步骤S53、S54,在除此以外的步骤中进行与图15的流程图相同的处理。
若图17的步骤S42中从存储部220读取原图像数据,则控制部210从原图像数据切出以存在缩放操作的局部放大图像中的对应触摸位置为中心的、与缩放操作的操作量相应的范围的四边形的图像(S53)。
控制部210生成将切出的图像以一定的放大镜倍率调整大小(放大)的局部放大图像,将生成的局部放大图像的数据存储于RAM230(S54)。
(实施方式3)
实施方式3是具备实施方式1和实施方式2中说明的两种方形放大镜功能的两方的显示装置。即,实施方式3所涉及的显示装置构成为将两种方形放大镜功能用的2个的方形放大镜按钮配置于放大镜操作面板,根据操作的方形放大镜按钮来执行图15和图17的任意的流程图。
(实施方式4)
图18是表示实施方式4中的显示装置的显示画面的一个例子的图。如图18所示,显示于显示画面的局部放大图像403进行上述的调整大小处理以及颜色变换处理。所谓颜色变换处理,是指将局部放大图像的颜色以及/或者明亮度变换为与基底图像不同的颜色以及/或者明亮度的处理。由此,仅通过进行用于显示局部放大图像的触摸操作,就能够将局部放大图像的颜色以及/或者明亮度自动变更为适合于局部的颜色以及/或者明亮度。在图18的例子中,基底图像是地图图像,但基底图像也可以是例如医疗病理诊断用的图像,在这样的情况下,例如与病灶部的放大同时地自动变换为适合于病灶部的诊断的颜色。
(实施方式5)
实施方式5所涉及的显示装置能够将局部放大图像作为实施了上述实施方式的调整大小处理以及对比度强调处理的图像来显示于显示画面。由此,即使在局部放大图像的放大倍率变大的情况下,也能够将局部放大图像设为对比分明的图像。
(实施方式6)
图19是表示实施方式6中的显示装置的显示画面的一个例子的图。在实施方式1~5中,说明了局部放大图像是将基底图像的放大对象区域内的图像均匀地放大了的图像的情况。但是,也可以从放大对象区域内利用图像识别技术来检测放大对象物,生成将检测的放大对象物放大的局部放大图像数据,与基底图像重叠显示。在该情况下,控制部210通过将原图像中放大对象物所对应的区域调整大小从而生成局部放大图像404。放大对象物的具体例是显示于显示画面的文字、符号、脸部以及规定颜色的区域等。图19表示放大对象物是文字的情况下的显示例,如该图19所示,也可以通过图像识别来检测放大对象区域中包含的文字,生成仅将检测的文字放大的局部放大图像数据,与基底图像重叠显示。此外,在地图等中,文字、符号可能与图像独立并由字体数据构成,但在该情况下,也可以对放大对象区域中包含的字体数据进行检测,增大基于字体数据的文字的显示尺寸。
(实施方式7)
在实施方式1中,若在圆形的局部放大图像的显示区域内进行基于两根手指的旋转操作,则使被进行了旋转操作的局部放大图像根据旋转操作的旋转方向以及旋转量来旋转规定角度。但是,如图20所示,也可以在显示圆形的局部放大图像401时在其附近显示旋转操作用的按钮。在图20的例子中,在圆形的局部放大图像401的右上,显示用于左旋(逆时针)90度旋转的左90度旋转按钮B-90、用于右旋(顺时针)90度旋转的右90度旋转按钮B90、用于180度旋转的180度旋转按钮B180。并且,在一根手指(例如食指)触摸于局部放大图像401的区域内的状态下,若其他手指(例如中指)触摸任何旋转按钮,则控制部210使局部放大图像401旋转被触摸的旋转按钮所对应的角度。另外,利用的手指也可以是上例以外的手指。
(实施方式8)
在实施方式1中,通过对局部放大图像,通过两根手指来进行旋转操作,从而能够使局部放大图像旋转并显示为利用者容易观察的朝向。在实施方式8中,通过利用触摸笔来进行触摸,从而不需要通过手指的旋转操作、触摸于旋转按钮的操作,在使局部放大图像从最初旋转为利用者容易观察的朝向的状态下进行显示。具体而言,对显示装置100的4边(参照图1)的分别使用的触摸笔赋予不同的ID,在存储部220中保存将显示装置100的4边与触摸笔的ID的分别建立对应的信息。此外,触摸笔具有在向画面的触摸时,输出包含ID的信息的无线信号的功能。
用户利用与操作显示装置的位置的边建立对应的触摸笔。显示装置100的控制部210在对触摸面板120检测基于触摸笔的触摸操作的情况下,换句话说在与触摸操作同时接收到包含ID的信息的无线信号的情况下,基于ID的信息,使局部放大图像显示为用户从该触摸笔所对应的边侧观察局部放大图像时正确的朝向。例如,在触摸操作所涉及的触摸笔所对应的边为基底图像的上边侧时,使局部放大图像的上下方向相对于基底图像反转并显示。另一方面,在触摸操作所涉及的触摸笔所对应的边为基底图像的下边侧时,使局部放大图像的上下方向与基底图像一致并进行显示。另外,在显示局部放大图像时,如实施方式7那样,也可以显示左90度旋转按钮B-90、右旋右90度旋转按钮B90以及180度旋转按钮B180。
(实施方式9)
针对局部放大图像的显示方向以及局部放大图像的旋转操作也能够通过对利用照相机等的拍摄装置而拍摄的图像进行解析来进行。具体而言,在显示装置100的4个角(参照图1)配置照相机,照相机对显示部110的画面的上方的图像进行拍摄并生成图像数据。照相机生成的图像数据被保存于存储部。控制部210若从触摸面板控制器130输入触摸位置信息,则在该触摸位置信息所涉及的触摸操作时,对由照相机生成的图像数据进行读取并解析该图像,通过图像解析来判断是来自显示装置100的4边之中的哪条边的触摸操作,使局部放大图像在该边所对应的朝向显示。在触摸位置是已经显示的局部放大图像的区域内的情况下,使该局部放大图像旋转并显示为通过图像解析而判断的边所对应的朝向。
在图像解析中,能够对触摸操作时的触摸位置的上方的图像进行解析,对用户的手或手指的朝向进行检测并判断触摸操作所涉及的边。此外,也可以对触摸操作的前后的触摸位置的上方的图像进行解析,对用户的手或手指的移动方向进行检测并判断触摸操作所涉及的边。在用户使用触摸笔的情况下,也可以从触摸操作时的图像检测触摸笔的角度并判断触摸操作所涉及的边,也可以从触摸操作的前后的图像检测触摸笔的移动方向并判断触摸操作所涉及的边。另外,照相机也可以不被配置于显示装置100的4个角的全部而配置于任意的对角。
(实施方式的整体的总结)
(课题和应对策略)
在利用了被平方配置的显示装置的桌上的讨论或发表中,成为多个人从四方(上下、左右)观察显示画面。在具有8K的显示分辨率的显示装置中,能够以高分辨率来兼顾广域的地图、较大的附图等的信息一览性和详细显示,但文字字体等变小,因此希望局部放大观察的迫切期望较多。
1.通过放大镜功能而显示的局部放大图像的高画质化
(课题)
在将20K的超高精细的原图像整体作为基底图像显示于具有8K的分辨率的显示部的情况下,将20K的原图像调整大小(缩放比例)为与显示部的分辨率的8K相匹配的分辨率并进行显示,但此时需要滤波。在以放大镜功能进行局部放大时,若从基底图像生成局部放大图像,则生成的局部放大图像若以原图像为基准则调整大小以及滤波被进行2次,由于因基于多次调整大小而引起的假影的产生,画质劣化。
(本实施方式)
本实施方式的显示装置并不从调整大小(缩放大小)后的基底图像,而是从原图像生成局部放大图像。因此,生成的局部放大图像若以原图像为基准则仅进行一次调整大小以及滤波,因此可抑制画质的劣化。此外,在原图像数据比显示器高分辨率的情况下,原图像的信息量较大,因此相比于从基底图像生成局部放大图像时,生成的局部放大图像较大且被高画质化。此外,即使在原图像数据比显示器低分辨率的情况下,若以原图像为基准则仅进行一次调整大小以及滤波,因此相比于从基底图像生成局部放大图像时,生成的局部放大图像被高画质化。
2.基于多个放大镜的多个局部放大图像的显示
(课题)
在生成局部放大图像时,若将显示于显示部的基底图像整体进行调整大小之后进行局部放大,则由于进行包含局部放大以外的区域的调整大小处理因此处理负担较大。特别地,在通过多个放大镜来显示多个局部放大图像(例如10个以上)的情况下,若执行多次对基底图像整体进行调整大小的处理,则负载变得非常大,显示装置整体的处理速度降低,并且显示装置可能停机。
(本实施方式)
(1)本实施方式的显示装置先仅切出原图像中的局部放大的对象区域并进行调整大小处理。原图像的数据量比基底图像的数据量大,但切出的部分的数据量远比基底图像的数据量小。因此,调整大小处理中的控制部210(处理装置(PC/GPU))的处理负担大大地被减少。此外,在多个放大镜处理中,相比于对基底图像整体进行调整大小的情况,负荷大大地被减少,能够抑制处理速度的提高以及装置的停机。
(2)本实施方式的显示装置即使在显示多个局部放大图像的情况下,对于各局部放大图像从显示开始经过规定时间(ex.10sec),则将局部放大图像依次消除。因此,可减少基于并行处理的负担,并且可改善显示画面整面的可视性。
(3)本实施方式的显示装置提供放大镜倍率固定的圆形放大镜和放大镜倍率以及显示区域可变的方形放大镜这两种,在放大镜倍率以及显示区域可变的方形放大镜中,虽然实时的处理负担变得比放大镜倍率固定的圆形放大镜大,但通过如上述(1)、(2)那样进行处理,能够较大减少方形放大镜处理的处理负担。
(4)局部放大图像不仅考虑静止图像,也考虑动态图像中的使用。本实施方式的显示装置在动态图像的情况下需要每帧的处理,但通过如(1)、(2)那样进行处理,在动态图像中也可减少处理负担,能够适当地进行方形放大镜处理。
3.放大镜内显示的旋转处理
(课题)
在现有的局部放大中,只能够以与基底图像相同的朝向进行操作或显示。如本实施方式的桌型显示器那样,多个人从四方使用的情况下,难以看到基底图像、局部放大图像。
(本实施方式)
(1)本实施方式的显示装置能够旋转局部放大图像(例如,反转,±90度)。由此,能够从用户的位置以适当的朝向观察局部放大图像。此外,即使在多个用户进行不同位置范围的局部放大操作的情况下,电能够针对各个位置独立改变朝向。
(2)本实施方式的显示装置仅在圆形放大镜的局部放大图像的区域内存在以多根手指的旋转操作的情况下,进行局部放大图像的旋转。具体而言,在圆形放大镜的局部放大图像的区域内,在多根手指(2根)被触摸的情况下,基于作为旋转轴的手指(支点)和表示旋转方向的手指的位置位移来检测旋转方向(顺时针、逆时针),进行与该指示相应的局部放大图像的旋转。
(3)本实施方式的显示装置进行圆形放大镜的局部放大图像的显示,并且进行用于使局部放大图像旋转的多个旋转操作按钮的显示。若局部放大图像和任意的旋转操作按钮被两根手指触摸,则使局部放大图像旋转与被触摸的旋转操作按钮相应的角度。
(4)本实施方式的显示装置除了上述(2)、(3)的通过手指的操作以外,通过使用被规定了在桌面的使用位置的触摸笔(独立赋予ID),从而使局部放大图像的朝向自动地与用户所在的方向相匹配地变化。
(5)本实施方式的显示装置在局部放大图像的显示中,即使在多个用户的任意一个使基底图像(例如广域地图)的朝向旋转(例如反转、±90度的旋转)的情况下,也将局部放大图像的显示的朝向独立于基底图像的朝向而控制,以使得局部放大图像的朝向不发生变化。
[效果等]
本实施方式的显示装置100具备:显示部110;存储部220,存储原图像的原图像数据;触摸面板控制器130(检测部),在存在针对显示部110的画面的触摸操作时,输出表示该触摸操作所对应的触摸位置的触摸位置信息;和控制部210,通过根据显示部110的显示分辨率来对原图像进行调整大小从而生成基底图像并显示于显示部。控制部210在从触摸面板控制器130输出触摸位置信息时,对基底图像上的区域即包含触摸位置所对应的位置的放大对象区域进行确定,通过进行原图像上的区域即放大对象区域所对应的区域的调整大小以及切出,从而生成将放大对象区域放大了的局部放大图像,将生成的局部放大图像与基底图像合成并显示于显示部110。
由此,由于通过进行原图像上的区域即放大对象区域所对应的区域的调整大小以及切出从而生成局部放大图像,因此即使在将图像的一部分的区域放大并且重叠显示的情况下,也能够抑制画质的降低。
在本实施方式中,控制部210在生成局部放大图像时,从原图像进行放大对象区域所对应的区域的切出,然后,对切出的区域的图像进行调整大小。由此,在生成局部放大图像时,从原图像进行放大对象区域所对应的区域的切出,然后,对切出的区域的图像进行调整大小,因此相比于对原图像整体进行调整大小的情况更能够减少控制部210中的处理负荷。因此,能够实现并行处理的际的高速处理、操作响应性的提高。
在本实施方式中,触摸面板控制器130在存在基于针对显示部110的画面的多点触摸的旋转操作时,输出表示旋转中心位置、旋转方向以及旋转量的旋转操作信息。控制部210在从触摸面板控制器130输出了旋转操作信息的情况下,在旋转中心位置位于局部放大图像的显示区域内时,基于旋转方向以及旋转量来使局部放大图像旋转。由此,在显示装置100的用户中,使局部放大图像旋转以使得自己容易观察,能够容易观察图像或文字。
在本实施方式中,控制部210在从触摸面板控制器130同时或者依次输出多个触摸位置信息时,分别针对多个触摸位置信息,生成局部放大图像,将生成的局部放大图像与基底图像合成并显示。由此,分别针对多个触摸位置,能够显示局部放大图像。因此,能够对应由多个人利用的情况、希望同时显示多个位置的局部放大图像的情况。
在本实施方式中,控制部210在从触摸位置信息被输出时起经过了规定时间时,使其触摸位置信息所对应的局部放大图像消除。由此,能够实现并行处理时的高速处理、操作响应性的提高。此外,能够提高显示画面上的用户的观察容易性。
在本实施方式中,触摸面板控制器130在存在基于针对显示部110的画面的多点触摸的旋转操作时,输出表示旋转中心位置、旋转方向以及旋转量的旋转操作信息。控制部210在从触摸面板控制器130输出了旋转操作信息的情况下,在旋转中心位置位于任意的局部放大图像的显示区域内时,基于旋转方向以及旋转量来使旋转中心位置位于的局部放大图像旋转。由此,在显示装置100的各个用户中,使局部放大图像旋转以使得自己容易观察,能够容易观察图像或文字。
在本实施方式中,控制部210对局部放大图像进行颜色变换处理,以使得颜色以及明亮度之中的至少一个与基底图像不同。由此,能够将局部放大图像变换为适合于其内容的颜色以及/或者明亮度,并且能够提高局部放大图像的内容的可视性。
在本实施方式中,控制部210对局部放大图像进行对比度强调处理。由此,能够提高局部放大图像的内容的可视性。
本实施方式的显示装置100具备:显示部110;存储部,存储原图像的原图像数据;触摸面板控制器130(检测部),在存在针对显示部110的画面的触摸操作时,输出表示该触摸操作所对应的触摸位置的触摸位置信息;和控制部210,通过根据显示部110的显示分辨率来对原图像进行调整大小从而生成基底图像并显示于显示部。控制部210在从触摸面板控制器130输出了触摸位置信息时,对基底图像上的区域即包含触摸位置所对应的位置的放大对象区域中包含的放大对象物进行确定,通过进行原图像上的区域即放大对象物所对应的部分的调整大小以及切出,从而生成将放大对象物放大了的局部放大图像,将生成的局部放大图像与基底图像合成并显示于显示部110。
由此,通过进行原图像上的区域即放大对象区域所对应的区域中包含的、放大对象物所对应的部分的调整大小以及切出从而生成局部放大图像,因此即使在将图像的一部分的区域放大并且重叠显示的情况下,也能够抑制画质的降低。
在本实施方式中,放大对象物是表示文字、符号、脸部以及规定颜色的区域的图像之中的至少一个。由此,针对表示文字、符号、脸部、规定颜色的区域的图像,能够抑制画质的降低并进行放大。
在本实施方式中,原图像具有比显示部110的显示分辨率大的分辨率。由此,在局部放大图像中能够生成精细的局部放大图像。
在本实施方式中,被配置为显示部110的画面朝向铅垂方向的上侧。在由多个用户利用显示部110被平放配置的显示装置100的情况下,某个用户可能从上下相反侧观察基底图像,但在本实施方式中,通过使局部放大图像旋转,能够形成各用户中分别容易观察的状态。
在本实施方式中,显示装置构成为固定桌,显示部110被配置于固定桌的顶板的上表面。在显示装置100构成为固定桌的情况下,在由多个用户利用的情况下,某个用户从上下相反侧观察画面的可能性变高,但在本实施方式中,通过是局部放大图像旋转,能够形成各用户中分别容易观察的状态。
(其他实施方式)
本公开并不局限于所述实施方式,在不脱离本公开的主旨的范围内能够进行各种修正以及变更。
(1)在上述实施方式中,说明了将本公开的显示装置应用于桌型的显示装置的例子。但是,本公开的显示装置并不局限于桌型的显示装置,能够应用于具有触摸面板的所有类型的显示装置。例如,能够广泛应用于智能电话、平板型计算机、笔记本型计算机、桌上型计算机、电视、其他的显示装置。关于显示部的画面尺寸,也能够广泛应用于10英寸以下至50英寸以上的装置。
(2)在将本公开的显示装置构成为上述的20~50英寸左右的比较大型的平板型计算机的情况下,也可以在一般的桌子上,平放配置为显示部的画面朝向铅垂方向的上侧而使用,也可以平放配置为显示部的画面朝向斜上方。在平放配置为画面朝向铅垂方向的上侧的情况下,能够利用多人从画面的4边的周围环绕而操作的方式,在平放配置为显示部的画面朝向斜上方的情况下,能够利用由多人从画面的3边(较低的边以及左右的边)的周围环绕而操作的方式。
(3)在上述实施方式的桌型的显示装置100中,被平放配置为显示部的画面朝向铅垂方向的上侧,但例如也可以通过将桌子的顶板倾斜配置,能够平放配置为画面朝向斜上方。
(4)在上述实施方式中,示例了基底图像为地图的情况。但是,在本公开中,基底图像并不限定于地图图像。例如,基底图像也可以是照片图像、Web浏览器画面的图像、CG观看器、CAD等的应用画面的图像。
(5)在上述实施方式中,说明了显示部的显示分辨率为8K的显示装置。但是,本公开也能够应用于显示部的显示分辨率为4K、2K(FHD)等的4K以下的显示装置、16K、20K等的大于8K的显示装置。即使显示部的显示分辨率为4K以下,也可根据显示容量、显示内容、画面尺寸、用途来得到局部放大效果。此外,在显示部的显示分辨率大于8K的情况下,通过更加高精细化,从而画面上的显示对象容易变小,因此局部放大的效果更加变高。
(6)在上述实施方式中,示例了原图像为20K的图像的情况。但是,本公开当然也能够应用于原图像小于20K的情况、或大于20K的情况的任意情况。
(7)在上述实施方式中,在圆形放大镜功能被有效化时,能够进行基于旋转操作的局部放大图像的旋转,方形放大镜功能被有效化时,能够进行基于缩放操作的局部放大图像的放大。但是,在圆形放大镜功能被有效化时,也可以进行基于缩放操作的局部放大图像的放大,在方形放大镜功能被有效化时,也可以进行基于旋转操作的局部放大图像的旋转。
如以上那样,通过附图以及详细的说明,提供了设想为最佳模式的实施方式和其他实施方式。这些是通过参照特定的实施方式,对本领域技术人员,提供为了例证权利要求书所述的主题而提供的。因此,在权利要求书或者其等同的范围内,能够对上述的实施方式进行各种变更、置换、附加、省略等。
产业上的可利用性
本公开能够广泛应用于将显示于画面的图像的一部分区域放大并且重叠显示的显示装置(例如,液晶显示器、有机EL显示器)。
-符号说明-
100 显示装置
110 显示部
120 触摸面板
130 触摸面板控制器
210 控制部
220 存储部
230 RAM
240 总线
300 对应触摸位置
301、302、303 放大对象区域
401、402、403、404、501、502、503、504 局部放大图像
Bs 放大镜没定按钮
Bc 圆形放大镜按钮
Br 方形放大镜按钮
Bf 文件选择按钮
Bg 放大按钮
Bk 旋转按钮
Po 放大镜操作面板
Ps 基本设定面板

Claims (14)

1.一种显示装置,具备:
显示部;
存储部,存储原图像的原图像数据;
检测部,在存在针对所述显示部的画面的触摸操作时,输出表示所述触摸操作所对应的触摸位置的触摸位置信息;和
控制部,通过根据所述显示部的显示分辨率来对所述原图像进行调整大小从而生成基底图像并显示于所述显示部,
所述控制部在从所述检测部输出了所述触摸位置信息时,
对所述基底图像上的区域即包含所述触摸位置所对应的位置的放大对象区域进行确定,
通过进行所述原图像上的区域即所述放大对象区域所对应的区域的调整大小以及切出,从而生成将所述放大对象区域放大了的局部放大图像,
将生成的所述局部放大图像与所述基底图像合成并显示于所述显示部。
2.根据权利要求1所述的显示装置,其中,
所述控制部在生成所述局部放大图像时,从所述原图像切出所述放大对象区域所对应的区域,之后,对切出的区域的图像调整大小。
3.一种显示装置,具备:
显示部;
存储部,存储原图像的原图像数据;
检测部,在存在针对所述显示部的画面的触摸操作时,输出表示所述触摸操作所对应的触摸位置的触摸位置信息;和
控制部,通过根据所述显示部的显示分辨率来对所述原图像调整大小从而生成基底图像并显示于所述显示部,
所述控制部在从所述检测部输出了所述触摸位置信息时,
对所述基底图像上的区域即包含所述触摸位置所对应的位置的放大对象区域中所包含的放大对象物进行确定,
通过进行所述原图像上的区域即所述放大对象物所对应的部分的调整大小以及切出,从而生成将所述放大对象物放大了的局部放大图像,
将生成的所述局部放大图像与所述基底图像合成并显示于所述显示部。
4.根据权利要求3所述的显示装置,其中,
所述放大对象物是表示文字、符号、脸部以及规定颜色的区域的图像之中的至少一者。
5.根据权利要求1至4的任意一项所述的显示装置,其中,
所述检测部在存在基于针对所述显示部的画面的多点触摸的旋转操作时,输出表示旋转中心位置、旋转方向以及旋转量的旋转操作信息,
所述控制部在从所述检测部输出了所述旋转操作信息的情况下,在所述旋转中心位置位于所述局部放大图像的显示区域内时,使所述局部放大图像基于所述旋转方向以及所述旋转量进行旋转。
6.根据权利要求1至4的任意一项所述的显示装置,其中,
所述控制部在从所述检测部同时或者依次输出多个触摸位置信息时,分别针对所述多个触摸位置信息,生成所述局部放大图像,将生成的所述局部放大图像与所述基底图像合成并进行显示。
7.根据权利要求1至4的任意一项所述的显示装置,其中,
所述控制部在从所述触摸位置信息被输出时起经过了规定时间时,使所述触摸位置信息所对应的所述局部放大图像消除。
8.根据权利要求1至4的任意一项所述的显示装置,其中,
所述检测部在存在基于针对所述显示部的画面的多点触摸的旋转操作时,输出表示旋转中心位置、旋转方向以及旋转量的旋转操作信息,
所述控制部在从所述检测部输出了所述旋转操作信息的情况下,在所述旋转中心位置位于任意的局部放大图像的显示区域内时,使所述旋转中心位置所在的局部放大图像基于所述旋转方向以及所述旋转量来进行旋转。
9.根据权利要求1至4的任意一项所述的显示装置,其中,
所述控制部针对所述局部放大图像,进行颜色变换处理以使得颜色以及明亮度之中的至少一个与所述基底图像不同。
10.根据权利要求1至4的任意一项所述的显示装置,其中,
所述控制部对所述局部放大图像进行对比度强调处理。
11.根据权利要求1至10的任意一项所述的显示装置,其中,
所述原图像具有比所述显示部的显示分辨率大的分辨率。
12.根据权利要求1至11的任意一项所述的显示装置,其中,
所述显示部的所述画面被配置为朝向铅垂方向的上侧或者斜上方。
13.根据权利要求12所述的显示装置,其中,
所述显示装置构成为固定桌,
所述显示部被配置于所述固定桌的顶板的上表面。
14.根据权利要求1至11的任意一项所述的显示装置,其中,
所述显示装置具有平板状的形状,
被配置为所述显示部的所述画面朝向铅垂方向的上侧或者斜上方。
CN201880027596.0A 2017-04-28 2018-04-05 显示装置 Active CN110574000B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-090470 2017-04-28
JP2017090470 2017-04-28
PCT/JP2018/014515 WO2018198703A1 (ja) 2017-04-28 2018-04-05 表示装置

Publications (2)

Publication Number Publication Date
CN110574000A true CN110574000A (zh) 2019-12-13
CN110574000B CN110574000B (zh) 2023-11-21

Family

ID=63919811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880027596.0A Active CN110574000B (zh) 2017-04-28 2018-04-05 显示装置

Country Status (5)

Country Link
US (1) US11003340B2 (zh)
JP (1) JPWO2018198703A1 (zh)
CN (1) CN110574000B (zh)
TW (1) TW201907285A (zh)
WO (1) WO2018198703A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112578971A (zh) * 2020-12-07 2021-03-30 腾讯科技(深圳)有限公司 页面内容展示方法、装置、计算机设备及存储介质
CN115151878A (zh) * 2020-02-25 2022-10-04 三菱电机株式会社 显示控制装置及显示终端

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7145997B2 (ja) * 2021-02-02 2022-10-03 ヤフー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
WO2024044556A1 (en) * 2022-08-23 2024-02-29 Apple Inc. Head-mounted electronic device with magnification tool
TWI825951B (zh) * 2022-08-26 2023-12-11 瑞昱半導體股份有限公司 顯示裝置及影像顯示方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0944330A (ja) * 1995-08-02 1997-02-14 Matsushita Electric Ind Co Ltd 入力処理装置
US20050168488A1 (en) * 2004-02-03 2005-08-04 Montague Roland W. Combination tool that zooms in, zooms out, pans, rotates, draws, or manipulates during a drag
US20080204476A1 (en) * 2005-01-31 2008-08-28 Roland Wescott Montague Methods for combination tools that zoom, pan, rotate, draw, or manipulate during a drag
CN101627351A (zh) * 2007-08-14 2010-01-13 科乐美数码娱乐株式会社 输入受理装置、区域控制方法、信息记录介质及程序
US20130069987A1 (en) * 2011-09-16 2013-03-21 Chong-Youn Choe Apparatus and method for rotating a displayed image by using multi-point touch inputs
CN103713870A (zh) * 2012-10-02 2014-04-09 富士施乐株式会社 信息处理设备和信息处理方法
CN104461339A (zh) * 2013-09-13 2015-03-25 夏普株式会社 信息处理装置
CN104619544A (zh) * 2012-07-27 2015-05-13 大众汽车有限公司 操作界面、用于显示易于进行操作界面的操作的信息的方法和程序
CN104679424A (zh) * 2013-11-29 2015-06-03 柯尼卡美能达株式会社 信息处理装置中的触摸操作的再现
CN104898919A (zh) * 2014-03-07 2015-09-09 三星电子株式会社 放大并显示内容的便携式终端和方法
JP2017078906A (ja) * 2015-10-19 2017-04-27 幸一 横田 画像表示装置、方法、及びコンピュータプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS478203Y1 (zh) 1968-03-25 1972-03-29
US7760187B2 (en) * 2004-07-30 2010-07-20 Apple Inc. Visual expander
WO2007077829A1 (ja) 2005-12-28 2007-07-12 Pioneer Corporation ナビゲーション装置及び案内図表示方法
JP4708203B2 (ja) 2006-02-08 2011-06-22 パイオニア株式会社 地理情報表示装置及び地理情報表示プログラム
US8723811B2 (en) * 2008-03-21 2014-05-13 Lg Electronics Inc. Mobile terminal and screen displaying method thereof
US8719695B2 (en) * 2011-05-31 2014-05-06 Apple Inc. Devices, methods, and graphical user interfaces for document manipulation
JP5828800B2 (ja) 2012-04-23 2015-12-09 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 表示装置、表示制御方法及びプログラム
JP5620440B2 (ja) * 2012-08-09 2014-11-05 パナソニックインテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 表示制御装置、表示制御方法及びプログラム
JP6437397B2 (ja) 2015-08-25 2018-12-12 カシオ計算機株式会社 情報処理装置及びプログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0944330A (ja) * 1995-08-02 1997-02-14 Matsushita Electric Ind Co Ltd 入力処理装置
US20050168488A1 (en) * 2004-02-03 2005-08-04 Montague Roland W. Combination tool that zooms in, zooms out, pans, rotates, draws, or manipulates during a drag
US20080204476A1 (en) * 2005-01-31 2008-08-28 Roland Wescott Montague Methods for combination tools that zoom, pan, rotate, draw, or manipulate during a drag
CN101627351A (zh) * 2007-08-14 2010-01-13 科乐美数码娱乐株式会社 输入受理装置、区域控制方法、信息记录介质及程序
US20130069987A1 (en) * 2011-09-16 2013-03-21 Chong-Youn Choe Apparatus and method for rotating a displayed image by using multi-point touch inputs
CN104619544A (zh) * 2012-07-27 2015-05-13 大众汽车有限公司 操作界面、用于显示易于进行操作界面的操作的信息的方法和程序
CN103713870A (zh) * 2012-10-02 2014-04-09 富士施乐株式会社 信息处理设备和信息处理方法
CN104461339A (zh) * 2013-09-13 2015-03-25 夏普株式会社 信息处理装置
CN104679424A (zh) * 2013-11-29 2015-06-03 柯尼卡美能达株式会社 信息处理装置中的触摸操作的再现
CN104898919A (zh) * 2014-03-07 2015-09-09 三星电子株式会社 放大并显示内容的便携式终端和方法
JP2017078906A (ja) * 2015-10-19 2017-04-27 幸一 横田 画像表示装置、方法、及びコンピュータプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115151878A (zh) * 2020-02-25 2022-10-04 三菱电机株式会社 显示控制装置及显示终端
CN115151878B (zh) * 2020-02-25 2023-08-18 三菱电机株式会社 显示控制装置及显示终端
CN112578971A (zh) * 2020-12-07 2021-03-30 腾讯科技(深圳)有限公司 页面内容展示方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
US20200073538A1 (en) 2020-03-05
US11003340B2 (en) 2021-05-11
TW201907285A (zh) 2019-02-16
JPWO2018198703A1 (ja) 2020-05-14
WO2018198703A1 (ja) 2018-11-01
CN110574000B (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
CN110574000B (zh) 显示装置
US11481096B2 (en) Gesture mapping for image filter input parameters
JP5915000B2 (ja) 情報処理装置及びプログラム
US7197719B2 (en) Graphical user interface for detail-in-context presentations
US20060082901A1 (en) Interacting with detail-in-context presentations
US9544556B2 (en) Projection control apparatus and projection control method
KR20150106330A (ko) 화상 표시 장치 및 화상 표시 방법
TWI442305B (zh) 多點控制的操作方法及其控制系統
JP2015138360A (ja) オブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法
US10831338B2 (en) Hiding regions of a shared document displayed on a screen
JP5728588B2 (ja) 表示制御方法、コンピュータプログラム、表示制御装置及び画像表示システム
CN109766530B (zh) 图表边框的生成方法、装置、存储介质和电子设备
JP3895343B2 (ja) 画像表示制御装置
JP2008146531A (ja) 表示装置、表示方法およびプログラム
JP2018194801A (ja) 表示装置、表示方法及びプログラム
JP2023106170A (ja) 名刺管理システム及び名刺管理プログラム
CN106951162B (zh) 一种信息处理方法及电子设备
JP2023106171A (ja) 名刺管理システム及び名刺管理プログラム
CN115357167A (zh) 截屏方法、装置和电子设备
CN115357203A (zh) 画面显示方法及装置
TWI493429B (zh) 影像尺寸調整方法
JP2010039985A (ja) 操作画面入力装置及び操作画面入力方法
JP2017194899A (ja) コンテンツ表示装置及びプログラム
KR20110049760A (ko) 화면정보에 대한 인식, 이해, 운용 등의 용이성을 향상하기 위한 화면돋보기 시스템 및 기술
JP2011123717A (ja) コンテンツ表示装置及びコンテンツ表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant