CN107180406B - 图像处理方法和设备 - Google Patents

图像处理方法和设备 Download PDF

Info

Publication number
CN107180406B
CN107180406B CN201610131682.9A CN201610131682A CN107180406B CN 107180406 B CN107180406 B CN 107180406B CN 201610131682 A CN201610131682 A CN 201610131682A CN 107180406 B CN107180406 B CN 107180406B
Authority
CN
China
Prior art keywords
dimensional
projection plane
plane
image
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610131682.9A
Other languages
English (en)
Other versions
CN107180406A (zh
Inventor
钟佳伟
程枫
贝俊达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610131682.9A priority Critical patent/CN107180406B/zh
Priority to EP17762489.7A priority patent/EP3428874A4/en
Priority to PCT/CN2017/075426 priority patent/WO2017152803A1/zh
Priority to MYPI2018701826A priority patent/MY193869A/en
Publication of CN107180406A publication Critical patent/CN107180406A/zh
Priority to US15/960,799 priority patent/US10812780B2/en
Application granted granted Critical
Publication of CN107180406B publication Critical patent/CN107180406B/zh
Priority to US17/020,316 priority patent/US11272165B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本申请公开了一种图像处理方法。其中，该方法应用于包括触摸屏的电子设备上，该方法包括：预先设置一图像处理模型；当响应于用户操作而展示第一三维效果平面图时，基于模型执行如下处理：将该第一三维效果平面图映射到所述投影平面上；根据所述视点、所述投影平面、所述视野窗口之间的三维位置关系以及所述视野窗口的大小，确定通过视点和视野窗口投影到所述投影平面上的第一可视区域；截取第一可视区域内的第一图像，并展示第一图像。本申请还公开了相应的图像处理设备。根据本申请公开的技术方案，实现了虚拟场景高效的三维显示功能。

Description

图像处理方法和设备
技术领域
本发明涉及计算机处理技术领域，尤其涉及一种图像处理方法和设备。
背景技术
目前，通过三维全景图，可以实现针对现实场景或物体的三维显示。具体地，可以先通过三维全景相机对现实场景或物体进行拍摄，获得六张三维素材平面图。通过对该六张三维素材平面图进行后期处理，以使处理后的六张三维素材平面图能够无缝地映射到一立方体模型的对应面上，生成一张三维全景图。这样，通过该三维全景图，能够实现现实场景或物体的三维显示。针对虚拟场景，可以对多张平面图进行处理、拼接与融合，将融合后的图片映射到一立体模型的每个面上，实现三维显示。
发明内容
本发明实施例提供一种图像处理方法和终端设备，以实现了高效地虚拟场景的三维显示。
本发明实施例提供了图像处理方法，应用于包括触摸屏的电子设备上，该方法包括：
预先设置一图像处理模型，该模型包括：视点、投影平面、视野窗口以及它们之间的三维位置关系；
当响应于用户操作而展示第一三维效果平面图时，基于所述模型执行如下处理：
将该第一三维效果平面图映射到所述投影平面上；
根据所述视点、所述投影平面、所述视野窗口之间的三维位置关系以及所述视野窗口的大小，确定通过所述视点和所述视野窗口投影到所述投影平面上的第一可视区域；
截取所述第一可视区域内的第一图像，并展示所述第一图像。
本发明提供了图像处理设备，包括触摸屏，该设备还包括：
设置模块，用于预先设置一图像处理模型，该模型包括：视点、投影平面、视野窗口以及它们之间的三维位置关系；
处理模块，用于当响应于用户操作而展示第一三维效果平面图时，基于所述模型执行如下处理：将该第一三维效果平面图映射到所述投影平面上；根据所述视点、所述投影平面、所述视野窗口之间的三维位置关系以及所述视野窗口的大小，确定通过所述视点和所述视野窗口投影到所述投影平面上的第一可视区域；截取所述第一可视区域内的第一图像，并展示所述第一图像。
采用上述技术方案，提供了针对虚拟场景的三维显示功能，此外，由于无需专业人员使用三维全景相机对现实场景进行拍摄并处理拍摄出的三维素材图，因此，节省了针对现实场景三维显示的制作成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1A-1D是本发明实施例提供的图像处理方法的流程图；
图2A-2B是本发明实施例提供的图像处理的示意图；
图3A是本发明实施例提供的三维效果平面示意图；
图3B-3C是本发明实施例提供的图像处理的示意图；
图4A-4B是本发明实施例提供的图像处理的示意图；
图5A-5B是本发明实施例提供的图像处理的示意图；
图6A-6B是本发明实施例提供的图像处理的示意图；
图7A-7E是本发明实施例提供的三维显示示意图；
图8是本发明实施例提供的图像处理设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的发明人在研究过程中发现，三维全景照相机只能对现实场景和物体进行拍摄，无法拍摄虚拟场景(例如，虚拟游戏场景，虚拟现实场景等)，进而无法实现虚拟场景的三维显示。针对虚拟场景，需要对多张平面图进行处理、拼接与融合，将融合后的图片映射到一立体图形的每个面上，才能实现三维显示。对多张图片进行图像处理、拼接与融合的过程要占用计算机大量的处理资源。并且，针对采用三维全景相机进行拍摄的现实场景，如果对该场景发生微小的变动，(例如，增加一物体)都需要对该场景重新进行拍摄。针对虚拟出场景，如果对该场景发生微小的变动，需要对上述多张平面图都进行修改处理。
有鉴于此，本发明实施例提出了一种图像的处理方法，应用于包括触摸屏的电子设备上。根据本发明实施例提供的方法，预先设置一图像处理模型，该模型包括：视点、投影平面、视野窗口以及它们之间的三维位置关系。当响应于用户操作而展示第一三维效果平面图时，基于所述模型执行如下处理：将该第一三维效果平面图映射到所述投影平面上；根据所述视点、所述投影平面、所述视野窗口之间的三维位置关系以及所述视野窗口的大小，确定通过所述视点和所述视野窗口投影到所述投影平面上的第一可视区域；截取所述第一可视区域内的第一图像，并展示所述第一图像。由于本发明提供的方法是通过处理一张具有三维效果的平面图来实现三维显示，而不需要对多张平面图进行处理、拼接与融合，降低了计算机处理复杂度，节省了计算机处理资源，从而实现了高效的虚拟场景的三维显示。另外，由于无需专业人员使用三维全景相机对现实场景进行拍摄并处理拍摄出的三维素材图，此外，节省了针对现实场景三维显示的制作成本。
图1A是本发明实施例的图像的处理方法的流程图。该方法应用于包括触摸屏的电子设备上。如图1A所示，该方法包括以下步骤。
步骤101：预先设置一图像处理模型，该模型包括：视点、投影平面、视野窗口以及它们之间的三维位置关系。
在本发明一个实施例中，在该图像处理模型中，视点是摄像机所处的位置点，这里，摄像机相当于观察者的眼睛。如图2A所示，位于视点201的摄像机通过视野窗口202可以看到位于投影平面203上的可视区域204中的图像。
在本发明一个实施例中，投影平面可以是一立体图形的一个面。该立体图形可以是立方体、圆柱体、椭圆体等，本发明对此不作限定。如图2B所示，该投影平面203是一立方体200的一个面，视点201、视野窗口202都位于该立方体内部。需要说明的是，视点可以位于立体图形的内部，也可以位于立体图形的外部，本发明对此不做限定。
步骤102：当响应于用户操作而展示第一三维效果平面图时，基于所述模型执行如下处理：将该第一三维效果平面图映射到所述投影平面上；根据所述视点、所述投影平面、所述视野窗口之间的三维位置关系以及所述视野窗口的大小，确定通过所述视点和所述视野窗口投影到所述投影平面上的第一可视区域；截取所述第一可视区域内的第一图像，并展示所述第一图像。
在一个具体应用中，本应用示例的第一三维效果平面图如图7A所示，当用户在电子设备上打开该应用即触发了第一三维效果平面图展示，根据上述方法，截取如图7B所示的第一图像，并展示。
在本发明一个实施例中，三维效果平面图可以是设计师提供的带有透视、阴影等效果的平面场景效果图。如图3A所示，在该三维效果图中，可以包括五个面图，用以表示一个三维场景。例如，如图7A所示，在三维效果平面图中，通过一个场景的五个面图，可以显示一个三维客厅场景。
在本发明一个实施例中，在将第一三维效果平面图映射到所述投影平面时，可以确定该第一三维效果平面图在该投影平面中的对应位置，并使投影平面中对应于每个像素点位置的取值与该第一三维效果平面图中对应的像素点的像素值相同。
在本发明一个实施例中，如图3B所示，将该第一三维效果平面图映射到投影平面上301中的区域302。根据视点303、投影平面301、视野窗口304之间的三维位置关系以及所述视野窗口304的大小，确定通过视点303和视野窗口304投影到投影平面301上的第一可视区域305。截取第一可视区域305内的第一图像，并展示第一图像。
在本发明一个实施例中，如图3C所示，如果该投影平面301是立方体300的一个面，此时，视点303、视野窗口304位于该立方体300的内部。根据视点303、立方体300、视野窗口304之间的三维位置关系以及视野窗口304的大小，确定通过视点303和视野窗口304投影到该立方体300上该投影平面301的第一可视区域305。截取所述第一可视区域305内的第一图像，并展示第一图像。
在本发明一个实施例中，在执行步骤102之后，如图1B所示，可以进一步包括如下步骤：
步骤111：响应于所述用户的在所述触摸屏上执行的移动操作，确定该移动操作对应的在触摸屏上的二维位置偏移参数。
步骤112：将二维位置偏移参数映射为投影平面的三维位置偏移参数，并根据所述三维位置偏移参数改变所述投影平面和第一三维效果平面图的三维位置。
步骤113：根据所述视点、所述投影平面、所述视野窗口之间的空间位置关系以及所述视野窗口的大小，确定通过所述视点和所述视野窗口投影到所述投影平面上的第二可视区域。
步骤114：截取所述第二可视区域内的第二图像，并展示所述第二图像。
在一个具体应用中，本应用示例的第一三维效果平面图如图7A所示，当用户在电子设备上打开该应用时，如图7B所示的第一图像在该电子设备上展示之后。此后，当用户在电子设备的触摸屏上执行向左滑动操作时，相当于向左旋转了包括投影平面的立方体，根据上述方法，重新截取如图7C所示的第一三维效果平面图旋转之后的第二图像，并展示。
在本发明一个实施例中，该位置偏移参数可以包括该移动操作在触摸屏上的第一位置坐标值和第二位置坐标值。
在本发明一个实施例中，先将二维位置偏移参数映射为在三维球坐标系中的坐标，其中，该三维球坐标系的原点可以是一立体图形的中心点，该立体图形以该投影平面作为它的一个面，该三维球面坐标系的半径可以为一预设值γ。然后，再将三维球坐标转换为三维直角坐标值，其中，该三维直角坐标系的原点可以与该三维球坐标系的原点相同。
在本发明一个实施例中，将二维位置偏移参数映射为投影平面在三维球坐标系中的坐标的过程可以包括如下步骤。获取第一位置的二维平面坐标X1值和坐标Y1值，随着用户手指在触摸屏上的移动，获取第二位置的二维平面坐标X2值和坐标Y2值。将该第一位置坐标X1值和坐标Y1值转换为三维球坐标的θ1值和值。如果该第一位置为移动操作的起始点时，该第一位置三维球坐标的θ1和值分别设置为预设值，例如，θ1＝90，这样，二维平面坐标值(X1,Y1)就映射到了三维球面坐标系中的坐标值再在将该三维球坐标系中的坐标值转换为三维直角坐标系中的坐标值(X′1,Y′1,Z'1)。将获取第二位置的二维平面坐标X2值和坐标Y2值转换为三维球坐标的θ2值和值。例如，θ2＝(X1-X2)×m+θ1，其中，m和n为预设参数。这样，二维平面坐标(X2,Y2)就映射到了三维球面坐标系中的坐标点在将该三维球坐标系中的坐标值转换为三维直角坐标系中的坐标值(X'2,Y′2,Z'2)。具体地，z＝rcosθ。
在本发明一个实施例中，根据坐标值(X′1,Y′1,Z'1)与(X'2,Y′2,Z'2)，在该三维直角坐标系中改变该投影平面和第一三维效果平面图的三维位置。在本发明一个实施例中，如图4A所示，当用户在触摸屏上向右侧滑动时，根据所述三维位置偏移参数，改变投影平面401和第一三维效果平面图402的三维位置。根据视点403、投影平面401、视野窗口404之间的空间位置关系以及视野窗口404的大小，确定通过视点403和视野窗口404投影到投影平面401上的第二可视区域405，截取第二可视区域405内的第二图像，并展示所述第二图像。
在本发明一个实施例中，如图4B所示，如果该投影平面401是立方体400的一个面，此时，视点403、视野窗口404位于该立方体400的内部。当用户在触摸屏上向右侧滑动时，相当于向右旋转该立方体400。具体地，根据三维位置偏移参数改变立方体400和第一三维效果平面图402的三维位置。根据视点403、立方体400、视野窗口404之间的空间位置关系以及视野窗口404的大小，确定通过视点403和视野窗口404投影到投影平面401上的第二可视区域405，截取第二可视区域405内的第二图像，并展示所述第二图像。
在本发明一个实施例中，在执行了步骤102之后，如图1C所示，可以进一步包括如下步骤。
步骤121：获取第二三维效果平面图的在所述三维直角坐标系中的三维位置参数。
在本发明一个应用示例中，如图7D所示，第二三维效果平面图为新增物体(例如，桌子上的台灯、电脑；展示架上的玩偶，墙上的挂画等)的三维效果平面图。
在本发明一个实施例中，可以预先设置该第二三维效果图的三维位置参数。也可以响应于所述用户在所述触摸屏上执行的针对所述第二三维效果平面图的移动操作(例如，拖拽操作)，确定被移动的第二三维效果平面图的终止位置的二维平面位置参数，将所述终止位置的二维平面位置参数映射为三维平面位置参数。
步骤122：根据获取的三维位置参数，确定所述第二三维效果平面图的三维位置。
步骤123：根据所述视点、所述投影平面、所述第二三维效果平面图之间的三维位置关系，将所述第二三维效果平面图投影到所述投影平面上。
步骤124：重新截取所述第一可视区域内的第三图像，并展示所述第三图像。
在一个具体应用中，本应用示例的第一三维效果平面图如图7A所示，根据上述方法，用户通过在触摸屏上的拖拽操作将多个物体(例如，图7D所示的桌子上的台灯、电脑；展示架上的玩偶，墙上的挂画等)放置到屏幕上的对应的位置。响应于用户的拖拽操作，根据上述方法，获取多个物体对应的第二三维效果平面图的位置，将第二三维效果平面图投影到投影平面上，重新截取如图7D所示的包括上述物体的第三图像，并展示。
在本发明一个实施例中，如图5A所示，根据获取的三维位置参数，确定第二三维效果平面图501的三维位置。根据视点502、投影平面503、第二三维效果平面图501之间的三维位置关系，将第二三维效果平面图501投影到了投影平面503上的区域505。重新截取第一可视区域506内的第三图像，并展示第三图像，其中，第一三维效果平面图映射在投影平面503上的区域507，第一可视区域506是根据视点502、投影平面503、视野窗口508之间的空间位置关系以及视野窗口508的大小确定的，第二三维效果平面图501在投影平面上的映射区域可以全部或部分与第一可视区域506相重叠。
在本发明一个实施例中，如图5B所述，该投影平面503是立方体510上的一个，此时，视点502、视野窗口508位于该立方体510的内部。该第二三维效果平面图501可位于立方体520上的一个面上。根据获取的三维位置参数，确定立方体520的三维位置。根据视点502、立方体510、立方体520之间的三维位置关系，将第二三维效果平面图501投影到了投影平面503上的区域505。重新截取第一可视区域506内的第三图像，并展示第三图像，其中，第一三维效果平面图映射在投影平面503上的区域507，第一可视区域506是根据视点502、投影平面503、视野窗口508之间的空间位置关系以及视野窗口508的大小确定的。
根据本申请实施例提供的方法，当场景增加新物体时，只需要增加该物体对应的一张三维效果平面图，无需对原三维效果平面图进行额外处理，进一步地降低了计算机处理复杂度，节省了计算机处理资源。
在本发明一个实施例中，在执行步骤104之后，如图1D所示，可以进一步包括如下步骤。
步骤131：响应于所述用户的在所述触摸屏上执行的移动操作，确定所述移动操作对应的在所述触摸屏上的二维位置偏移参数。
步骤132：将所述二维位置偏移参数映射为所述投影平面的三维位置偏移参数，并根据所述三维位置偏移参数改变所述投影平面、第一三维效果平面图和第二三维效果平面图的三维位置。
步骤133：根据所述视点、所述投影平面、所述第二三维效果平面图之间的三维位置关系，重新将所述第二三维效果平面图投影到所述投影平面上。
步骤134：根据所述视点、所述投影平面、所述视野窗口之间的空间位置关系以及所述视野窗口的大小，确定通过所述视点和所述视野窗口投影到所述投影平面上的第三可视区域。
步骤135：截取所述第三可视区域内的第四图像，并展示所述第四图像。
在一个具体应用中，本应用示例的第一三维效果平面图如图7A所示，当增加了多个物体的第二三维效果平面图后，当用户在电子设备的触摸屏上执行向左滑动操作时，相当于向左旋转了包括投影平面的立方体，根据上述方法，重新截取如图7E所示的包括上述新增物体的第四图像，并展示。
在本发明一个实施例中，如图6A所示，当用户在触摸屏上向右侧滑动时，根据所述三维位置偏移参数改变投影平面601、第一三维效果平面图606和第二三维效果平面图603的三维位置。根据视点604、投影平面601、第二三维效果平面图603之间的三维位置关系，重新将第二三维效果平面图603投影到了投影平面601上的区域605。根据视点604、投影平面601、视野窗口602之间的空间位置关系以及视野窗口602的大小，确定通过视点604和视野窗口602投影到投影平面601上的第三可视区域607。截取第三可视区域607内的第四图像，并展示第四图像。
在本发明一个实施例中，如图6B所述，该投影平面601是立方体610的一个面，此时，视点604、视野窗口602位于该立方体610的内部。该第二三维效果平面图603可位于立方体620的一个面。当用户在触摸屏上向右侧滑动时，相当于同步的向右旋转立方体610和620。根据所述三维位置偏移参数改变所述立方体610、立方体620、第一三维效果平面图606和第二三维效果平面图603的三维位置。根据视点604、立方体610、立方体620之间的三维位置关系，重新将第二三维效果平面图603投影到了投影平面601上的区域605。根据视点604、立方体610、视野窗口602之间的空间位置关系以及视野窗口602的大小，确定通过视点604和视野窗口602投影到投影平面601上的第三可视区域607。截取第三可视区域607内的第四图像，并展示所述第四图像。
以上对本发明实施例提出的图像处理的方法进行了说明。下面结合附图对本发明实施例提供的图像处理设备进行说明。
图8为本发明实施例提供的一种图像处理设备的结构示意图。该设备可以是包括触摸屏的电子设备。该设备800包括一下模块：
设置模块801，用于预先设置一图像处理模型，该模型包括：视点、投影平面、视野窗口以及它们之间的三维位置关系；
处理模块802，用于当响应于用户操作而展示第一三维效果平面图时，基于所述模型执行如下处理：将该第一三维效果平面图映射到所述投影平面上；根据所述视点、所述投影平面、所述视野窗口之间的三维位置关系以及所述视野窗口的大小，确定通过所述视点和所述视野窗口投影到所述投影平面上的第一可视区域；截取所述第一可视区域内的第一图像，并展示所述第一图像。
在本发明一个实施例中，在展示所述第一图像之后，所述处理模块802进一步用于：响应于所述用户的在所述触摸屏上执行的移动操作，确定所述移动操作对应的在所述触摸屏上的二维位置偏移参数；将所述二维位置偏移参数映射为所述投影平面的三维位置偏移参数，并根据所述三维位置偏移参数改变所述投影平面和第一三维效果平面图的三维位置；根据所述视点、所述投影平面、所述视野窗口之间的空间位置关系以及所述视野窗口的大小，确定通过所述视点和所述视野窗口投影到所述投影平面上的第二可视区域；截取所述第二可视区域内的第二图像，并展示所述第二图像。
在本发明一个实施例中，所述处理模块802用于将所述位置偏移参数的二维平面坐标值映射为三维直角系中的坐标值，其中，所述三维直角坐标系的原点为一立体图形的中心点，所述立体图形以所述投影平面为其的一个面。
在本发明一个实施例中，在展示所述第一图像之后，所述处理模块802进一步用于：获取第二三维效果平面图的在所述三维直角坐标系中的三维位置参数；根据获取的三维位置参数，确定所述第二三维效果平面图的三维位置；根据所述视点、所述投影平面、所述第二三维效果平面图之间的三维位置关系，将所述第二三维效果平面图投影到所述投影平面上；重新截取所述第一可视区域内的第三图像，并展示所述第三图像。
在本发明一个实施例中，所述处理模块802用于获取预先设置的第二三维效果平面图的三维位置参数；或者，响应于所述用户在所述触摸屏上执行的针对所述第二三维效果平面图的移动操作，确定被移动的第二三维效果平面图的终止位置的二维平面位置参数，将所述终止位置的二维平面位置参数映射为三维位置参数。
在本发明一个实施例中，在展示所述第三图像之后，所述处理模块802进一步用于：响应于所述用户的在所述触摸屏上执行的移动操作，确定所述移动操作对应的在所述触摸屏上的二维位置偏移参数；将所述二维位置偏移参数映射为所述投影平面的三维位置偏移参数，并根据所述三维位置偏移参数改变所述投影平面、第一三维效果平面图和第二三维效果平面图的三维位置；根据所述视点、所述投影平面、所述第二三维效果平面图之间的三维位置关系，重新将所述第二三维效果平面图投影到所述投影平面上；根据所述视点、所述投影平面、所述视野窗口之间的空间位置关系以及所述视野窗口的大小，确定通过所述视点和所述视野窗口投影到所述投影平面上的第三可视区域；截取所述第三可视区域内的第四图像，并展示所述第四图像。
上述的模块801、802可以是保存在设备800中的存储器810中的指令模块，这些指令模块包含处理器可执行的指令。当设备800中的处理器811执行模块801、802中的指令时，可以实现上述模块801、802的各种功能。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。所述各实施例的功能模块可以位于一个终端或网络节点，或者也可以分布到多个终端或网络节点上。
另外，本发明的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本发明。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。
因此本发明还提供了一种存储介质，其中存储有数据处理程序，该数据处理程序用于执行本发明上述方法的任何一种实施例。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (13)

1.一种图像处理方法，其特征在于，应用于包括触摸屏的电子设备上，所述方法包括：
预先设置一图像处理模型，所述模型包括：视点、投影平面、视野窗口以及它们之间的三维位置关系；
当响应于用户操作而展示第一三维效果平面图时，基于所述模型执行如下处理：
将所述第一三维效果平面图映射到所述投影平面上；
根据所述视点、所述投影平面、所述视野窗口之间的三维位置关系以及所述视野窗口的大小，确定通过所述视点和所述视野窗口投影到所述投影平面上的第一可视区域；
截取所述第一可视区域内的映射到所述投影平面上的第一三维效果平面图的第一图像，并展示所述第一图像。
2.根据权利要求1所述的方法，其特征在于，在展示所述第一图像之后，进一步包括：
响应于所述用户的在所述触摸屏上执行的移动操作，确定所述移动操作对应的在所述触摸屏上的二维位置偏移参数；
将所述二维位置偏移参数映射为所述投影平面的三维位置偏移参数，并根据所述三维位置偏移参数改变所述投影平面和第一三维效果平面图的三维位置；
根据所述视点、所述投影平面、所述视野窗口之间的空间位置关系以及所述视野窗口的大小，确定通过所述视点和所述视野窗口投影到所述投影平面上的第二可视区域；
截取所述第二可视区域内的第二图像，并展示所述第二图像。
3.根据权利要求2所述的方法，其特征在于，所述将二维位置偏移参数映射为所述投影平面的三维位置偏移参数，包括：
将所述二维位置偏移参数的二维平面坐标值映射为三维直角坐标系中的坐标值，其中，所述三维直角坐标系的原点为一立体图形的中心点，所述立体图形以所述投影平面为其的一个面。
4.根据权利要求1所述的方法，其特征在于，在展示所述第一图像之后，进一步包括：
获取第二三维效果平面图的在三维直角坐标系中的三维位置参数；
根据获取的三维位置参数，确定所述第二三维效果平面图的三维位置；
根据所述视点、所述投影平面、所述第二三维效果平面图之间的三维位置关系，将所述第二三维效果平面图投影到所述投影平面上；
重新截取所述第一可视区域内的第三图像，并展示所述第三图像。
5.根据权利要求4所述的方法，其特征在于，所述获取第二三维效果平面图的三维位置参数，包括：
获取预先设置的第二三维效果平面图的三维位置参数；或者，
响应于所述用户在所述触摸屏上执行的针对所述第二三维效果平面图的移动操作，确定被移动的第二三维效果平面图的终止位置的二维平面位置参数，将所述终止位置的二维平面位置参数映射为三维位置参数。
6.根据权利要求4所述的方法，其特征在于，在展示所述第三图像之后，进一步包括：
响应于所述用户的在所述触摸屏上执行的移动操作，确定所述移动操作对应的在所述触摸屏上的二维位置偏移参数；
将所述二维位置偏移参数映射为所述投影平面的三维位置偏移参数，并根据所述三维位置偏移参数改变所述投影平面、第一三维效果平面图和第二三维效果平面图的三维位置；
根据所述视点、所述投影平面、所述第二三维效果平面图之间的三维位置关系，重新将所述第二三维效果平面图投影到所述投影平面上；
根据所述视点、所述投影平面、所述视野窗口之间的空间位置关系以及所述视野窗口的大小，确定通过所述视点和所述视野窗口投影到所述投影平面上的第三可视区域；
截取所述第三可视区域内的第四图像，并展示所述第四图像。
7.一种图像处理设备，包括触摸屏，其特征在于，该设备还包括：
设置模块，用于预先设置一图像处理模型，所述模型包括：视点、投影平面、视野窗口以及它们之间的三维位置关系；
处理模块，用于当响应于用户操作而展示第一三维效果平面图时，基于所述模型执行如下处理：将所述第一三维效果平面图映射到所述投影平面上；根据所述视点、所述投影平面、所述视野窗口之间的三维位置关系以及所述视野窗口的大小，确定所述第一三维效果平面图通过所述视点和所述视野窗口投影到所述投影平面上的第一可视区域；截取所述第一可视区域内的映射到所述投影平面上的第一三维效果平面图的第一图像，并展示所述第一图像。
8.根据权利要求7所述的设备，其特征在于，在展示所述第一图像之后，所述处理模块进一步用于：响应于所述用户的在所述触摸屏上执行的移动操作，确定所述移动操作对应的在所述触摸屏上的二维位置偏移参数；将所述二维位置偏移参数映射为所述投影平面的三维位置偏移参数，并根据所述三维位置偏移参数改变所述投影平面和第一三维效果平面图的三维位置；根据所述视点、所述投影平面、所述视野窗口之间的空间位置关系以及所述视野窗口的大小，确定所述第一三维效果平面图通过所述视点和所述视野窗口投影到所述投影平面上的第二可视区域；截取所述第二可视区域内的第二图像，并展示所述第二图像。
9.根据权利要求8所述的设备，其特征在于，所述处理模块用于将所述二维位置偏移参数的二维平面坐标值映射为三维直角坐标系中的坐标值，其中，所述三维直角坐标系的原点为一立体图形的中心点，所述立体图形以所述投影平面为其的一个面。
10.根据权利要求7所述的设备，其特征在于，在展示所述第一图像之后，所述处理模块进一步用于：获取第二三维效果平面图的在三维直角坐标系中的三维位置参数；根据获取的三维位置参数，确定所述第二三维效果平面图的三维位置；根据所述视点、所述投影平面、所述第二三维效果平面图之间的三维位置关系，将所述第二三维效果平面图投影到所述投影平面上；重新截取所述第一可视区域内的第三图像，并展示所述第三图像。
11.根据权利要求10所述的设备，其特征在于，所述处理模块用于获取预先设置的第二三维效果平面图的三维位置参数；或者，响应于所述用户在所述触摸屏上执行的针对所述第二三维效果平面图的移动操作，确定被移动的第二三维效果平面图的终止位置的二维平面位置参数，将所述终止位置的二维平面位置参数映射为三维位置参数。
12.根据权利要求11所述的设备，其特征在于，在展示所述第三图像之后，所述处理模块进一步用于：响应于所述用户的在所述触摸屏上执行的移动操作，确定所述移动操作对应的在所述触摸屏上的二维位置偏移参数；将所述二维位置偏移参数映射为所述投影平面的三维位置偏移参数，并根据所述三维位置偏移参数改变所述投影平面、第一三维效果平面图和第二三维效果平面图的三维位置；根据所述视点、所述投影平面、所述第二三维效果平面图之间的三维位置关系，重新将所述第二三维效果平面图投影到所述投影平面上；根据所述视点、所述投影平面、所述视野窗口之间的空间位置关系以及所述视野窗口的大小，确定通过所述视点和所述视野窗口投影到所述投影平面上的第三可视区域；截取所述第三可视区域内的第四图像，并展示所述第四图像。
13.一种计算机可读存储介质，存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如权利要求1至6中任一项所述的方法。
CN201610131682.9A 2016-03-09 2016-03-09 图像处理方法和设备 Active CN107180406B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201610131682.9A CN107180406B (zh) 2016-03-09 2016-03-09 图像处理方法和设备
EP17762489.7A EP3428874A4 (en) 2016-03-09 2017-03-02 METHOD AND DEVICE FOR PROCESSING IMAGES
PCT/CN2017/075426 WO2017152803A1 (zh) 2016-03-09 2017-03-02 图像处理方法和设备
MYPI2018701826A MY193869A (en) 2016-03-09 2017-03-02 Image processing method and device
US15/960,799 US10812780B2 (en) 2016-03-09 2018-04-24 Image processing method and device
US17/020,316 US11272165B2 (en) 2016-03-09 2020-09-14 Image processing method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610131682.9A CN107180406B (zh) 2016-03-09 2016-03-09 图像处理方法和设备

Publications (2)

Publication Number Publication Date
CN107180406A CN107180406A (zh) 2017-09-19
CN107180406B true CN107180406B (zh) 2019-03-15

Family

ID=59788951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610131682.9A Active CN107180406B (zh) 2016-03-09 2016-03-09 图像处理方法和设备

Country Status (5)

Country Link
US (2) US10812780B2 (zh)
EP (1) EP3428874A4 (zh)
CN (1) CN107180406B (zh)
MY (1) MY193869A (zh)
WO (1) WO2017152803A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107180406B (zh) 2016-03-09 2019-03-15 腾讯科技（深圳）有限公司 图像处理方法和设备
WO2018093391A1 (en) * 2016-11-21 2018-05-24 Hewlett-Packard Development Company, L.P. 3d immersive visualization of a radial array
WO2019162567A1 (en) * 2018-02-23 2019-08-29 Nokia Technologies Oy Encoding and decoding of volumetric video
CN108449593A (zh) * 2018-05-08 2018-08-24 灵然创智（天津）动画科技发展有限公司 一种新型智能ar展示装置及展示方法
CN108958609A (zh) * 2018-07-24 2018-12-07 百度在线网络技术（北京）有限公司 三维全景封面图的生成方法、装置、存储介质和终端设备
CN109272997A (zh) * 2018-08-31 2019-01-25 广东小天才科技有限公司 一种智能设备及其投影交互方法
CN110197524B (zh) * 2019-06-12 2023-08-22 腾讯科技（深圳）有限公司 立体显示方法、设备、装置和计算机可读存储介质
US10992880B1 (en) * 2019-08-30 2021-04-27 Gopro, Inc. Systems and methods for determining viewing paths through videos
CN110703963B (zh) * 2019-09-09 2021-07-06 稿定（厦门）科技有限公司 3d文字展示方法、介质、设备及装置
WO2021166751A1 (ja) * 2020-02-19 2021-08-26 ソニーグループ株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
CN111935468B (zh) * 2020-09-24 2021-01-22 歌尔股份有限公司 投影中心的偏移检测方法、装置及计算机可读存储介质
CN112351266B (zh) * 2020-10-27 2023-03-24 郑州捷安高科股份有限公司 三维视景处理方法、装置、设备、显示系统及介质
EP4383191A1 (en) * 2021-11-01 2024-06-12 Huawei Technologies Co., Ltd. Display method and electronic device
CN114022349A (zh) * 2021-11-03 2022-02-08 郑州森源新能源科技有限公司 一种基于透视投影的平面图像处理方法及装置
CN114463167A (zh) * 2022-02-10 2022-05-10 北京市商汤科技开发有限公司 模型展示方法、装置、电子设备及存储介质
CN114742696A (zh) * 2022-03-21 2022-07-12 天工信创(广州)信息科技有限公司 一种将2d网格均匀流动到3d柱面的变形方法及处理器
CN114782901B (zh) * 2022-06-21 2022-09-09 深圳市禾讯数字创意有限公司 基于视觉变动分析的沙盘投影方法、装置、设备及介质
CN118229888B (zh) * 2024-05-23 2024-07-30 山东天昀和信息科技有限公司 一种基于三维模型的区域智能标记方法及系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9930850D0 (en) * 1999-12-24 2000-02-16 Koninkl Philips Electronics Nv 3D environment labelling
JP4021685B2 (ja) * 2002-03-04 2007-12-12 松下電器産業株式会社 画像合成変換装置
CN100573595C (zh) * 2003-06-20 2009-12-23 日本电信电话株式会社 虚拟视点图像生成方法和三维图像显示方法及装置
WO2006053271A1 (en) 2004-11-12 2006-05-18 Mok3, Inc. Method for inter-scene transitions
US8059888B2 (en) * 2007-10-30 2011-11-15 Microsoft Corporation Semi-automatic plane extrusion for 3D modeling
US8072448B2 (en) * 2008-01-15 2011-12-06 Google Inc. Three-dimensional annotations for street view data
US8350850B2 (en) * 2008-03-31 2013-01-08 Microsoft Corporation Using photo collections for three dimensional modeling
US8717360B2 (en) * 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
US9632677B2 (en) * 2011-03-02 2017-04-25 The Boeing Company System and method for navigating a 3-D environment using a multi-input interface
US9047690B2 (en) * 2012-04-11 2015-06-02 Myriata, Inc. System and method for facilitating creation of a rich virtual environment
CN102799318B (zh) * 2012-08-13 2015-07-29 深圳先进技术研究院 一种基于双目立体视觉的人机交互方法及系统
CN103019507B (zh) * 2012-11-16 2015-03-25 福州瑞芯微电子有限公司 一种基于人脸跟踪改变视点角度显示三维图形的方法
CN103970518B (zh) * 2013-01-31 2019-06-25 腾讯科技（深圳）有限公司 一种逻辑窗口的3d渲染方法和装置
US20140313203A1 (en) * 2013-04-19 2014-10-23 KTS Solutions, LLC Virtual Structural Staging System and Method of Use
CN103473692A (zh) * 2013-06-17 2013-12-25 展讯通信（上海）有限公司 一种三维购物平台显示系统
CN103354616A (zh) * 2013-07-05 2013-10-16 南京大学 在平面显示器上实现立体显示的方法和系统
US10068373B2 (en) * 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
JP6488591B2 (ja) * 2014-08-27 2019-03-27 株式会社リコー 画像処理装置、画像処理方法、及びプログラム
US20170090460A1 (en) * 2015-09-25 2017-03-30 Microsoft Technology Licensing, Llc 3D Model Generation From Map Data
US20170091993A1 (en) * 2015-09-25 2017-03-30 Microsoft Technology Licensing, Llc 3D Model Generation From Map Data and User Interface
CN107180406B (zh) 2016-03-09 2019-03-15 腾讯科技（深圳）有限公司 图像处理方法和设备

Also Published As

Publication number Publication date
EP3428874A4 (en) 2019-01-23
MY193869A (en) 2022-10-29
US20180241986A1 (en) 2018-08-23
US10812780B2 (en) 2020-10-20
US11272165B2 (en) 2022-03-08
CN107180406A (zh) 2017-09-19
WO2017152803A1 (zh) 2017-09-14
US20200413027A1 (en) 2020-12-31
EP3428874A1 (en) 2019-01-16

Similar Documents

Publication Publication Date Title
CN107180406B (zh) 图像处理方法和设备
US11869205B1 (en) Techniques for determining a three-dimensional representation of a surface of an object from a set of images
CN110249626B (zh) 增强现实图像的实现方法、装置、终端设备和存储介质
JP6643357B2 (ja) 全球状取込方法
US9595127B2 (en) Three-dimensional collaboration
US10567649B2 (en) Parallax viewer system for 3D content
CN108939556B (zh) 一种基于游戏平台的截图方法及装置
CN111766951B (zh) 图像显示方法和装置、计算机系统和计算机可读存储介质
JP2008520052A5 (zh)
US11044398B2 (en) Panoramic light field capture, processing, and display
CN108876900A (zh) 一种与现实场景融合的虚拟目标投射方法和系统
EP3503101A1 (en) Object based user interface
JP2023504608A (ja) 拡張現実場面における表示方法、装置、機器、媒体及びプログラム
CN111095348A (zh) 基于摄像头的透明显示器
CN104168315A (zh) 一种全视角平滑的沉浸式显示方法和系统
JP2021034885A (ja) 画像生成装置、画像表示装置および画像処理方法
GB2554925A (en) Display of visual data with a virtual reality headset
WO2024002023A1 (zh) 全景立体图像的生成方法、装置和电子设备
CN114549289A (zh) 图像处理方法、装置、电子设备和计算机存储介质
JPH0463092A (ja) ３次元シーン表示システム
CN108765582B (zh) 一种全景图片显示方法及设备
CN108734791B (zh) 全景视频的处理方法和装置
CN110708502A (zh) 自动检测数字流并将其插入360度视频的系统、方法和介质
CN109727315B (zh) 一对多集群渲染方法、装置、设备及存储介质
JP2015008394A (ja) 情報端末装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant