CN114900742A - 基于视频推流的场景旋转过渡方法以及系统 - Google Patents

基于视频推流的场景旋转过渡方法以及系统 Download PDF

Info

Publication number
CN114900742A
CN114900742A CN202210460638.8A CN202210460638A CN114900742A CN 114900742 A CN114900742 A CN 114900742A CN 202210460638 A CN202210460638 A CN 202210460638A CN 114900742 A CN114900742 A CN 114900742A
Authority
CN
China
Prior art keywords
virtual point
point location
current
dimensional model
video information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210460638.8A
Other languages
English (en)
Inventor
崔岩
徐世廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Germany Zhuhai Artificial Intelligence Institute Co ltd
4Dage Co Ltd
Original Assignee
China Germany Zhuhai Artificial Intelligence Institute Co ltd
4Dage Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Germany Zhuhai Artificial Intelligence Institute Co ltd, 4Dage Co Ltd filed Critical China Germany Zhuhai Artificial Intelligence Institute Co ltd
Priority to CN202210460638.8A priority Critical patent/CN114900742A/zh
Publication of CN114900742A publication Critical patent/CN114900742A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请适用于图像处理技术领域,提供了一种基于视频推流的场景旋转过渡方法、装置、服务器以及计算机可读存储介质,该方法包括:获取三维模型;确定用户观看所述三维模型的浏览模式为漫游模式;响应于用户从当前虚拟点位至下一相邻虚拟点位的场景过渡请求,确定所述当前虚拟点位的当前朝向;根据所述当前虚拟点位的当前朝向与当前虚拟点位至下一相邻虚拟点位之间的正向朝向之间的夹角,获取当前虚拟点位与下一相邻虚拟点位之间的目标视频信息;播放所述当前虚拟点位与下一相邻虚拟点位之间的目标视频信息至用户。可见,本申请实施例通过该视频推流的方式实现点位之间的场景过渡,使得点位之间的过渡效果更有真实感,更加流畅。

Description

基于视频推流的场景旋转过渡方法以及系统
技术领域
本申请属于图像处理技术领域,尤其涉及一种基于视频推流的场景旋转过渡方法、装置、服务器以及计算机可读存储介质。
背景技术
现有技术中,三维场景旋转过渡一般是从三维模型中的一个虚拟点位所处的场景直接过渡到下一个虚拟点位所处的场景,仍旧存在过渡效果不够真实、流畅的问题。
发明内容
本申请实施例提供了一种基于视频推流的场景旋转过渡方法、装置、系统、服务器、终端设备以及计算机可读存储介质。
第一方面,本申请实施例提供了一种基于视频推流的场景旋转过渡方法,该方法应用于终端设备,该方法包括:
获取三维模型;所述三维模型中包括至少两个的虚拟点位;
确定用户观看所述三维模型的浏览模式为漫游模式;
响应于用户从当前虚拟点位至下一相邻虚拟点位的场景过渡请求,确定所述当前虚拟点位的当前朝向;
根据所述当前虚拟点位的当前朝向与当前虚拟点位至下一相邻虚拟点位之间的正向朝向之间的夹角,获取当前虚拟点位与下一相邻虚拟点位之间的目标视频信息;
播放所述当前虚拟点位与下一相邻虚拟点位之间的目标视频信息至用户。
在第一方面的一种可能的实现方式中,确定用户观看所述三维模型的浏览模式为漫游模式,包括:
调用第一投影相机显示所述三维模型的轮廓景象至用户;
响应于用户的漫游请求,替换所述第一投影相机为第二投影相机,显示所述三维模型的内部景象至用户。
在第一方面的一种可能的实现方式中,根据所述当前虚拟点位的当前朝向与当前虚拟点位至下一相邻虚拟点位之间的正向朝向之间的夹角,获取当前虚拟点位与下一相邻虚拟点位之间的目标视频信息,包括:
确定所述第二投影相机所处的虚拟点位为当前虚拟点位,检测用户的点击操作,将用户的点击操作对应的虚拟点位作为下一相邻虚拟点位;
检测所述当前虚拟点位的当前朝向与当前虚拟点位至下一相邻虚拟点位之间的正向朝向之间的夹角;
根据当前虚拟点位、当前虚拟点位的当前朝向与当前虚拟点位至下一相邻虚拟点位之间的正向朝向之间的夹角以及下一相邻虚拟点位生成特征码;
发送所述特征码至服务器,以指示所述服务器根据特征码查询目标视频信息,对所述目标视频信息经过渲染后,返回所述目标视频信息至终端设备。
第二方面,本申请实施例提供了一种基于视频推流的场景旋转过渡方法,该方法应用于服务器,该方法包括:
获取每个真实点位对应的深度信息以及图像信息;
获取相邻真实点位之间的视频信息,并存储所述视频信息;
根据每个真实点位对应的深度信息以及图像信息生成三维模型;
确定所述三维模型中每个真实点位对应的虚拟点位;
根据真实点位与虚拟点位的对应关系,建立相邻虚拟点位与所述视频信息的关联关系;
发送所述三维模型至终端设备。
在第二方面的一种可选的实施方式中,根据每个真实点位对应的深度信息以及图像信息生成三维模型,包括:
根据深度信息和图像信息生成初始点云;
对所述初始点云进行融合处理,得到融合点云;
对所述融合点云进行平滑处理,得到目标点云;
对所述目标点云进行几何结构恢复,得到三维模型。
在第二方面的一种可选的实施方式中,发送所述三维模型至终端设备之后,还包括:
获取终端设备发送的特征码;
根据特征码查询目标视频信息;
渲染所述目标视频;
发送所述目标视频至终端设备。
第三方面,本申请实施例提供了一种基于视频推流的场景旋转过渡系统,采集设备,用于采集每个真实点位对应的深度信息以及图像信息,并发送每个真实点位对应的深度信息以及图像信息至服务器;采集相邻真实点位之间的视频信息,并发送至服务器;
与采集设备连接的服务器,用于获取每个真实点位对应的深度信息以及图像信息;获取相邻真实点位之间的视频信息,并存储所述视频信息;根据每个真实点位对应的深度信息以及图像信息生成三维模型;确定所述三维模型中每个真实点位对应的虚拟点位;根据真实点位与虚拟点位的对应关系,建立相邻虚拟点位与所述视频信息的关联关系;发送所述三维模型至终端设备;
与服务器连接的终端设备,用于获取三维模型;所述三维模型中包括至少两个的虚拟点位;确定用户观看所述三维模型的浏览模式为漫游模式;响应于用户从当前虚拟点位至下一相邻虚拟点位的场景过渡请求,确定所述当前虚拟点位的当前朝向;根据所述当前虚拟点位的当前朝向与当前虚拟点位至下一相邻虚拟点位之间的正向朝向之间的夹角,获取当前虚拟点位与下一相邻虚拟点位之间的目标视频信息;播放所述当前虚拟点位与下一相邻虚拟点位之间的目标视频信息至用户。
第四方面,本申请实施例提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。
第五方面,本申请实施例提供的了一种服务器,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第二方面所述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机程序被处理器执行时实现如上述第一方面所述的方法。
本申请实施例与现有技术相比存在的有益效果是:本申请实施例中,通过服务器根据采集设备发送的真实点位对应的深度信息以及图像信息进行三维重建,得到三维模型;并根据获取来的相邻真实点位之间的视频信息在三维模型中建立相邻虚拟点位与所述视频信息的关联关系;再通过终端设备获取三维模型;确定用户观看所述三维模型的浏览模式为漫游模式;响应于用户从当前虚拟点位至下一相邻虚拟点位的场景过渡请求,确定所述当前虚拟点位的当前朝向;根据所述当前虚拟点位的当前朝向与当前虚拟点位至下一相邻虚拟点位之间的正向朝向之间的夹角,获取当前虚拟点位与下一相邻虚拟点位之间的目标视频信息;播放所述当前虚拟点位与下一相邻虚拟点位之间的目标视频信息至用户。可见,本申请实施例通过该视频推流的方式实现点位之间的场景过渡,使得点位之间的过渡效果更有真实感,更加流畅。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的基于视频推流的场景旋转过渡系统的结构示意图;
图2是本申请实施例提供的基于视频推流的场景旋转过渡方法的一种流程示意图;
图3是本申请实施例提供的基于视频推流的场景旋转过渡方法的另一种流程示意图;
图4是本申请实施例提供的一种基于视频推流的场景旋转过渡装置的一种结构示意图;
图5示出了本申请实施例提供的基于视频推流的另一种场景旋转过渡装置;
图6是本申请实施例提供的服务器的结构示意图;
图7是本申请实施例提供的终端设备的结构示意图;
图8为本申请实施例提供的虚拟点位之间的第一种旋转过渡示意图;
图9为本申请实施例提供的虚拟点位之间的第一种旋转过渡示意图;
图10为本申请实施例提供的虚拟点位之间的第一种旋转过渡示意图;
图11为本申请实施例提供的虚拟点位之间的第一种旋转过渡示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
下面将通过具体实施例对本申请实施例提供的技术方案进行介绍。
参见图1,为本申请实施例提供的基于视频推流的场景旋转过渡系统,该系统包括采集设备10,服务器20以及终端设备30 ,其中采集设备与服务器连接,服务器与终端设备连接。
采集设备,用于采集每个真实点位对应的深度信息以及图像信息,并发送每个真实点位对应的深度信息以及图像信息至服务器;采集相邻真实点位之间的视频信息,并发送至服务器。
其中,采集设备可以是3D相机,3D相机包括激光相机和球幕相机,激光相机与球幕相机之间相对位置固定,激光相机包括相对位置固定的第一激光相机(即UpLidar激光相机)、第二激光相机(即MidLidar激光相机)以及第三激光相机(即DownLidar激光相机),示例性的,UpLidar激光相机、MidLidar激光相机、DownLidar激光相机在同一垂直线按上、中、下的顺序间隔排列。另外,3D相机在同一个点位按60度的旋转角度旋转6次最后得到一张360°的全景图像。
服务器,用于获取每个真实点位对应的深度信息以及图像信息;获取相邻真实点位之间的视频信息,并存储所述视频信息;根据每个真实点位对应的深度信息以及图像信息生成三维模型;确定所述三维模型中每个真实点位对应的虚拟点位;根据真实点位与虚拟点位的对应关系,建立相邻虚拟点位与所述视频信息的关联关系;发送所述三维模型至终端设备。
终端设备,用于获取三维模型;所述三维模型中包括至少两个的虚拟点位;确定用户观看所述三维模型的浏览模式为漫游模式;响应于用户从当前虚拟点位至下一相邻虚拟点位的场景过渡请求,确定所述当前虚拟点位的当前朝向;根据所述当前虚拟点位的当前朝向与当前虚拟点位至下一相邻虚拟点位之间的正向朝向之间的夹角,获取当前虚拟点位与下一相邻虚拟点位之间的目标视频信息;播放所述当前虚拟点位与下一相邻虚拟点位之间的目标视频信息至用户。
本申请实施例中,通过服务器根据采集设备发送的真实点位对应的深度信息以及图像信息进行三维重建,得到三维模型;并根据获取来的相邻真实点位之间的视频信息在三维模型中建立相邻虚拟点位与所述视频信息的关联关系;再通过终端设备获取三维模型;确定用户观看所述三维模型的浏览模式为漫游模式;响应于用户从当前虚拟点位至下一相邻虚拟点位的场景过渡请求,确定所述当前虚拟点位的当前朝向;根据所述当前虚拟点位的当前朝向与当前虚拟点位至下一相邻虚拟点位之间的正向朝向之间的夹角,获取当前虚拟点位与下一相邻虚拟点位之间的目标视频信息;播放所述当前虚拟点位与下一相邻虚拟点位之间的目标视频信息至用户。可见,本申请实施例通过该视频推流的方式实现点位之间的场景过渡,使得点位之间的过渡效果更有真实感,更加流畅。
参见图2,为本申请实施例提供的基于视频推流的场景旋转过渡方法的一种流程示意图,作为示例而非限定,该方法可以应用于服务器,该方法可以包括以下步骤:
步骤S201,获取每个真实点位对应的深度信息以及图像信息。
具体应用中,通过3D相机在真实场景中的不同真实点位进行采集深度信息和图像信息。示例性地,用户操在真实场景中的操作流程可以是:安装、固定3D相机,启动3D相机,打开手机或者ipad的WiFi连接功能,启动手机或者ipad的小程序,用户规划拍摄路线,用户3D相机进行拍摄,3D相机保存空间数据,3D相机自动上传空间数据至服务器。
步骤S202,获取相邻真实点位之间的视频信息,并存储视频信息。
具体应用中,通过3D相机在相邻真实点位之间录制一段视频(例如60帧),然后进行编码、封装后上传至服务器进行存储,并标记每段视频对应一个特征码。
步骤S203,根据每个真实点位对应的深度信息以及图像信息生成三维模型。
具体应用中,根据每个真实点位对应的深度信息以及图像信息生成三维模型,包括:
步骤S203-1,根据深度信息和图像信息生成初始点云。
具体地,根据深度信息和图像信息生成初始点云,包括:
步骤S203-1-1,对深度信息和图像信息进行配准,得到全景图像信息。
示例性地,可以根据迭代最近点算法Iterative Closest Point, ICP)对目标深度图像和色彩图像进行配准,使得目标深度图像和色彩图像之间统一坐标系。
步骤S203-1-2,根据全景图像信息得到初始点云的三维坐标。
示例性地,根据下式得到初始点云的三维坐标:
Figure 817700DEST_PATH_IMAGE001
其中,(u,v)为全景图像中每个目标特征点的像素坐标,d为全景图像中每个像素点的深度值,K为激光相机的内参,(X,Y,Z)为点云的三维坐标。激光相机的内参可以采用张正友标定法计算得到。
步骤S203-2,对初始点云进行融合处理,得到融合点云。
其中,目标深度图像和色彩图像为激光相机拍摄得到,激光相机包括激光器和摄像头,激光机用于采集深度图像并发送至服务器,摄像头用于采集色彩图像并发送至服务器。
具体应用中,对初始点云进行融合处理,得到融合点云,包括:
步骤S203-2-1,获取激光相机的位姿信息。
示例性地,采用SFM(structure-from-motion)算法得到激光相机的位姿态信息,SFM(structure-from-motion)算法是一种基于各种收集到的无序图片进行三维重建的离线算法。 顾名思义是从运动中(不同时间拍摄的图片集)恢复物体的三维结构,这需要估计出图片的 ,结合相机内参重建稀疏点云。
步骤S203-2-2,根据位姿信息,对初始点云进行重投影概率融合,得到融合点云。
可以理解的是,利用SFM算法获得激光相机的位姿后,对多个初始点云进行重投影概率融合,以确保激光相机在不同位置观测的点云没有分层和冲突。
步骤S203-3,对融合点云进行平滑处理,得到目标点云。
示例性地,对融合点云进行平滑处理,得到目标点云,包括:
步骤S203-3-1,利用非参数回归算法提取融合点云的特征向量。
其中,特征向量包括法向量和缩放度。
可以理解的是,非参数的都是先假定好形式的,而非参数的相当于是一种平滑技术,事先不知道形式,而是用样本去生成,常见的方法有最近邻法,核函数法等。
步骤S203-3-2,对特征向量进行平滑处理,将平滑处理后的融合点云作为目标点云。
示例性地,平滑处理的方式包括Katz平滑方法等。
步骤S203-4,对目标点云进行几何结构恢复,得到三维模型。
具体应用中,根据预设重建算法提取目标点云的表面三角形,生成目标三维模型。
其中,预设重建算法可以是稠密点云重建MVS算法。
步骤S204,确定三维模型中每个真实点位对应的虚拟点位。
可以理解的是,通过3D相机拍摄真实场景得到的深度信息和图像信息进行生成三维模型,建立了真实场景与三维模型之间的虚实关系,那么可以根据真实场景中真实点位的坐标对应得到三维模型中每个真实点位对应的虚拟点位。
步骤S205,根据真实点位与虚拟点位的对应关系,建立相邻虚拟点位与视频信息的关联关系。
可以理解的是,视频信息是3D相机在相邻真实点位之间拍摄之后上传至服务器存储的,基于每个真实点位与虚拟点位的对应关系,可以建立相邻虚拟点位与视频信息的关联关系。
步骤S206,发送三维模型至终端设备。
在一种可选的实施方式中,发送三维模型至终端设备之后,还包括:
步骤S206-1,获取终端设备发送的目标特征码。
其中,目标特征码是终端设备根据当前用户需要从当前虚拟点位所处得场景过渡到下一相邻虚拟点位场景之间所涉及到的目标视频信息生成的,生成方式可以是采用Onehot编码方式进行编码。
步骤S206-2,根据目标特征码查询目标视频信息。
步骤S206-3,渲染目标视频。
示例性地,采用UE4渲染的方式对目标视频进行渲染。
步骤S206-4,发送目标视频至终端设备。
具体地,采用WebRTC 协议推流的方式将目标视频发送至终端设备。
本申请实施例中,通过服务器根据采集设备发送的真实点位对应的深度信息以及图像信息进行三维重建,得到三维模型;并根据获取来的相邻真实点位之间的视频信息在三维模型中建立相邻虚拟点位与所述视频信息的关联关系;在获取终端设备发送的目标特征码,根据目标特征码查询目标视频信息,将渲染目标视频推送至终端设备。可见,本申请实施例相对于现有技术中从三维模型中的一个虚拟点位所处的场景直接过渡到下一个虚拟点位所处的场景,使用视频推流的方式,从三维模型中的一个虚拟点位所处的场景慢慢过渡到下一个虚拟点位所处的场景,达到场景过渡更加真实、流畅的效果。
参见图3,为本申请实施例提供的基于视频推流的场景旋转过渡方法的另一种流程示意图,作为示例而非限定,该方法可以应用于终端设备,该方法可以包括以下步骤:
步骤S301,获取三维模型。
其中,三维模型中包括至少两个的虚拟点位。
具体应用中,服务器将经过UE4渲染后的三维模型通过WebRTC 协议推流发送至终端设备。
步骤S302,确定用户观看三维模型的浏览模式为漫游模式。
其中,浏览模式包括平面模式,3D模式以及漫游模式,平面模式是指显示三维模型的平面,3D模式是指显示三维模型外部的轮廓景象,漫游模式是指显示三维模型内部景象。
具体应用中,确定用户观看所述三维模型的浏览模式为漫游模式,包括:
步骤S302-1,调用第一投影相机显示三维模型的轮廓景象至用户。
其中,第一投影相机是指正交投影相机。需说明的是,第一投影相机是指在三维场景外模拟出来的的虚拟相机。
可以理解的是,一开始用户观看三维模型的浏览模式为3D模式或者是平面模式,那么终端设备调用第一投影相机显示三维模型的轮廓景象至用户。
步骤S302-2,响应于用户的漫游请求,替换第一投影相机为第二投影相机,显示三维模型的内部景象至用户。
其中,第二投影相机是指透视投影相机。需说明的是,第二投影相机是指在三维场景里模拟出来的虚拟相机。
可以理解的是,用户观看三维模型的浏览模式从3D模式或者是平面模式切换为漫游模式,那么终端设备替换第一投影相机为第二投影相机,显示三维模型的内部景象至用户。
需说明的是,用户观看三维模型的视角是第三人称视角。
响应于用户从当前虚拟点位至下一相邻虚拟点位的场景过渡请求,确定所述当前虚拟点位的当前朝向
步骤S303,响应于用户从当前虚拟点位至下一相邻虚拟点位的场景过渡请求,确定当前虚拟点位的当前朝向。
步骤S304,根据当前虚拟点位的当前朝向与当前虚拟点位至下一相邻虚拟点位之间的正向朝向之间的夹角,获取当前虚拟点位与下一相邻虚拟点位之间的目标视频信息。
具体应用中,根据当前虚拟点位的当前朝向与当前虚拟点位至下一相邻虚拟点位之间的正向朝向之间的夹角,获取当前虚拟点位与下一相邻虚拟点位之间的目标视频信息,包括:
步骤S304-1,确定第二投影相机所处的虚拟点位为当前虚拟点位,检测用户的点击操作,将用户的点击操作对应的虚拟点位作为下一相邻虚拟点位。
步骤S304-2,检测当前虚拟点位的当前朝向与当前虚拟点位至下一相邻虚拟点位之间的正向朝向之间的夹角。
步骤S304-3,根据当前虚拟点位、当前虚拟点位的当前朝向与当前虚拟点位至下一相邻虚拟点位之间的正向朝向之间的夹角以及下一相邻虚拟点位生成特征码。
步骤S304-4,发送特征码至服务器,以指示服务器根据特征码查询目标视频信息,对目标视频信息经过渲染后,返回所述目标视频信息至终端设备。
可以理解的是,下一相邻虚拟点位是当前虚拟点位的相邻点位。
步骤S305,播放当前虚拟点位与下一相邻虚拟点位之间的目标视频信息至用户。
示例性的,参见图8,为本申请实施例提供的虚拟点位之间的第一种旋转过渡示意图,当前虚拟点位与当前虚拟点位至下一相邻虚拟点位之间的正向朝向之间的夹角小于90度,那么,终端设备向服务器获取一段旋转过渡视频信息和一段平移过渡视频信息,服务器对这两段视频信息进行渲染后推送至终端设备。其中,旋转过渡视频信息可以是从虚拟点位A的当前朝向旋转至正向朝向的旋转过渡视频信息,平移过渡视频信息是从虚拟点位A的正向朝向过渡至虚拟点位B之间的视频信息。
示例性地,参见图9,为本申请实施例提供的虚拟点位之间的第二种旋转过渡示意图,当前虚拟点位与当前虚拟点位至下一相邻虚拟点位之间的正向朝向之间的夹角为90度到180度之间,那么,终端设备向服务器获取三段旋转过渡视频信息和一段平移过渡视频信息,服务器对这三段旋转过渡视频信息和一段平移过渡视频信息进行渲染后推送至终端设备。其中,第一段旋转过渡视频信息是指从虚拟点位A的当前朝向旋转至过渡朝向1,从过渡朝向1旋转至过渡朝向2,最后从过渡朝向2旋转至正向朝向;第二段旋转过渡视频信息是指从虚拟点位A的当前朝向旋转至过渡朝向1,再从过渡朝向1旋转至正向朝向;第三段旋转过渡视频信息是指从虚拟点位A的当前朝向旋转至过渡朝向2,再从过渡朝向2旋转至正向朝向;平移过渡视频信息是从虚拟点位A的正向朝向过渡至虚拟点位B之间的视频信息。
示例性地,参见图10,为本申请实施例提供的虚拟点位之间的第三种旋转过渡示意图,当前虚拟点位与当前虚拟点位至下一相邻虚拟点位之间的正向朝向之间的夹角为180度到270度之间,那么,终端设备向服务器获取四段旋转过渡视频信息和一段平移过渡视频信息,服务器对这四段旋转过渡视频信息和一段平移过渡视频信息进行渲染后推送至终端设备。其中,其中,第一段旋转过渡视频信息是指从虚拟点位A的当前朝向旋转至过渡朝向1,从过渡朝向1旋转至过渡朝向2,最后从过渡朝向2旋转至过渡朝向3,从过渡朝向3旋转至正向朝向;第二段旋转过渡视频信息是指从虚拟点位A的当前朝向旋转至过渡朝向1,再从过渡朝向1旋转至正向朝向;第三段转过渡视频信息是指从虚拟点位A的当前朝向旋转至过渡朝向2,再从过渡朝向2旋转至正向朝向;第四段旋转过渡视频信息是指从虚拟点位A的当前朝向旋转至过渡朝向3,再从过渡朝向3旋转至正向朝向;平移过渡视频信息是从虚拟点位A的正向朝向过渡至虚拟点位B之间的视频信息。
示例性地,参见图11,为本申请实施例提供的虚拟点位之间的第四种过渡示意图,当前虚拟点位与当前虚拟点位至下一相邻虚拟点位之间的正向朝向之间的夹角为270度到360度之间,那么,终端设备向服务器获取一段旋转过渡视频信息和一段平移过渡视频信息,服务器对这两段视频信息进行渲染后推送至终端设备。其中,旋转过渡视频信息可以是从虚拟点位A的当前朝向旋转至正向朝向的旋转过渡视频信息,平移过渡视频信息是从虚拟点位A的正向朝向过渡至虚拟点位B之间的视频信息。
本申请实施例中,通过终端设备获取三维模型,确定用户观看三维模型的浏览模式为漫游模式,响应于用户从当前虚拟点位至下一相邻虚拟点位的场景过渡请求,确定当前虚拟点位的当前朝向;根据当前虚拟点位的当前朝向与当前虚拟点位至下一相邻虚拟点位之间的正向朝向之间的夹角,获取当前虚拟点位与下一相邻虚拟点位之间的目标视频信息;播放当前虚拟点位与下一相邻虚拟点位之间的目标视频信息至用户。可见,本申请实施例相对于现有技术中从三维模型中的一个虚拟点位所处的场景直接过渡到下一个虚拟点位所处的场景,使用视频推流的方式,从三维模型中的一个虚拟点位所处的场景慢慢过渡到下一个虚拟点位所处的场景,达到场景过渡更加真实、流畅的效果。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的方法,图4示出了本申请实施例提供的基于视频推流的场景旋转过渡装置的一种结构示意图,该装置应用于终端设备。
参见图4,该装置包括:
第一获取模块41,用于获取三维模型;所述三维模型中包括至少两个的虚拟点位;
确定模块42,用于确定用户观看所述三维模型的浏览模式为漫游模式;
响应模块43,用于响应于用户从当前虚拟点位至下一相邻虚拟点位的场景过渡请求,确定所述当前虚拟点位的当前朝向;
第二获取模块44,用于根据所述当前虚拟点位的当前朝向与当前虚拟点位至下一相邻虚拟点位之间的正向朝向之间的夹角,获取当前虚拟点位与下一相邻虚拟点位之间的目标视频信息;
播放模块45,用于播放所述当前虚拟点位与下一相邻虚拟点位之间的目标视频信息至用户。
在一种可能的实现方式中,所述确定模块,包括:
调用单元,用于调用第一投影相机显示所述三维模型的轮廓景象至用户;
响应单元,用于响应于用户的漫游请求,替换所述第一投影相机为第二投影相机,显示所述三维模型的内部景象至用户。
在一种可能的实现方式中,所述响应模块,包括:
在一种可能的实现方式中,第二获取模块,包括:
确定单元,用于确定所述第二投影相机所处的虚拟点位为当前虚拟点位,检测用户的点击操作,将用户的点击操作对应的虚拟点位作为下一相邻虚拟点位;
检测单元,用于检测所述当前虚拟点位的当前朝向与当前虚拟点位至下一相邻虚拟点位之间的正向朝向之间的夹角;
生成单元,用于根据当前虚拟点位、当前虚拟点位的当前朝向与当前虚拟点位至下一相邻虚拟点位之间的正向朝向之间的夹角以及下一相邻虚拟点位生成特征码;
发送单元,用于发送所述特征码至服务器,以指示所述服务器根据特征码查询目标视频信息,对所述目标视频信息经过渲染后,返回所述目标视频信息至终端设备。
对应于上文实施例所述的方法,图5示出了本申请实施例提供的基于视频推流的另一种场景旋转过渡装置,该装置应用于服务器。
参见图5,该装置包括:
第一获取模块51,用于获取每个真实点位对应的深度信息以及图像信息;
第二获取模块52,用于获取相邻真实点位之间的视频信息,并存储所述视频信息;
生成模块53,用于根据每个真实点位对应的深度信息以及图像信息生成三维模型;
确定模块54,用于确定所述三维模型中每个真实点位对应的虚拟点位;
关联模块55,用于根据真实点位与虚拟点位的对应关系,建立相邻虚拟点位与所述视频信息的关联关系;
发送模块56,用于发送所述三维模型至终端设备。
在一种可能的实现方式中,所述生成模块,包括:
生成单元,用于根据深度信息和图像信息生成初始点云;
融合单元,用于对所述初始点云进行融合处理,得到融合点云;
平滑单元,用于对所述融合点云进行平滑处理,得到目标点云;
恢复单元,用于对所述目标点云进行几何结构恢复,得到三维模型。
在一种可能的实现方式中,所述装置,还包括:
第三获取模块,用于获取终端设备发送的特征码;
查询模块,用于根据特征码查询目标视频信息;
渲染模块,用于渲染所述目标视频;
发送模块,用于发送所述目标视频至终端设备。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
图6为本申请实施例提供的服务器的结构示意图。如图6所示,该实施例的终端设备6包括:至少一个处理器60、存储器61以及存储在所述存储器61中并可在所述至少一个处理器60上运行的计算机程序62,所述处理器60执行所述计算机程序62时实现上述任意各个方法实施例中的步骤。
所述终端设备6可以是云端服务器等计算设备。该服务器可包括,但不仅限于,处理器60、存储器61。本领域技术人员可以理解,图6仅仅是终端设备6的举例,并不构成对终端设备6的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
图7为本申请实施例提供的终端设备的结构示意图。如图7所示,该实施例的终端设备7包括:至少一个处理器70、存储器71以及存储在所述存储器71中并可在所述至少一个处理器70上运行的计算机程序72,所述处理器70执行所述计算机程序72时实现上述任意各个方法实施例中的步骤。
所述终端设备7可以是桌面计算机等计算设备。该终端设备可包括,但不仅限于,处理器70、存储器71。本领域技术人员可以理解,图7仅仅是终端设备7的举例,并不构成对终端设备7的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/网络设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/网络设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于视频推流的场景旋转过渡方法,应用于终端设备,其特征在于,包括:
获取三维模型;所述三维模型中包括至少两个的虚拟点位;
确定用户观看所述三维模型的浏览模式为漫游模式;
响应于用户从当前虚拟点位至下一相邻虚拟点位的场景过渡请求,确定所述当前虚拟点位的当前朝向;
根据所述当前虚拟点位的当前朝向与当前虚拟点位至下一相邻虚拟点位之间的正向朝向之间的夹角,获取当前虚拟点位与下一相邻虚拟点位之间的目标视频信息;
播放所述当前虚拟点位与下一相邻虚拟点位之间的目标视频信息至用户。
2.如权利要求1所述的基于视频推流的场景旋转过渡方法,确定用户观看所述三维模型的浏览模式为漫游模式,包括:
调用第一投影相机显示所述三维模型的轮廓景象至用户;
响应于用户的漫游请求,替换所述第一投影相机为第二投影相机,显示所述三维模型的内部景象至用户。
3.如权利要求2所述的基于视频推流的场景旋转过渡方法,其特征在于,根据所述当前虚拟点位的当前朝向与当前虚拟点位至下一相邻虚拟点位之间的正向朝向之间的夹角,获取当前虚拟点位与下一相邻虚拟点位之间的目标视频信息,包括:
确定所述第二投影相机所处的虚拟点位为当前虚拟点位,检测用户的点击操作,将用户的点击操作对应的虚拟点位作为下一相邻虚拟点位;
检测所述当前虚拟点位的当前朝向与当前虚拟点位至下一相邻虚拟点位之间的正向朝向之间的夹角;
根据当前虚拟点位、当前虚拟点位的当前朝向与当前虚拟点位至下一相邻虚拟点位之间的正向朝向之间的夹角以及下一相邻虚拟点位生成特征码;
发送所述特征码至服务器,以指示所述服务器根据特征码查询目标视频信息,对所述目标视频信息经过渲染后,返回所述目标视频信息至终端设备。
4.一种基于视频推流的场景旋转过渡方法,应用于服务器,其特征在于,包括:
获取每个真实点位对应的深度信息以及图像信息;
获取相邻真实点位之间的视频信息,并存储所述视频信息;
根据每个真实点位对应的深度信息以及图像信息生成三维模型;
确定所述三维模型中每个真实点位对应的虚拟点位;
根据真实点位与虚拟点位的对应关系,建立相邻虚拟点位与所述视频信息的关联关系;
发送所述三维模型至终端设备。
5.如权利要求4所述的基于视频推流的场景旋转过渡方法,其特征在于,根据每个真实点位对应的深度信息以及图像信息生成三维模型,包括:
根据深度信息和图像信息生成初始点云;
对所述初始点云进行融合处理,得到融合点云;
对所述融合点云进行平滑处理,得到目标点云;
对所述目标点云进行几何结构恢复,得到三维模型。
6.如权利要求4所述的基于视频推流的场景旋转过渡方法,其特征在于,发送所述三维模型至终端设备之后,还包括:
获取终端设备发送的目标特征码;
根据目标特征码查询目标视频信息;
渲染所述目标视频;
发送所述目标视频至终端设备。
7.一种基于视频推流的场景旋转过渡系统,其特征在于,包括:
采集设备,用于采集每个真实点位对应的深度信息以及图像信息,并发送每个真实点位对应的深度信息以及图像信息至服务器;采集相邻真实点位之间的视频信息,并发送至服务器;
与采集设备连接的服务器,用于获取每个真实点位对应的深度信息以及图像信息;获取相邻真实点位之间的视频信息,并存储所述视频信息;根据每个真实点位对应的深度信息以及图像信息生成三维模型;确定所述三维模型中每个真实点位对应的虚拟点位;根据真实点位与虚拟点位的对应关系,建立相邻虚拟点位与所述视频信息的关联关系;发送所述三维模型至终端设备;
与服务器连接的终端设备,用于获取三维模型;所述三维模型中包括至少两个的虚拟点位;确定用户观看所述三维模型的浏览模式为漫游模式;响应于用户从当前虚拟点位至下一相邻虚拟点位的场景过渡请求,确定所述当前虚拟点位的当前朝向;根据所述当前虚拟点位的当前朝向与当前虚拟点位至下一相邻虚拟点位之间的正向朝向之间的夹角,获取当前虚拟点位与下一相邻虚拟点位之间的目标视频信息;播放所述当前虚拟点位与下一相邻虚拟点位之间的目标视频信息至用户。
8.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述的方法。
9.一种服务器,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求4至7任一项所述的方法。
10.一种计算机可读存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的方法或者如权利要求4至7任一项所述的方法。
CN202210460638.8A 2022-04-28 2022-04-28 基于视频推流的场景旋转过渡方法以及系统 Pending CN114900742A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210460638.8A CN114900742A (zh) 2022-04-28 2022-04-28 基于视频推流的场景旋转过渡方法以及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210460638.8A CN114900742A (zh) 2022-04-28 2022-04-28 基于视频推流的场景旋转过渡方法以及系统

Publications (1)

Publication Number Publication Date
CN114900742A true CN114900742A (zh) 2022-08-12

Family

ID=82719527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210460638.8A Pending CN114900742A (zh) 2022-04-28 2022-04-28 基于视频推流的场景旋转过渡方法以及系统

Country Status (1)

Country Link
CN (1) CN114900742A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116934984A (zh) * 2023-09-19 2023-10-24 成都中轨轨道设备有限公司 一种用于构建虚拟全景场景空间的智能终端及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020007248A1 (zh) * 2018-07-05 2020-01-09 腾讯科技(深圳)有限公司 一种虚拟场景转换的方法、装置、终端设备及存储介质
CN110798673A (zh) * 2019-11-13 2020-02-14 南京大学 基于深度卷积神经网络的自由视点视频生成及交互方法
CN111080799A (zh) * 2019-12-04 2020-04-28 广东康云科技有限公司 基于三维建模的场景漫游方法、系统、装置和存储介质
CN111737506A (zh) * 2020-06-24 2020-10-02 众趣(北京)科技有限公司 一种三维数据的展示方法、装置及电子设备
CN113824629A (zh) * 2021-09-30 2021-12-21 北京有竹居网络技术有限公司 一种房屋展示方法、装置、设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020007248A1 (zh) * 2018-07-05 2020-01-09 腾讯科技(深圳)有限公司 一种虚拟场景转换的方法、装置、终端设备及存储介质
CN110798673A (zh) * 2019-11-13 2020-02-14 南京大学 基于深度卷积神经网络的自由视点视频生成及交互方法
CN111080799A (zh) * 2019-12-04 2020-04-28 广东康云科技有限公司 基于三维建模的场景漫游方法、系统、装置和存储介质
CN111737506A (zh) * 2020-06-24 2020-10-02 众趣(北京)科技有限公司 一种三维数据的展示方法、装置及电子设备
CN113824629A (zh) * 2021-09-30 2021-12-21 北京有竹居网络技术有限公司 一种房屋展示方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116934984A (zh) * 2023-09-19 2023-10-24 成都中轨轨道设备有限公司 一种用于构建虚拟全景场景空间的智能终端及方法
CN116934984B (zh) * 2023-09-19 2023-12-08 成都中轨轨道设备有限公司 一种用于构建虚拟全景场景空间的智能终端及方法

Similar Documents

Publication Publication Date Title
US11270460B2 (en) Method and apparatus for determining pose of image capturing device, and storage medium
US20200286279A1 (en) Method, apparatus, medium, and device for processing multi-angle free-perspective image data
US10388025B2 (en) Interactive image based 3D panogragh
CN106464853B (zh) 图像处理设备和方法
US11044398B2 (en) Panoramic light field capture, processing, and display
CN112270736B (zh) 增强现实处理方法及装置、存储介质和电子设备
CN108668108B (zh) 一种视频监控的方法、装置及电子设备
CN110060201B (zh) 一种全景视频的热点交互方法
CN112927362A (zh) 地图重建方法及装置、计算机可读介质和电子设备
CN113223130A (zh) 一种路径漫游方法、终端设备以及计算机存储介质
CN111669564A (zh) 图像重建方法、系统、设备及计算机可读存储介质
CN111402404B (zh) 全景图补全方法、装置、计算机可读存储介质及电子设备
CN116057577A (zh) 用于增强现实的地图
CN112039937A (zh) 一种显示方法、位置确定方法及装置
CN114549289A (zh) 图像处理方法、装置、电子设备和计算机存储介质
CN113838116B (zh) 确定目标视图的方法、装置、电子设备及存储介质
CN114900742A (zh) 基于视频推流的场景旋转过渡方法以及系统
CN114900743A (zh) 基于视频推流的场景渲染过渡方法以及系统
CN112995491B (zh) 视频生成方法、装置、电子设备及计算机存储介质
CN112802206A (zh) 漫游视图的生成方法、装置、设备和存储介质
CN110047035B (zh) 全景视频热点交互系统及交互设备
CN114089836B (zh) 标注方法、终端、服务器和存储介质
CN115941862A (zh) 融合大视场视频与三维场景的方法、装置、设备及介质
CN113810734B (zh) 视频融合方法、装置、设备、系统及计算机可读存储介质
CN108920598B (zh) 全景图浏览方法、装置、终端设备、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220812

RJ01 Rejection of invention patent application after publication