CN111638792A - Ar效果的呈现方法、装置、计算机设备及存储介质 - Google Patents

Ar效果的呈现方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111638792A
CN111638792A CN202010501362.4A CN202010501362A CN111638792A CN 111638792 A CN111638792 A CN 111638792A CN 202010501362 A CN202010501362 A CN 202010501362A CN 111638792 A CN111638792 A CN 111638792A
Authority
CN
China
Prior art keywords
text
real scene
virtual animation
picture
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010501362.4A
Other languages
English (en)
Inventor
刘小兵
潘思霁
揭志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Zhejiang Sensetime Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN202010501362.4A priority Critical patent/CN111638792A/zh
Publication of CN111638792A publication Critical patent/CN111638792A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/14Travel agencies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供了一种AR效果的呈现方法、装置、计算机设备及存储介质,其中,该方法包括:获取增强现实AR设备的现实场景画面;对所述现实场景画面中的文字区域进行识别,得到所述文字区域描述的故事内容;基于所述故事内容,获取用于呈现所述故事内容的画面的虚拟动画信息;在AR设备中展示所述现实场景画面与所述虚拟动画信息对应的虚拟动画相结合的AR效果。

Description

AR效果的呈现方法、装置、计算机设备及存储介质
技术领域
本公开涉及计算机视觉技术领域,具体而言,涉及一种AR效果的呈现方法、装置、计算机设备及存储介质。
背景技术
近年来,随着文化旅游行业的快速发展,越来越多的用户群体参观各类展会或者博物馆或者风景区等。目前,对于展会中的各个展示项目,通常会有一些展示项目的文字介绍,但是参展用户往往不会留意展示项目的文字介绍,导致展示项目未达到预期的展示效果。
发明内容
本公开实施例至少提供一种AR效果的呈现方法、装置、计算机设备及存储介质。
第一方面,本公开实施例提供一种AR效果的呈现方法,包括:
获取增强现实AR设备的现实场景画面;
对所述现实场景画面中的文字区域进行识别,得到所述文字区域描述的故事内容;
基于所述故事内容,获取用于呈现所述故事内容的画面的虚拟动画信息;
在AR设备中展示所述现实场景画面与所述虚拟动画信息对应的虚拟动画相结合的AR效果。
本公开实施例中,可以基于现实场景画面中呈现的文字,确定文字所表述的故事内容,进而通过获取对应故事内容的画面的虚拟动画信息,实现在AR设备中呈现现实场景画面与虚拟动画相结合的AR效果,突破了传统的二维与封闭的三维显示限制,给用户带来一种在现实场景中演绎文字描述的故事内容的AR视觉效果,一方面,能够丰富展览项目的展示形式,另一方面,也能够加深用户对展览项目所展示的内容的印象,进一步提升了用户的视觉体验感。
本公开的一些实施例中,所述对所述现实场景画面中的文字区域进行识别,得到所述文字区域描述的故事内容,包括:
识别所述现实场景画面中的文字区域的关键文本;
将所述关键文本与预设文本库中多种预设文本进行匹配;
将与所述关键文本匹配的目标预设文本,确定为所述文字区域描述的故事内容。
该实施例中,可以在预设文本库中预先设置好与展示项目相关的多种预设文本,这样,在用户手持AR设备捕捉到现实场景画面时,通过识别现实场景画面中是否存在与预设文本相匹配的关键文本,便可以确定是否触发对应的AR效果进行呈现,加强了展示过程中与用户之间的互动,提升用户体验度。
本公开的一些实施例中,所述多种预设文本种每种预设文本对应有一种第一标识;
所述获取与所述故事内容匹配的虚拟动画信息,包括:
确定与所述关键文本匹配的目标预设文本的目标第一标识;
从预设的虚拟动画库中获取与所述目标第一标识对应的目标虚拟动画信息;其中,所述预设的虚拟动画库中包括多种虚拟动画信息,每种虚拟动画信息对应有一种所述第一标识。
本公开的一些实施例中,所述目标第一标识与所述目标虚拟动画信息属于同一展示主题。
该实施例中,可以将虚拟动画信息与预设文本的第一标识建立绑定关系,这样可以结合实际展示项目的展示需求来配置预设文本的第一标识以及对应的虚拟动画信息,比如,按照不同展示项目的不同展示主题,分别配置对应的第一标识,从而能够使得AR效果的呈现形式更为多样化,进一步提升用户体验度。
本公开的一些实施例中,所述识别所述现实场景画面中的文字区域的关键文本,包括:
利用预先训练好的文字识别模型,对所述现实场景画面中的文字区域进行识别,得到所述文字区域的关键文本。
本公开的一些实施例中,在利用预先训练好的文字识别模型,对所述现实场景画面中的文字区域进行识别,得到所述文字区域的关键文本之前,还包括:
对所述现实场景画面进行预处理,得到预处理后的图像;其中,所述预处理包括以下处理中的至少一种:灰度化处理、二值化处理、倾斜矫正处理、规范化处理、图像平滑处理。
该实施例中,可以借助预先训练好的文字识别模型来准确且快速的识别文字区域的关键文本,并且,在将现实场景画面输入到文字识别模型进行识别之前,还可以进行一系列的预处理操作,从而提升文字识别准确度以及文字识别效率。
第二方面,本公开实施例还提供一种AR效果的呈现装置,包括:
第一获取模块,用于获取增强现实AR设备的现实场景画面;
识别模块,用于对所述现实场景画面中的文字区域进行识别,得到所述文字区域描述的故事内容;
第二获取模块,基于所述故事内容,获取用于呈现所述故事内容的画面的虚拟动画信息;
展示模块,用于在AR设备中展示所述现实场景画面与所述虚拟动画信息对应的虚拟动画相结合的AR效果。
本公开的一些实施例中,所述识别模块,在对所述现实场景画面中的文字区域进行识别,得到所述文字区域描述的故事内容时,具体用于:
识别所述现实场景画面中的文字区域的关键文本;
将所述关键文本与预设文本库中多种预设文本进行匹配;
将与所述关键文本匹配的目标预设文本,确定为所述文字区域描述的故事内容。
本公开的一些实施例中,所述多种预设文本种每种预设文本对应有一种第一标识;
所述第二获取模块,在获取与所述故事内容匹配的虚拟动画信息时,具体用于:
确定与所述关键文本匹配的目标预设文本的目标第一标识;
从预设的虚拟动画库中获取与所述目标第一标识对应的目标虚拟动画信息;其中,所述预设的虚拟动画库中包括多种虚拟动画信息,每种虚拟动画信息对应有一种所述第一标识。
本公开的一些实施例中,所述目标第一标识与所述目标虚拟动画信息属于同一展示主题。
本公开实施例中,所述识别模块,在识别所述现实场景画面中的文字区域的关键文本时,具体用于:
利用预先训练好的文字识别模型,对所述现实场景画面中的文字区域进行识别,得到所述文字区域的关键文本。
本公开实施例中,所述识别模块,在利用预先训练好的文字识别模型,对所述现实场景画面中的文字区域进行识别,得到所述文字区域的关键文本之前,还用于:
对所述现实场景画面进行预处理,得到预处理后的图像;其中,所述预处理包括以下处理中的至少一种:灰度化处理、二值化处理、倾斜矫正处理、规范化处理、图像平滑处理。
第三方面,本公开可选实现方式还提供一种计算机设备,处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,所述机器可读指令被所述处理器执行时,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
第四方面,本公开可选实现方式还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
本公开实施例提供的上述方法、装置、计算机设备及存储介质,可以基于现实场景画面中呈现的文字,确定文字所表述的故事内容,进而通过获取对应故事内容的画面的虚拟动画信息,实现在AR设备中呈现现实场景画面与虚拟动画相结合的AR效果,突破了传统的二维与封闭的三维显示限制,给用户带来一种在现实场景中演绎文字描述的故事内容的AR视觉效果,一方面,能够丰富展览项目的展示形式,另一方面,也能够加深用户对展览项目所展示的内容的印象,进一步提升了用户的视觉体验感。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种AR效果的呈现方法的流程图;
图2示出了本公开实施例所提供的一种AR效果的呈现方法的示例的流程示意图;
图3示出了本公开实施例所提供的一种AR效果的呈现装置的示意图;
图4示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
增强现实(Augmented Reality,AR)技术,通过将实体信息(视觉信息、声音、触觉等)通过模拟仿真后,叠加到真实世界中,从而将真实的环境和虚拟的物体实时地在同一个画面或空间呈现。
本公开实施例可适用于任意支持AR技术的计算机设备(如手机、平板、AR眼镜等)或服务器,或者其组合,在本公开应用于服务器的情况下,该服务器可以与其他具有通信功能且具有摄像头的计算机设备连接,其连接方式可以是有线连接或无线连接,无线连接例如可以为蓝牙连接、无线宽带(Wireless Fidelity,WIFI)连接等。
示例性的,AR设备中呈现AR效果,可以理解为在AR设备中展示融入到现实场景的虚拟对象,可以是直接将虚拟对象的呈现内容渲染出来,并与现实场景融合,比如呈现一套虚拟的茶具,其显示效果是放置在现实场景中的真实桌面上,也可以是将虚拟对象的呈现内容与现实场景画面融合后,展示融合后的显示画面。具体选择何种呈现方式取决于AR设备的设备类型和采用的画面呈现技术,比如,一般地,由于从AR眼镜中可以直接看到现实场景(并非成像后的现实场景画面),因此AR眼镜可以采用直接将虚拟对象的呈现画面渲染出来的呈现方式;对于手机、平板电脑等移动终端设备,由于在移动终端设备中展示的是对现实场景成像后的画面,因此可以采用将现实场景画面与虚拟对象的呈现内容进行融合处理的方式,来展示AR效果。
下面对本公开实施例所涉及的一种AR效果的呈现方法进行详细介绍。
参见图1所示,为本公开实施例所提供的一种AR效果的呈现方法的流程示意图,包括以下几个步骤:
S101、获取AR设备的现实场景画面。
本公开实施例中,该呈现方法可应用在AR设备或者服务器中。当上述呈现方法应用于AR设备中时,可以利用AR设备中的图像采集器件(如摄像头等器件)采集现实场景中的现实场景画面,既可以是通过拍摄图像的方式来采集单帧的现实场景画面,也可以是通过拍摄视频的方式来采集连续多帧的现实场景画面。当上述呈现方法应用于服务器时,可以由AR设备或者其它具备图像采集功能的计算机设备将采集到的单帧或连续多帧现实场景画面发送至服务器中。本公开对图像采集的具体方式以及采集到的图像帧数并不限定。
示例性的,用户可以利用AR设备或者其它计算机设备,置身于现实场景中,实时采集所处于的现实场景中的现实场景画面,比如,用户可以置身于某一展览馆中,在该展览馆中通过实时采集展览馆中各个展示项目的画面,来观看各展示项目的展示内容叠加了虚拟动画后所呈现的AR效果。
S102、对现实场景画面中的文字区域进行识别,得到文字区域描述的故事内容。
本公开实施例中所述现实场景画面,是指由AR设备或其他计算机设备拍摄的现实场景的图像。该现实场景画面中可包括现实场景中至少一种实体对象。比如,对于展览馆中的现实场景画面来说,现实场景画面中包括的实体对象可以为展览馆中的至少一个展示项目,也可以是展示项目对应的文字介绍等。
其中,本公开实施例中并不限定现实场景中实体对象的载体以及展示形式。以实体对象为文字为例,承载文字的载体,既可以是纸张,比如在纸上写明对展示项目的文字介绍,还可以是电子显示屏,比如,在电子显示屏上展示展示项目的文字介绍,当然还可以在墙面中或者某些牌匾上直接写明对应的展示项目的文字介绍。
示例性的,呈现在文字区域的文字介绍,既可以是介绍一种展示项目的名称,也可以是介绍一个展示项目的具体展示内容等,文字介绍既可以是简短的关键词,也可以是较长的一句话或一个段落,本公开对此也不具体限定。
示例性的,呈现在文字区域的文字介绍,可以用于描述故事内容。该故事内容,例如可以是与展示项目的主题相符合的故事内容。比如,展示项目为一个“西游记”主题的展馆,那么,该文字区域的文字介绍可以用于描述“西游记”中出现的故事内容,文字介绍例如可以用“师徒四人去往西天求取佛经”来表示故事内容等。
在该呈现方法应用于AR设备中的情况下,AR设备可以在本地完成文字识别以及获得对应的故事内容的过程,也可以由AR设备将现实场景画面上传至云端的服务器中,然后由服务器完成文字识别以及获得故事内容的过程,并接收服务器返回的与文字区域匹配的故事内容,还可以由服务器完成文字识别过程,由AR设备基于文字识别结果获取对应的故事内容,还可以由AR设备在本地完成文字识别的过程,并将文字识别结果发送给服务器,以获取对应的故事内容。在该呈现方法应用于服务器的情况下,服务器可以在本地完成文字识别并在云端数据库中获取对应的故事内容。
其中,对于现实场景画面中文字识别的具体过程以及得到故事内容的方式,将在后续实施例中给出具体说明。
S103、基于故事内容,获取用于呈现故事内容的画面的虚拟动画信息。
本公开实施例中,可以预先建立故事内容与虚拟动画信息之间的对应关系,进而直接基于故事内容,查找到对应的虚拟动画信息。
其中,虚拟动画信息可以是经渲染工具渲染而成的虚拟动画视频,也可以是用于生成虚拟动画视频所需的渲染参数,还可以是虚拟动画中出现的虚拟对象在多种姿态下的二维或三维模型参数,利用二维或者三维模型参数可以渲染出虚拟对象呈现不同姿态时的虚拟动画效果。比如,在虚拟对象为虚拟人物或虚拟动物的情况下,虚拟动画信息中的虚拟对象的模型参数可以包括虚拟人物或虚拟动物的面部关键点以及肢体关键点等。
本公开实施例,对于虚拟动画信息所呈现的内容并不限定。示例性的,可以呈现虚拟对象的不同姿态的动画效果。虚拟对象可以是二维虚拟对象,也可以是三维虚拟对象。虚拟对象所表征的具体事物可以基于实际场景来确定。例如,虚拟对象可以为虚拟人物、虚拟动物、虚拟物品、虚拟建筑物、虚拟植物、虚拟贴纸、虚拟图画内容中的任一种或者任意组合,本公开对此并不限定。示例性的沿用步骤103中的例子,,展示项目为一个“西游记”主题的展馆,那么,该文字区域的文字介绍可以用于描述“西游记”中出现的故事内容,文字介绍例如可以用“师徒四人去往西天求取佛经”来表示故事内容,相应的,用于呈现故事内容的画面的虚拟动画信息可以是由多帧“师徒四人去往西天求取佛经”相关的视频图像构成的动画视频。
在该呈现方法应用于AR设备的情况下,可以在本地或者在云端获取虚拟动画信息,虚拟动画信息可以相应地存储在本地或者云端。在该呈现方法应用于服务器的情况下,服务器可以直接从存储的虚拟动画信息或者其它网络设备中查找到虚拟动画信息。
S104、在AR设备中展示现实场景画面与虚拟动画信息对应的虚拟动画相结合的AR效果。
在该呈现方法应用于AR设备的情况下,AR设备可以利用渲染工具直接对虚拟动画信息进行渲染,然后在现实场景的设定区域内呈现现实场景画面叠加了虚拟动画之后的AR效果。或者,若虚拟动画信息为已渲染好的虚拟动画的情况下,AR设备可以直接将已渲染好的虚拟动画在现实场景的设定区域进行呈现。
在该呈现方法应用于服务器的情况下,服务器可以将虚拟动画信息发送给AR设备,由AR设备完成渲染以及呈现过程,服务器也可以利用渲染工具对虚拟动画信息进行渲染,然后将生成的虚拟动画发送给AR设备,然后由AR设备完成现实场景画面叠加了虚拟动画之后的AR效果的呈现。或者,服务器也可以从其他网络设备中获取已渲染好的虚拟动画并发送给AR设备,由AR设备呈现现实场景画面叠加了虚拟动画之后的AR效果。
本公开实施例中,可以基于现实场景画面中呈现的文字,确定文字所表述的故事内容,进而通过获取对应故事内容的画面的虚拟动画信息,实现在AR设备中呈现现实场景画面与虚拟动画相结合的AR效果,突破了传统的二维与封闭的三维显示限制,给用户带来一种在现实场景中演绎文字描述的故事内容的AR视觉效果,一方面,能够丰富展览项目的展示形式,另一方面,也能够加深用户对展览项目所展示的内容的印象,进一步提升了用户的视觉体验感。
基于上述实施例的内容,本公开实施例还提供了一种AR效果的呈现方法的示例性说明,参照图2所示,为该示例性说明的具体执行流程图,包括以下步骤:
S201、获取AR设备的现实场景画面。
S202、识别现实场景画面中的文字区域的关键文本。
本公开实施例中,可以借助光学字符识别(Optical Character Recognition,OCR)技术对现实场景画面中的文字区域进行识别。具体的,可以利用预先训练好的文字识别模型,对现实场景画面中的文字区域进行识别,得到文字区域的关键文本。并且,在利用预先训练好的文字识别模型对现实场景画面中的文字区域进行识别之前,还可以对现实场景画面进行预处理,得到预处理后的图像,然后将预处理后的图像输入至预先训练好的文字识别模型中进行识别处理。
其中,上述预处理可以包括但不限于以下处理中的至少一种:灰度化处理、二值化处理、倾斜矫正处理、规范化处理、图像平滑处理。
其中,灰度化处理,可以理解为将采集的现实场景画面由彩色图像变换为灰度图像。由于彩色图像会夹杂一些干扰信息,灰度化处理可以滤除这些干扰信息,将原本由三维描述的像素点,映射为一维描述的像素点。
二值化处理,可以理解为将具有灰度值的图像转化成只有黑(取值为1)和白(取值为0)的二值图像。二值化处理例如可以局部阈值二值化或整体阈值二值化,本公开对此并不限定。
倾斜校正处理,可以通过自动分析图像中文字区域的版面特征,估计文字区域的倾斜角度,并根据倾斜角度对文本区域进行校正。倾斜检测方法有许多种,本公开对此并不限定。
规范化处理,可以理解为将输入的任意尺寸的文字都处理成统一尺寸的标准文字,以便与己经预先存储在字典中的参考模板相匹配。
图像平滑处理,能够去掉笔划上的孤立白点和笔划外部的孤立黑点,以及笔划边缘的凹凸点,使得笔划边缘变得平滑。
本公开实施例中,预处理后的图像可以输入至训练好的文字识别模型中,通过文字识别模型来提取图像中文字区域对应的文字特征,然后对文字特征进行分类识别,分类结果中可得到识别到的文字,进而确定出由至少一个文字构成的关键文本。
此外,提取出的文字特征还可以利用特征匹配的方式来确定匹配的文字。示例性的,可以将提取出的文字特征与已有的特征库中的预设文字的文字特征进行匹配,进而从已有的特征库中找到与待识别文字相似度最高的文字,得到由至少一个文字构成的关键文本。其中,特征匹配的方法有很多,例如欧式空间的比对法、松弛比对法、动态程序比对法等等。
上述实施例中,可以借助预先训练好的文字识别模型来准确且快速的识别文字区域的关键文本,并且,在将现实场景画面输入到文字识别模型进行识别之前,还可以进行一系列的预处理操作,从而提升文字识别准确度以及文字识别效率。
S203、将关键文本与预设文本库中多种预设文本进行匹配,将与关键文本匹配的目标预设文本,确定为文字区域描述的故事内容。
本公开实施例中,预设文本库中可以预先设置好多种预设文本。比如,可以根据不同展示项目的展示主题,分别设置不同主题的预设文本,用于表征不同主题下的故事内容。
示例性的,关键文本与预设文本库中预设文本的匹配,可以通过计算关键文本与预设文本之间的相似度的形式进行匹配,将预设文本库中与关键文本的相似度最高的预设文本,确定为目标预设文本,或者,确定出相似度最高的预设文本之后,若对应的相似度值大于设置阈值,则将相似度最高的预设文本,确定为目标预设文本。进而将目标预设文本所表征的故事内容,作为文字区域描述的故事内容。
在计算相似度的过程中,可以采用多种方式,比如,可以分别提取关键文本的特征信息以及预设文本的特征信息,通过计算特征信息之间的相似度的方式来确定关键文本与预设文本之间的匹配程度。
通过在预设文本库中预先设置好与展示项目相关的多种预设文本,这样,在用户手持AR设备捕捉到现实场景画面时,若识别到现实场景画面中出现关键文本且关键文本与预设文本库中的目标预设文本相匹配,便可以触发后续的AR效果的呈现流程,加强了展示过程中与用户之间的互动,提升用户体验度。
S204、确定与关键文本匹配的目标预设文本的目标第一标识。
本公开实施例中,每一个目标预设文本都可以有对应的目标第一标识,用来标识该目标预设文本所表征的故事内容,其中,该目标第一标识的表现形式,既可以是文字,也可以用数字,还可以用字母等任意一种字符来表示。目标第一标识相当于是目标预设文本的索引号,通过该索引号可以进一步从预设的虚拟动画库中查找到与该索引号对应的目标虚拟动画信息。
S205、从预设的虚拟动画库中获取与目标第一标识对应的目标虚拟动画信息。
其中,预设的虚拟动画库中包括多种虚拟动画信息,每种虚拟动画信息对应有一种第一标识。该第一标识也可以理解为预设文本库中预设文本的第一标识,即索引号。通过第一标识,可以将虚拟动画信息与预设文本库中的预设文本建立起关联,以便查找到与目标第一标识对应的目标虚拟动画信息。
其中,所述目标第一标识与所述目标虚拟动画信息属于同一展示主题。具体实施中,建立关联的虚拟动画信息与预设文本可以同属于一种展示主题,其中,预设文本可以与多种虚拟动画信息建立关联,即,符合某一个展示主题的预设文本,可对应符合该展示主题的多种虚拟动画信息,多种虚拟动画信息的虚拟动画可以按照次序依次进行呈现,也可以随机进行呈现,还可以通过预设的呈现规则来设定多种虚拟动画信息对应的虚拟动画的呈现方式。
该实施例中,通过将虚拟动画信息与预设文本的第一标识建立绑定关系,这样可以结合实际展示项目的展示需求来配置预设文本的第一标识以及对应的虚拟动画信息,比如,按照不同展示项目的不同展示主题,分别配置对应的第一标识,从而能够使得AR效果的呈现形式更为多样化,进一步提升用户体验度。
S206、在AR设备中展示现实场景画面与目标虚拟动画信息对应的虚拟动画相结合的AR效果。
其中,上述示例性说明中,涉及到与在先实施例相关的特征可以参考在先实施例中对相关的特征的解释说明,本公开中不再重复介绍。
以下为本公开实施例的具体应用场景的举例说明。
首先,可以在云端或者本地建立预设文本库,预设文本库中记录有多种预设文本,预设文本例如为关键字,每种预设文本还可以对应的第一标识。
之后,扫描场景。使用手机等自带相机的移动便携式设备对需要叠加AR效果的现实场景进行扫描,这时将相机捕获的视频帧数据发给云端。服务器接收到视频帧数据之后,识别视频帧数据中出现的文字区域中的关键文本,将关键文本与之前建立的预设文本库中的预设文本进行匹配,同时将匹配成功之后的预设文本的第一标识回传给客户端。
进一步地,客户端在拿到预设文本的第一标识之后,可以从云端下载或者本地读取第一标识对应的虚拟动画信息,并利用虚拟动画信息,显示叠加有对应的虚拟动画的AR效果。
例如,现实场景中出现的文本为“西游记”,使用手机扫描之后通过手机屏幕可展示现实场景中出现唐僧师徒4人的三维动画的AR效果。
通过对文本进行语义识别与关键字提取,确定现实场景中想要描述的故事内容,然后根据故事内容确定虚拟动画,在移动便携式设备中展示现实场景画面叠加虚拟动画之后的AR效果,突破了传统的二维与封闭的三维显示限制,给用户带来一种在现实场景中演绎文字描述的故事内容的AR视觉效果,达到了极大的提升了用户体验,同时对了解人物历史故事增加了趣味性,对用户了解历史学习新的知识大有裨益。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思,本公开实施例中还提供了与虚拟对象的展示方法对应的虚拟对象的展示装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述虚拟对象的展示方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图3所示,为本公开实施例提供的一种AR效果的呈现装置的示意图,所述装置包括:第一获取模块31,识别模块32,第二获取模块33以及展示模块34。
第一获取模块31,用于获取增强现实AR设备的现实场景画面;
识别模块32,用于对所述现实场景画面中的文字区域进行识别,得到所述文字区域描述的故事内容;
第二获取模块33,基于所述故事内容,获取用于呈现所述故事内容的画面的虚拟动画信息;
展示模块34,用于在AR设备中展示所述现实场景画面与所述虚拟动画信息对应的虚拟动画相结合的AR效果。
本公开的一些实施例中,所述识别模块32,在对所述现实场景画面中的文字区域进行识别,得到所述文字区域描述的故事内容时,具体用于:
识别所述现实场景画面中的文字区域的关键文本;
将所述关键文本与预设文本库中多种预设文本进行匹配;
将与所述关键文本匹配的目标预设文本,确定为所述文字区域描述的故事内容。
本公开的一些实施例中,所述多种预设文本种每种预设文本对应有一种第一标识;
所述第二获取模块33,在获取与所述故事内容匹配的虚拟动画信息时,具体用于:
确定与所述关键文本匹配的目标预设文本的目标第一标识;
从预设的虚拟动画库中获取与所述目标第一标识对应的目标虚拟动画信息;其中,所述预设的虚拟动画库中包括多种虚拟动画信息,每种虚拟动画信息对应有一种所述第一标识。
本公开的一些实施例中,所述目标第一标识与所述目标虚拟动画信息属于同一展示主题。
本公开实施例中,所述识别模块32,在识别所述现实场景画面中的文字区域的关键文本时,具体用于:
利用预先训练好的文字识别模型,对所述现实场景画面中的文字区域进行识别,得到所述文字区域的关键文本。
本公开实施例中,所述识别模块32,在利用预先训练好的文字识别模型,对所述现实场景画面中的文字区域进行识别,得到所述文字区域的关键文本之前,还用于:
对所述现实场景画面进行预处理,得到预处理后的图像;其中,所述预处理包括以下处理中的至少一种:灰度化处理、二值化处理、倾斜矫正处理、规范化处理、图像平滑处理。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
基于同一技术构思,本公开实施例还提供了一种计算机设备。参照图4所示,为本公开实施例提供的计算机设备的结构示意图,包括:处理器11和存储器12;所述存储器12存储有所述处理器11可执行的机器可读指令,当计算机设备运行时,所述机器可读指令被所述处理器11执行以实现下述步骤:
获取增强现实AR设备的现实场景画面;对所述现实场景画面中的文字区域进行识别,得到所述文字区域描述的故事内容;基于所述故事内容,获取用于呈现所述故事内容的画面的虚拟动画信息;在AR设备中展示所述现实场景画面与所述虚拟动画信息对应的虚拟动画相结合的AR效果。
上述指令的具体执行过程可以参考本公开实施例中所述的AR效果的呈现方法的步骤,此处不再赘述。
此外,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的AR效果的呈现方法的步骤。
本公开实施例所提供的AR效果的呈现方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的增强现实数据呈现方法的步骤,具体可参见上述方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种AR效果的呈现方法,其特征在于,包括:
获取增强现实AR设备的现实场景画面;
对所述现实场景画面中的文字区域进行识别,得到所述文字区域描述的故事内容;
基于所述故事内容,获取用于呈现所述故事内容的画面的虚拟动画信息;
在AR设备中展示所述现实场景画面与所述虚拟动画信息对应的虚拟动画相结合的AR效果。
2.根据权利要求1所述的方法,其特征在于,所述对所述现实场景画面中的文字区域进行识别,得到所述文字区域描述的故事内容,包括:
识别所述现实场景画面中的文字区域的关键文本;
将所述关键文本与预设文本库中多种预设文本进行匹配;
将与所述关键文本匹配的目标预设文本,确定为所述文字区域描述的故事内容。
3.根据权利要求2所述的方法,其特征在于,所述多种预设文本种每种预设文本对应有一种第一标识;
所述获取与所述故事内容匹配的虚拟动画信息,包括:
确定与所述关键文本匹配的目标预设文本的目标第一标识;
从预设的虚拟动画库中获取与所述目标第一标识对应的目标虚拟动画信息;其中,所述预设的虚拟动画库中包括多种虚拟动画信息,每种虚拟动画信息对应有一种所述第一标识。
4.根据权利要求3所述的方法,其特征在于,所述目标第一标识与所述目标虚拟动画信息属于同一展示主题。
5.根据权利要求2所述的方法,其特征在于,所述识别所述现实场景画面中的文字区域的关键文本,包括:
利用预先训练好的文字识别模型,对所述现实场景画面中的文字区域进行识别,得到所述文字区域的关键文本。
6.根据权利要求5所述的方法,其特征在于,在利用预先训练好的文字识别模型,对所述现实场景画面中的文字区域进行识别,得到所述文字区域的关键文本之前,还包括:
对所述现实场景画面进行预处理,得到预处理后的图像;其中,所述预处理包括以下处理中的至少一种:灰度化处理、二值化处理、倾斜矫正处理、规范化处理、图像平滑处理。
7.一种AR效果的呈现装置,其特征在于,包括:
第一获取模块,用于获取增强现实AR设备的现实场景画面;
识别模块,用于对所述现实场景画面中的文字区域进行识别,得到所述文字区域描述的故事内容;
第二获取模块,用于基于所述故事内容,获取用于呈现所述故事内容的画面的虚拟动画信息;
展示模块,用于在AR设备中展示所述现实场景画面与所述虚拟动画信息对应的虚拟动画相结合的AR效果。
8.根据权利要求7所述的装置,其特征在于,所述识别模块,在对所述现实场景画面中的文字区域进行识别,得到所述文字区域描述的故事内容时,具体用于:
识别所述现实场景画面中的文字区域的关键文本;
将所述关键文本与预设文本库中多种预设文本进行匹配;
将与所述关键文本匹配的目标预设文本,确定为所述文字区域描述的故事内容。
9.一种计算机设备,其特征在于,包括:处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,所述机器可读指令被所述处理器执行时,所述处理器执行如权利要求1至6任一项所述的AR效果的呈现方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被计算机设备运行时,所述计算机设备执行如权利要求1至6任意一项所述的AR效果的呈现方法的步骤。
CN202010501362.4A 2020-06-04 2020-06-04 Ar效果的呈现方法、装置、计算机设备及存储介质 Pending CN111638792A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010501362.4A CN111638792A (zh) 2020-06-04 2020-06-04 Ar效果的呈现方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010501362.4A CN111638792A (zh) 2020-06-04 2020-06-04 Ar效果的呈现方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN111638792A true CN111638792A (zh) 2020-09-08

Family

ID=72332489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010501362.4A Pending CN111638792A (zh) 2020-06-04 2020-06-04 Ar效果的呈现方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111638792A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113359985A (zh) * 2021-06-03 2021-09-07 北京市商汤科技开发有限公司 数据展示方法、装置、计算机设备以及存储介质
CN115617222A (zh) * 2022-11-21 2023-01-17 湖南工商大学 一种文创产品vr虚拟展示系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1369823A (zh) * 2001-02-16 2002-09-18 无敌科技(西安)有限公司 从文字到手语的播放方法及其系统
CN104778654A (zh) * 2015-03-10 2015-07-15 湖北大学 非物质文化遗产数字化展示系统及其方法
CN205666036U (zh) * 2016-02-22 2016-10-26 陈进民 基于智能视觉的现场自动讲解系统
CN106126535A (zh) * 2016-06-15 2016-11-16 维沃移动通信有限公司 一种文本的处理方法及终端
CN108550190A (zh) * 2018-04-19 2018-09-18 腾讯科技(深圳)有限公司 增强现实数据处理方法、装置、计算机设备和存储介质
CN108564662A (zh) * 2018-03-26 2018-09-21 湖北大学 一种远距离场景下进行增强现实数字文化内容显示的方法及装置
CN109766801A (zh) * 2018-12-28 2019-05-17 深圳市掌网科技股份有限公司 辅助阅读方法、装置、可读存储介质及混合现实设备
CN110286773A (zh) * 2019-07-01 2019-09-27 腾讯科技(深圳)有限公司 基于增强现实的信息提供方法、装置、设备及存储介质
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1369823A (zh) * 2001-02-16 2002-09-18 无敌科技(西安)有限公司 从文字到手语的播放方法及其系统
CN104778654A (zh) * 2015-03-10 2015-07-15 湖北大学 非物质文化遗产数字化展示系统及其方法
CN205666036U (zh) * 2016-02-22 2016-10-26 陈进民 基于智能视觉的现场自动讲解系统
CN106126535A (zh) * 2016-06-15 2016-11-16 维沃移动通信有限公司 一种文本的处理方法及终端
CN108564662A (zh) * 2018-03-26 2018-09-21 湖北大学 一种远距离场景下进行增强现实数字文化内容显示的方法及装置
CN108550190A (zh) * 2018-04-19 2018-09-18 腾讯科技(深圳)有限公司 增强现实数据处理方法、装置、计算机设备和存储介质
CN109766801A (zh) * 2018-12-28 2019-05-17 深圳市掌网科技股份有限公司 辅助阅读方法、装置、可读存储介质及混合现实设备
CN110286773A (zh) * 2019-07-01 2019-09-27 腾讯科技(深圳)有限公司 基于增强现实的信息提供方法、装置、设备及存储介质
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113359985A (zh) * 2021-06-03 2021-09-07 北京市商汤科技开发有限公司 数据展示方法、装置、计算机设备以及存储介质
CN115617222A (zh) * 2022-11-21 2023-01-17 湖南工商大学 一种文创产品vr虚拟展示系统

Similar Documents

Publication Publication Date Title
CN108073910B (zh) 用于生成人脸特征的方法和装置
US9436883B2 (en) Collaborative text detection and recognition
JP6595714B2 (ja) 動的な効果を有する2次元コード画像を生成するための方法および装置
CN111638796A (zh) 虚拟对象的展示方法、装置、计算机设备及存储介质
CN111640193A (zh) 文字处理方法、装置、计算机设备及存储介质
US11367310B2 (en) Method and apparatus for identity verification, electronic device, computer program, and storage medium
CN112990205B (zh) 手写字符样本的生成方法及装置、电子设备、存储介质
KR101552525B1 (ko) 폰트를 인식하고 폰트정보를 제공하는 시스템 및 그 방법
CN113569840A (zh) 基于自注意力机制的表单识别方法、装置及存储介质
CN111625100A (zh) 图画内容的呈现方法、装置、计算机设备及存储介质
CN111638792A (zh) Ar效果的呈现方法、装置、计算机设备及存储介质
CN111639613A (zh) 一种增强现实ar特效生成方法、装置及电子设备
CN114821004A (zh) 虚拟空间构建方法、虚拟空间构建装置、设备及存储介质
CN111651049B (zh) 交互方法、装置、计算机设备及存储介质
CN112328088B (zh) 图像的呈现方法和装置
KR102234172B1 (ko) 디지털 트윈 책장 제공 장치 및 방법
Beglov Object information based on marker recognition
CN112840622A (zh) 推送方法及相关产品
Jayashree et al. Voice based application as medicine spotter for visually impaired
CN115171673A (zh) 一种基于角色画像的交流辅助方法、装置及存储介质
CN111291758B (zh) 用于识别印章文字的方法和装置
JP7027524B2 (ja) 視覚的入力の処理
CN112070092A (zh) 一种验证码参数的获取方法及装置
Farhath et al. Development of shopping assistant using extraction of text images for visually impaired
CN114118075B (zh) 文本识别方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination