CN107885432A - 一种胎儿三维虚拟现实人机交互方法及系统 - Google Patents

一种胎儿三维虚拟现实人机交互方法及系统 Download PDF

Info

Publication number
CN107885432A
CN107885432A CN201711193611.2A CN201711193611A CN107885432A CN 107885432 A CN107885432 A CN 107885432A CN 201711193611 A CN201711193611 A CN 201711193611A CN 107885432 A CN107885432 A CN 107885432A
Authority
CN
China
Prior art keywords
fetus
user
information
man
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711193611.2A
Other languages
English (en)
Inventor
汤洁
倪勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Libao Information Technology Co Ltd
Original Assignee
Hangzhou Libao Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Libao Information Technology Co Ltd filed Critical Hangzhou Libao Information Technology Co Ltd
Priority to CN201711193611.2A priority Critical patent/CN107885432A/zh
Publication of CN107885432A publication Critical patent/CN107885432A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/048023D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开一种胎儿三维虚拟现实人机交互方法及系统。所述方法包括:根据胎儿的发育时间确定对应的胎儿三维模型;确定三维模型的显示方位信息,所述显示方位信息用于表示所述胎儿三维模型在二维显示区域上显示的方位;根据显示方位信息显示三维模型在二维显示区域的平面图像;在所述平面图像上确定人机交互点的显示位置;在所述显示位置上显示所述人机交互点;获取用户对所述人机交互点的第一操作;根据所述第一操作显示所述胎儿在所述人机交互点的生长发育信息。本发明提供的方法和系统,实现用户与胎儿在虚拟现实中的互动。另外,将生长发育信息显示在胎儿的具体位置,使效果更加直观。

Description

一种胎儿三维虚拟现实人机交互方法及系统
技术领域
本发明涉及人机交互领域,特别是涉及一种胎儿三维虚拟现实人机交互方法及系统。
背景技术
目前母婴APP行业中,以“宝宝树孕育”、“柚宝宝”为代表的备孕期女性用户正在使用的孕期APP应用产品,是以文字描述、插画展示、3D小视频来描述胎宝发育过程的280天(40孕周)内容。
宝宝树孕育APP,是以文字和插画来描述孕期280天胎宝宝生长发育内容,用户只是阅读上述文字内容,看一下对应自己孕周的胎儿插画,没有任何形式的交互;
柚宝宝APP,在文字描述孕期胎儿发育基础上,添加了初级3D效果小视频来展示每周胎宝宝生长发育情况,但用户只可以看,完全不可以交互,没有参与感,不可以和胎宝宝交互。
发明内容
本发明的目的是提供一种胎儿三维虚拟现实人机交互方法及系统,用以实现用户与胎儿的虚在拟现实中的互动。
为实现上述目的,本发明提供了如下方案:
一种胎儿三维虚拟现实人机交互方法,所述方法包括:
根据胎儿的发育时间确定对应的胎儿三维模型;
确定所述胎儿三维模型的显示方位信息,所述显示方位信息用于表示所述胎儿三维模型在二维显示区域上显示的方位;
根据所述显示方位信息显示所述胎儿三维模型在所述二维显示区域的平面图像;
在所述平面图像上确定人机交互点的显示位置;
在所述显示位置上显示所述人机交互点;
获取用户对所述人机交互点的第一操作;
根据所述第一操作显示所述胎儿在所述人机交互点的生长发育信息。
可选的,所述确定所述胎儿三维模型的显示方位信息,具体包括:
获取用户在触控设备上的第二操作;所述第二操作为用户在所述触控设备上的滑动操作;
确定所述第二操作的方向;
确定所述第二操作的距离;
根据所述距离确定所述胎儿三维模型的旋转角度;
根据所述方向确定所述胎儿三维模型的旋转方向。
可选的,所述确定所述第二操作的方向具体包括:
获取所述第二操作在所述触控设备的触控区域的运动轨迹;
确定所述运动轨迹与所述二维显示区域的基准线的夹角;
可选的,所述确定所述第二操作的距离,具体包括:
获取所述第二操作的起点坐标;
获取所述第二操作的终点坐标;
确定所述起点坐标与所述终点坐标之间的距离。
可选的,所述方法还包括:
获取用户在触控设备上的第三操作;
确定所述第三操作对应的胎儿图像区域;
确定所述胎儿图像区域对应的胎儿的身体部位;
获取所述胎儿的生长发育情况;
根据所述生长发育情况确定所述身体部位对应的反馈信息;
根据所述反馈信息显示动态胎儿图像。
可选的,在所述根据胎儿的发育时间确定对应的胎儿三维模型之前,还包括:
根据医学研究资料按照时间顺序制作多张胎儿三维模型,每个所述胎儿三维模型分别对应不同孕期天数的胎儿发育情况。
可选的,所述方法还包括:
获取用户输入的食材种类;
根据所述食材种类确定多个营养菜谱并显示给用户;
根据用户选择的营养菜谱为用户提供营养信息;所述营养信息包括营养成分、热量、矿物质和微量元素中的至少一种。
可选的,所述第一操作为点击和长按。
可选的,所述根据所述第一操作显示所述胎儿在所述人机交互点的生长发育信息具体包括:
根据所述第一操作以文字、音频和/或视频的方式显示所述胎儿在所述人机交互点的生长发育信息。
可选的,所述方法还包括:
在显示屏上显示提示信息,所述提示信息用于提示用户进行语音输入;
获取用户的语音信息;
将所述语音信息与所述提示信息对应存储。
可选的,在所述获取用户的语音信息之后,还包括:
按照语义将所述语音信息分解为多个词语;
确定至少一个所述词语为所述语音信息的关键字;
对所述关键字进行检索,得到检索结果;
根据所述检索结果确定针对所述语音信息的反馈结果;
显示所述反馈结果。
奔放还提供了一种胎儿三维虚拟现实人机交互系统,所述系统包括:
胎儿三维模型确定模块,其用于根据胎儿的发育时间确定对应的胎儿三维模型;
显示方位信息确定模块,其用于确定所述胎儿三维模型的显示方位信息,所述显示方位信息用于表示所述胎儿三维模型在二维显示区域上显示的方位;
平面图像显示模块,其用于根据所述显示方位信息显示所述胎儿三维模型在所述二维显示区域的平面图像;
显示位置确定模块,其用于在所述平面图像上确定人机交互点的显示位置;
人机交互点显示模块,其用于在所述显示位置上显示所述人机交互点;
第一操作获取模块,其用于获取用户对所述人机交互点的第一操作;
生长发育信息显示模块,其用于根据所述第一操作显示所述胎儿在所述人机交互点的生长发育信息。
可选的,所述显示方位信息确定模块,具体包括:
第二操作获取单元,其用于获取用户在触控设备上的第二操作;所述第二操作为用户在所述触控设备上的滑动操作;
方向确定单元,其用于确定所述第二操作的方向;
距离确定单元,其用于确定所述第二操作的距离;
旋转角度确定单元,其用于根据所述距离确定所述胎儿三维模型的旋转角度;
旋转方向确定单元,其用于根据所述方向确定所述胎儿三维模型的旋转方向。
可选的,所述方向确定单元,具体包括:
运动轨迹获取子单元,其用于获取所述第二操作在所述触控设备的触控区域的运动轨迹;
夹角确定子单元,其用于确定所述运动轨迹与所述二维显示区域的基准线的夹角。
可选的,所述距离确定单元,具体包括:
起点坐标子单元,其用于获取所述第二操作的起点坐标;
终点坐标子单元,其用于获取所述第二操作的终点坐标;
距离确定子单元,其用于确定所述起点坐标与所述终点坐标之间的距离。
可选的,所述系统还包括:
第三操作获取模块,其用于获取用户在触控设备上的第三操作;获取用户在触控设备上的第三操作;
胎儿图像区域确定模块,其用于确定所述第三操作对应的胎儿图像区域;
身体部位确定模块,其用于确定所述胎儿图像区域对应的胎儿的身体部位;
生长发育情况获取模块,其用于获取所述胎儿的生长发育情况;
反馈信息确定模块,其用于根据所述生长发育情况确定所述身体部位对应的反馈信息;
动态胎儿图像显示模块,其用于根据所述反馈信息显示动态胎儿图像。
可选的,所述系统还包括:
胎儿三维模型制作模块,其用于根据医学研究资料按照时间顺序制作多张胎儿三维模型,每个所述胎儿三维模型分别对应不同孕期天数的胎儿发育情况。
可选的,所述系统还包括:
食材种类获取模块,其用于获取用户输入的食材种类;
营养菜谱确定模块,其用于根据所述食材种类确定多个营养菜谱并显示给用户;
营养信息提供模块,其用于根据用户选择的营养菜谱为用户提供营养信息;所述营养信息包括营养成分、热量、矿物质和微量元素中的至少一种。
可选的,所述第一操作为点击和长按。
可选的,所述生长发育信息显示模块,具体用于根据所述第一操作以文字、音频和/或视频的方式显示所述胎儿在所述人机交互点的生长发育信息。
可选的,所述系统还包括:
提示信息显示模块,其用于在显示屏上显示提示信息,所述提示信息用于提示用户进行语音输入;
语音信息获取模块,其用于获取用户的语音信息;
存储模块,其用于将所述语音信息与所述提示信息对应存储。
可选的,所述系统还包括:
词语分解模块,其用于按照语义将所述语音信息分解为多个词语;
关键字确定模块,其用于确定至少一个所述词语为所述语音信息的关键字;
检索模块,其用于对所述关键字进行检索,得到检索结果;
反馈结果确定模块,其用于根据所述检索结果确定针对所述语音信息的反馈结果;
反馈结果显示模块,其用于显示所述反馈结果。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明提供了一种胎儿三维虚拟现实人机交互方法,在胎儿三维模型上的具体位置显示相应的人机交互点,当用户对人机交互点提示进行操作以后,胎儿的生长发育信息才会进行展示,通过上述方法,实现用户与胎儿在虚拟现实中的互动。另外,将生长发育信息显示在胎儿的具体位置,使效果更加直观。
另外,用户可以利用本发明提供的方法对胎儿三维模型进行旋转操作,模型可放大可缩小、可以360度无死角旋转,用户完全从自我的、自主的角度去观察胎儿模型,真正做到看得到、摸得到,增加了用户与胎儿的互动。
另外,用户可以根据自己的喜好对胎儿模型进行触摸操作,胎儿会有相应的反应,比如摸到胎儿心脏的位置,会听到胎儿心跳的声音,摸到胎儿的手和脚的位置,手和脚会做出相应的动作。
本发明还提供了一种营养菜谱的营养分析信息,根据用户输入的菜谱,为用户分析该菜谱的营养成分、热量、矿物质和微量元素中的至少一种,为用户提供一个营养参考。
本发明提供的方法还可以记录用户与胎儿的语音互动信息,并将语音信息记录下来。通过提取用户语音信息的关键字,系统将预存的关于该关键字的信息反馈给客户。
本发明的互动点包括胎教点、生理生长知识点、情感互动点,将这些互动点以文字、语音和视频的方式呈现给客户,增加了客户的直观感受,增进了孕妈妈与胎儿的感情。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的胎儿三维虚拟现实人机交互方法实施例1的流程图;
图2为本发明的胎儿三维虚拟现实人机交互方法实施例2的流程图;
图3为本发明的胎儿三维虚拟现实人机交互方法实施例3的流程图;
图4为本发明的胎儿三维虚拟现实人机交互方法实施例4的流程图;
图5为本发明的胎儿三维虚拟现实人机交互方法实施例5的流程图;
图6为本发明的胎儿三维虚拟现实人机交互系统实施例的结构图;
图7为以文字方式展示生长发育信息的屏幕展示图;
图8为以语音方式展示生长发育信息的屏幕展示图;
图9为将胎儿三维模型向屏幕左侧旋转后的二维平面图像;
图10为将胎儿三维模型向屏幕上侧旋转后的二维平面图像;
图11为将胎儿三维模型缩小后的二维平面图像;
图12为提醒用户输入食材的界面;
图13为用户进行食材输入的界面;
图14为系统向用户提供营养菜谱的界面;
图15为系统向用户提供营养信息的界面。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有的母婴APP不能实现用户与胎儿的互动,针对这个技术问题,本发明提供了一种应用于母婴APP的胎儿三维虚拟现实人机交互方法,通过在平面图像上设置人机交互点,当用户对所述人机交互点进行操作以后,系统才会将生长发育信息展现在屏幕上。本发明提供的方法一次只显示一个生长发育信息,当一个生长发育信息展现完成以后,才会对下一个人机交互点进行提示。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
本发明提供了一种胎儿三维虚拟现实人机交互方法,图1为本发明的胎儿三维虚拟现实人机交互方法实施例1的流程图。如图1所示,所述方法包括:
步骤101,根据胎儿的发育时间确定对应的胎儿三维模型。
用户可以根据自己的实际情况,输入怀孕时间,系统软件每天会呈现出与胎儿的发育时间相一致的胎儿三维模型。其中,胎儿三维模型是根据医学研究资料按照时间顺序运用多维虚拟现实技术制作的,每个胎儿三维模型分别对应不同孕期天数的胎儿发育情况。
步骤102,确定所述胎儿三维模型的显示方位信息,所述显示方位信息用于表示所述胎儿三维模型在二维显示区域上显示的方位。
步骤103,根据所述显示方位信息显示所述胎儿三维模型在所述二维显示区域的平面图像。
步骤104,在所述平面图像上确定人机交互点的显示位置。
所述人机交互点可以为各种颜色的圆点,闪烁的点,以起到提示作用。
步骤105,在所述显示位置上显示所述人机交互点。具体有以下两种实现方式:1、首先将人机交互点显示在胎儿三维模型上,将三维模型转换到平面图像的过程时,直接根据坐标转换将人机交互点显示在平面图像上;2、首先确定人机交互点在胎儿三维模型中显示的具体位置,例如人机交互点显示在头的位置,那么,将三维模型转换成平面图像后,直接在平面图像中头的位置显示该人机交互点。
步骤106,获取用户对所述人机交互点的第一操作。所述第一操作可以是双击所述人机交互点,还可以是单击所述人机交互点,还可以是长按所述人机交互点,当然这些都可以根据实际需要进行设置。
步骤107,根据所述第一操作显示所述胎儿在所述人机交互点的生长发育信息。
可选的,上述生长发育信息可以通过不同形式显示在显示屏上,例如文字、音频和/或视频。
上述实施例1提供的方法,只能解决在一个平面图像上展示尽可能多的生长发育信息,但是一个平面图像的信息量是一定的,怎样才能进一步显示更多的信息呢?为此,发明人在解决问题的过程中,发现可以通过提供一个可旋转的三维模型,三维模型的每个点都可以作为生长发育信息的显示位置,以此可以提供更多的知识点。具体,还发明在上述方法的基础上还提供了以下方法:
当电子设备的显示屏显示的胎儿三维模型的画面不是用户想看到的时候用户可以对触摸屏进行滑动操作,将用户最想看到的胎儿的位置显示在显示屏上。所述步骤102,确定所述胎儿三维模型的显示方位信息,可以包括以下步骤:
步骤A1,获取用户在触控设备上的第二操作;所述第二操作为用户在所述触控设备上的滑动操作。
步骤A2,确定所述第二操作的方向。具体可以包括:
步骤A21,获取所述第二操作在所述触控设备的触控区域的运动轨迹;
步骤A22,确定所述运动轨迹与所述二维显示区域的基准线的夹角。
步骤A3,确定所述第二操作的距离,具体可以包括:
步骤A31,获取所述第二操作的起点坐标;
步骤A32,获取所述第二操作的终点坐标;
步骤A33,确定所述起点坐标与所述终点坐标之间的距离。
以显示屏的一条边为极坐标轴,第二操作(在屏幕上消失的方向)与极坐标轴的夹角定义为所述第二操作的方向,第二操作的起点到终点的长度即为第二操作的距离。
步骤A4,根据所述方向确定所述胎儿三维模型的旋转方向。
步骤A5,根据所述距离确定所述胎儿三维模型的旋转角度。
以胎儿三维模型的中心为旋转点,根据用户的操作,旋转一定的方向和角度。另外,用户还可以根据对应的操作对胎儿三维模型进行放大和缩小,可以更好的展现图像的细节,以满足用户的最佳观看效果。
实施例2
本发明实施例2提供的胎儿三维虚拟现实人机交互方法在实施例1的基础上,还可以包括:
步骤201,获取用户在触控设备上的第三操作;确定所述第三操作对应的胎儿图像区域;
步骤202,确定所述第三操作对应的胎儿图像区域;
步骤203,确定所述胎儿图像区域对应的胎儿的身体部位;
步骤204,获取所述胎儿的生长发育情况;
步骤205,根据所述生长发育情况确定所述身体部位的反馈信息;
步骤206,根据所述反馈信息显示动态胎儿图像。具体可以包括:
步骤B1,根据所述身体部位在显示屏上的显示方式确定所述反馈信息的表现形式;
步骤B2,以所述表现形式显示所述反馈信息。
具体的实施方式可以为:用户触摸胎儿心脏的位置,终端设备会以音频的方式播放心跳声;用户触摸胎儿手的位置,显示屏上会动态显示手抓东西的动作;用户触摸胎儿头的位置,显示屏上会动态显示头转动的动作等等。
用户可以根据自己的喜好对胎儿模型进行触摸操作,胎儿会有相应的反应,比如摸到胎儿心脏的位置,会听到胎儿心跳的声音,摸到胎儿的手和脚的位置,手和脚会做出相应的动作。
实施例3
实施例3提供的胎儿三维虚拟现实人机交互方法在实施例1的基础上,又为用户提供了一项新的功能,具体包括:
步骤301,获取用户输入的食材种类;
步骤302,根据所述食材种类确定多个营养菜谱并显示给用户;
步骤303,根据用户选择的营养菜谱为用户提供营养信息;所述营养信息包括营养成分、热量、矿物质和微量元素中的至少一种。
例如,用户输入牛肉,系统会提供几个菜谱:洋葱牛肉、青椒牛肉和土豆炖牛肉,用户可以任意选择其中的一个,系统会对用户选择的菜谱进行营养分析,如“妈咪,我获得了107.43大卡热量,11.06克蛋白质,1.94克脂肪,并且还吸收了维生素A、维生素C、胡萝卜素、镁、钙、铁等多种微量元素,我正在快快地成长哦!”。用户通过和胎儿进行上述互动,能够了解胎儿能够从自己进食的食物中获得多少营养物质。
实施例4
实施例4提供的胎儿三维虚拟现实人机交互方法在实施例1的基础上,又为用户提供了一项语音交互的功能,所述胎儿三维虚拟现实人机交互方法还可以包括:
步骤401,在显示屏上显示提示信息,所述提示信息用于提示用户进行语音输入;
步骤402,获取用户的语音信息;
步骤403,将所述语音信息与所述提示信息对应存储。
可选的,胎儿三维虚拟现实人机交互方法还可以包括:
步骤404,按照语义将所述语音信息分解为多个词语;
步骤405,确定至少一个所述词语为所述语音信息的关键字;
步骤406,对所述关键字进行检索,得到检索结果;
步骤407,根据所述检索结果确定针对所述语音信息的反馈结果;
步骤408,显示所述反馈结果。
本实施例提供的上述方法,可以识别用户的语音信息,并根据用户的语音信息进行简单的交流。比如,用户问:宝宝,你今天正在发育的器官是什么呀?系统会根据系统里预埋的信息,对用户的信息进行反馈:妈咪,我的消化系统正在有条不紊的进行细胞分裂。
用户还可以将一些在孕期发生的比较有意思的、有纪念价值的事情记录下来,等宝宝长大了,给宝宝进行播放。
实施例5
图5为本发明的胎儿三维虚拟现实人机交互方法实施例5的流程图。如图5所示,所述显示方法包括:
步骤501,根据胎儿的发育时间确定对应的胎儿三维模型;
步骤502,获取用户在触控设备上的第二操作;所述第二操作为用户在所述触控设备上的滑动操作。
步骤503,获取所述第二操作在所述触控设备的触控区域的运动轨迹;
步骤504,确定所述运动轨迹与所述二维显示区域的基准线的夹角;
步骤505,获取所述第二操作的起点坐标;
步骤506,获取所述第二操作的终点坐标;
步骤507,确定所述起点坐标与所述终点坐标之间的距离;
步骤508,根据所述距离确定所述胎儿三维模型的旋转角度;
步骤509,根据所述方向确定所述胎儿三维模型的旋转方向;
步骤510,根据所述旋转角度和所述旋转反向显示所述胎儿三维模型在所述二维显示区域的平面图像;
步骤511,在所述平面图像上确定人机交互点的显示位置;
步骤512,在所述显示位置上显示所述人机交互点;
步骤513,获取用户对所述人机交互点的第一操作;
步骤514,根据所述第一操作显示所述胎儿在所述人机交互点的生长发育信息;
步骤515,获取用户在触控设备上的第三操作;
步骤516,确定所述第三操作对应的胎儿图像区域;
步骤517,确定所述胎儿图像区域对应的胎儿的身体部位;
步骤518,获取所述胎儿的生长发育情况;
步骤519,根据所述生长发育情况确定所述身体部位对应的反馈信息;
步骤520,根据所述反馈信息显示动态胎儿图像。
本发明的实施例5提供了一种胎儿三维虚拟现实人机交互方法,在胎儿三维模型上的具体位置显示相应的人机交互点,当用户对人机交互点提示进行操作以后,生长发育信息才会进行展示,通过上述方法,实现用户与胎儿在虚拟现实中的互动。另外,将生长发育信息显示在胎儿的具体位置,使效果更加直观。
另外,用户可以利用本发明提供的方法对胎儿三维模型进行旋转操作,模型可放大可缩小、可以360度无死角旋转,用户完全从自我的、自主的角度去观察胎儿模型,真正做到看得到、摸得到,增加了用户与胎儿的互动。
另外,用户可以根据自己的喜好对胎儿模型进行触摸操作,胎儿会有相应的反应,比如摸到胎儿心脏的位置,会听到胎儿心跳的声音,摸到胎儿的手和脚的位置,手和脚会做出相应的动作。
本发明还提供了一种胎儿三维虚拟现实人机交互系统,图6为本发明的人机交互系统实施例的结构图。如图6所示,所述人机交互系统包括:
胎儿三维模型模块601,其用于根据胎儿的发育时间确定对应的胎儿三维模型;
显示方位信息确定模块602,其用于确定所述胎儿三维模型的显示方位信息,所述显示方位信息用于表示所述胎儿三维模型在二维显示区域上显示的方位;
平面图像显示模块603,其用于根据所述显示方位信息显示所述胎儿三维模型在所述二维显示区域的平面图像;
显示位置确定模块604,其用于在所述平面图像上确定人机交互点的显示位置;
人机交互点显示模块605,其用于在所述显示位置上显示所述人机交互点;
第一操作获取模块606,其用于获取用户对所述人机交互点的第一操作;
生长发育信息显示模块607,其用于根据所述第一操作显示所述胎儿在所述人机交互点的生长发育信息。
可选的,所述生长发育信息显示模块607,具体用于以文字、音频和/或视频的方式根据所述第一操作显示所述胎儿在所述人机交互点的生长发育信息。
可选的,所述系统还包括:胎儿三维模型制作模块608,其用于根据医学研究资料按照时间顺序制作多张胎儿三维模型,每个所述胎儿三维模型分别对应不同孕期天数的胎儿发育情况。
本发明提供的人机交互系统用3DMAX软件制作3D多维胎宝宝的建模、渲染、烘焙、骨骼动画等特效和视频。并且运用WEBGL引擎将3DMAX多维胎宝宝模型在互联网移动端进行展示。基于WEBGL的3D展示可以由纯js完成,WebGL完美地解决了现有的Web交互式三维动画的两个问题:1、它通过HTML脚本(H5)本身实现Web交互式三维动画的制作,无需任何浏览器插件支持;2、它利用底层的图形硬件加速功能进行的图形渲染,是通过统一的、标准的、跨平台的OpenGL接口实现的非常适合H5的互联网移动时代。
可选的,所述显示方位信息确定模块602,具体包括:
第二操作获取单元,其用于获取用户在触控设备上的第二操作;所述第二操作为用户在所述触控设备上的滑动操作;
方向确定单元,其用于确定所述第二操作的方向;
距离确定单元,其用于确定所述第二操作的距离;
旋转角度确定单元,其用于根据所述距离确定所述胎儿三维模型的旋转角度;
旋转方向确定单元,其用于根据所述方向确定所述胎儿三维模型的旋转方向。
本发明的系统实现的部分功能如图7-图15所示。图7为以文字方式展示生长发育信息的屏幕展示图;图8为以语音方式展示生长发育信息的屏幕展示图;图9为将胎儿三维模型向屏幕左侧旋转后的二维平面图像;图10为将胎儿三维模型向屏幕上侧旋转后的二维平面图像;图11为将胎儿三维模型缩小后的二维平面图像;图12为提醒用户输入食材的界面;图13为用户进行食材输入的界面;图14为系统向用户提供营养菜谱的界面;图15为系统向用户提供营养信息的界面。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。本发明要求保护的方法的顺序不限于权利要求里面所限定的方法,本领域技术人员可以很容易想到根据具体的需要,调整步骤的顺序。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (22)

1.一种胎儿三维虚拟现实人机交互方法,其特征在于,所述方法包括:
根据胎儿的发育时间确定对应的胎儿三维模型;
确定所述胎儿三维模型的显示方位信息,所述显示方位信息用于表示所述胎儿三维模型在二维显示区域上显示的方位;
根据所述显示方位信息显示所述胎儿三维模型在所述二维显示区域的平面图像;
在所述平面图像上确定人机交互点的显示位置;
在所述显示位置上显示所述人机交互点;
获取用户对所述人机交互点的第一操作;
根据所述第一操作显示所述胎儿在所述人机交互点的生长发育信息。
2.根据权利要求1所述的方法,其特征在于,所述确定所述胎儿三维模型的显示方位信息,具体包括:
获取用户在触控设备上的第二操作,所述第二操作为用户在所述触控设备上的滑动操作;
确定所述第二操作的方向;
确定所述第二操作的距离;
根据所述距离确定所述胎儿三维模型的旋转角度;
根据所述方向确定所述胎儿三维模型的旋转方向。
3.根据权利要求2所述的方法,其特征在于,所述确定所述第二操作的方向具体包括:
获取所述第二操作在所述触控设备的触控区域的运动轨迹;
确定所述运动轨迹与所述二维显示区域的基准线的夹角。
4.根据权利要求2所述的方法,其特征在于,所述确定所述第二操作的距离,具体包括:
获取所述第二操作的起点坐标;
获取所述第二操作的终点坐标;
确定所述起点坐标与所述终点坐标之间的距离。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取用户在触控设备上的第三操作;
确定所述第三操作对应的胎儿图像区域;
确定所述胎儿图像区域对应的胎儿的身体部位;
获取所述胎儿的生长发育情况;
根据所述生长发育情况确定所述身体部位对应的反馈信息;
根据所述反馈信息显示动态胎儿图像。
6.根据权利要求1所述的方法,其特征在于,在所述根据胎儿的发育时间确定对应的胎儿三维模型之前,还包括:
根据医学研究资料按照时间顺序制作多张胎儿三维模型,每个所述胎儿三维模型分别对应不同孕期天数的胎儿发育情况。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取用户输入的食材种类;
根据所述食材种类确定多个营养菜谱并显示给用户;
根据用户选择的营养菜谱为用户提供营养信息,所述营养信息包括营养成分、热量、矿物质和微量元素中的至少一种。
8.根据权利要求1所述的方法,其特征在于,所述第一操作为点击和长按。
9.根据权利要求1所述的方法,其特征在于,所述根据所述第一操作显示所述胎儿在所述人机交互点的生长发育信息,具体包括:
根据所述第一操作以文字、音频和/或视频的方式显示所述胎儿在所述人机交互点的生长发育信息。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在显示屏上显示提示信息,所述提示信息用于提示用户进行语音输入;
获取用户的语音信息;
将所述语音信息与所述提示信息对应存储。
11.根据权利要求10所述的方法,其特征在于,在所述获取用户的语音信息之后,还包括:
按照语义将所述语音信息分解为多个词语;
确定至少一个所述词语为所述语音信息的关键字;
对所述关键字进行检索,得到检索结果;
根据所述检索结果确定针对所述语音信息的反馈结果;
显示所述反馈结果。
12.一种胎儿三维虚拟现实人机交互系统,其特征在于,所述系统包括:
胎儿三维模型确定模块,其用于根据胎儿的发育时间确定对应的胎儿三维模型;
显示方位信息确定模块,其用于确定所述胎儿三维模型的显示方位信息,所述显示方位信息用于表示所述胎儿三维模型在二维显示区域上显示的方位;
平面图像显示模块,其用于根据所述显示方位信息显示所述胎儿三维模型在所述二维显示区域的平面图像;
显示位置确定模块,其用于在所述平面图像上确定人机交互点的显示位置;
人机交互点显示模块,其用于在所述显示位置上显示所述人机交互点;
第一操作获取模块,其用于获取用户对所述人机交互点的第一操作;
生长发育信息显示模块,其用于根据所述第一操作显示所述胎儿在所述人机交互点的生长发育信息。
13.根据权利要求12所述的系统,其特征在于,所述显示方位信息确定模块,具体包括:
第二操作获取单元,其用于获取用户在触控设备上的第二操作;所述第二操作为用户在所述触控设备上的滑动操作;
方向确定单元,其用于确定所述第二操作的方向;
距离确定单元,其用于确定所述第二操作的距离;
旋转角度确定单元,其用于根据所述距离确定所述胎儿三维模型的旋转角度;
旋转方向确定单元,其用于根据所述方向确定所述胎儿三维模型的旋转方向。
14.根据权利要求13所述的系统,其特征在于,所述方向确定单元,具体包括:
运动轨迹获取子单元,其用于获取所述第二操作在所述触控设备的触控区域的运动轨迹;
夹角确定子单元,其用于确定所述运动轨迹与所述二维显示区域的基准线的夹角。
15.根据权利要求13所述的系统,其特征在于,所述距离确定单元,具体包括:
起点坐标子单元,其用于获取所述第二操作的起点坐标;
终点坐标子单元,其用于获取所述第二操作的终点坐标;
距离确定子单元,其用于确定所述起点坐标与所述终点坐标之间的距离。
16.根据权利要求12所述的系统,其特征在于,所述系统还包括:
第三操作获取模块,其用于获取用户在触控设备上的第三操作;获取用户在触控设备上的第三操作;
胎儿图像区域确定模块,其用于确定所述第三操作对应的胎儿图像区域;
身体部位确定模块,其用于确定所述胎儿图像区域对应的胎儿的身体部位;
生长发育情况获取模块,其用于获取所述胎儿的生长发育情况;
反馈信息确定模块,其用于根据所述生长发育情况确定所述身体部位对应的反馈信息;
动态胎儿图像显示模块,其用于根据所述反馈信息显示动态胎儿图像。
17.根据权利要求12所述的系统,其特征在于,所述系统还包括:
胎儿三维模型制作模块,其用于根据医学研究资料按照时间顺序制作多张胎儿三维模型,每个所述胎儿三维模型分别对应不同孕期天数的胎儿发育情况。
18.根据权利要求12所述的系统,其特征在于,所述系统还包括:
食材种类获取模块,其用于获取用户输入的食材种类;
营养菜谱确定模块,其用于根据所述食材种类确定多个营养菜谱并显示给用户;
营养信息提供模块,其用于根据用户选择的营养菜谱为用户提供营养信息;所述营养信息包括营养成分、热量、矿物质和微量元素中的至少一种。
19.根据权利要求12所述的系统,其特征在于,所述第一操作为点击和长按。
20.根据权利要求12所述的系统,其特征在于,所述生长发育信息显示模块,其具体用于根据所述第一操作以文字、音频和/或视频的方式显示所述胎儿在所述人机交互点的生长发育信息。
21.根据权利要求12所述的系统,其特征在于,所述系统还包括:
提示信息显示模块,其用于在显示屏上显示提示信息,所述提示信息用于提示用户进行语音输入;
语音信息获取模块,其用于获取用户的语音信息;
存储模块,其用于将所述语音信息与所述提示信息对应存储。
22.根据权利要求21所述的系统,其特征在于,所述系统还包括:
词语分解模块,其用于按照语义将所述语音信息分解为多个词语;
关键字确定模块,其用于确定至少一个所述词语为所述语音信息的关键字;
检索模块,其用于对所述关键字进行检索,得到检索结果;
反馈结果确定模块,其用于根据所述检索结果确定针对所述语音信息的反馈结果;
反馈结果显示模块,其用于显示所述反馈结果。
CN201711193611.2A 2017-11-24 2017-11-24 一种胎儿三维虚拟现实人机交互方法及系统 Pending CN107885432A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711193611.2A CN107885432A (zh) 2017-11-24 2017-11-24 一种胎儿三维虚拟现实人机交互方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711193611.2A CN107885432A (zh) 2017-11-24 2017-11-24 一种胎儿三维虚拟现实人机交互方法及系统

Publications (1)

Publication Number Publication Date
CN107885432A true CN107885432A (zh) 2018-04-06

Family

ID=61775112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711193611.2A Pending CN107885432A (zh) 2017-11-24 2017-11-24 一种胎儿三维虚拟现实人机交互方法及系统

Country Status (1)

Country Link
CN (1) CN107885432A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109407942A (zh) * 2018-11-02 2019-03-01 深圳市天诺泰安健康信息技术有限公司 一种模型处理方法、装置、控制客户端及存储介质
CN109993837A (zh) * 2019-04-11 2019-07-09 山东数字人科技股份有限公司 一种胚胎学资料的展示方法和展示系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770324A (zh) * 2008-12-31 2010-07-07 商泰软件(上海)有限公司 一种实现三维图形界面互动式操作的方法
CN102508562A (zh) * 2011-11-03 2012-06-20 深圳超多维光电子有限公司 一种立体交互系统
CN103559242A (zh) * 2013-10-28 2014-02-05 华为终端有限公司 语音输入信息的方法及终端设备
WO2016001667A1 (en) * 2014-07-02 2016-01-07 Ultrasound Baby Face Ltd Method of creating a subsurface 3d engraving in a crystal
CN106372258A (zh) * 2016-10-11 2017-02-01 珠海格力电器股份有限公司 菜谱提示方法、装置及具有该装置的终端设备
CN106648355A (zh) * 2016-11-07 2017-05-10 成都华域天府数字科技有限公司 3d模型选择方法及装置
CN106774821A (zh) * 2016-11-08 2017-05-31 广州视源电子科技股份有限公司 基于虚拟现实技术的显示方法和系统
US20170164928A1 (en) * 2015-12-10 2017-06-15 Samsung Medison Co., Ltd. Ultrasound apparatus and method of displaying ultrasound images
CN107368189A (zh) * 2017-07-14 2017-11-21 信利光电股份有限公司 一种实现三维触控功能的触控显示装置及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770324A (zh) * 2008-12-31 2010-07-07 商泰软件(上海)有限公司 一种实现三维图形界面互动式操作的方法
CN102508562A (zh) * 2011-11-03 2012-06-20 深圳超多维光电子有限公司 一种立体交互系统
CN103559242A (zh) * 2013-10-28 2014-02-05 华为终端有限公司 语音输入信息的方法及终端设备
WO2016001667A1 (en) * 2014-07-02 2016-01-07 Ultrasound Baby Face Ltd Method of creating a subsurface 3d engraving in a crystal
US20170164928A1 (en) * 2015-12-10 2017-06-15 Samsung Medison Co., Ltd. Ultrasound apparatus and method of displaying ultrasound images
CN106372258A (zh) * 2016-10-11 2017-02-01 珠海格力电器股份有限公司 菜谱提示方法、装置及具有该装置的终端设备
CN106648355A (zh) * 2016-11-07 2017-05-10 成都华域天府数字科技有限公司 3d模型选择方法及装置
CN106774821A (zh) * 2016-11-08 2017-05-31 广州视源电子科技股份有限公司 基于虚拟现实技术的显示方法和系统
CN107368189A (zh) * 2017-07-14 2017-11-21 信利光电股份有限公司 一种实现三维触控功能的触控显示装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘萍,廖科丹: ""基于MRI的在体足月胎儿体表数字化三维模型的构建",刘萍,廖科丹等,中国医学影像学杂志,第23卷第1期,第23-26页,2015年", 《中国医学影像学杂志》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109407942A (zh) * 2018-11-02 2019-03-01 深圳市天诺泰安健康信息技术有限公司 一种模型处理方法、装置、控制客户端及存储介质
CN109407942B (zh) * 2018-11-02 2022-05-06 深圳市天诺泰安健康信息技术有限公司 一种模型处理方法、装置、控制客户端及存储介质
CN109993837A (zh) * 2019-04-11 2019-07-09 山东数字人科技股份有限公司 一种胚胎学资料的展示方法和展示系统

Similar Documents

Publication Publication Date Title
JP2020194555A (ja) コンテキスト特化ユーザインターフェース
CN110109592A (zh) 头像创建和编辑
WO2016192395A1 (zh) 一种演唱评分显示方法、装置及系统
US10089715B2 (en) System for parametric generation of custom scalable animated characters on the web
CN107153978A (zh) 车型展示方法和系统
Lomas Cellular forms: an artistic exploration of morphogenesis.
CN109887097A (zh) 一种vr内容开发平台及方法
US20230214900A1 (en) Augmented reality product recommendations
CN112673400A (zh) 化身动画
CN105074640A (zh) 通过自由形式的草绘来参与演示
US20230230328A1 (en) Ar item placement in a video
CN107885432A (zh) 一种胎儿三维虚拟现实人机交互方法及系统
WO2023129441A1 (en) Ar position indicator
Park et al. Virtual figure model crafting with VR HMD and Leap Motion
EP4319139A1 (en) Method and apparatus for adding animation to video, and device and medium
KR101550346B1 (ko) 다문화 가정 임산부를 위한 콘텐츠 앱 기반의 태교용 그림책 콘텐츠 재생 방법
CN101620741A (zh) 基于部件库的真实感虚拟化身模型的交互式生成方法
CN106023884A (zh) 一种机器人面部表情显示装置
CN104866266A (zh) 农作物性状展示方法及装置
CN104270681B (zh) 视频信息播放方法和装置
US20150007031A1 (en) Medical Environment Simulation and Presentation System
CN105869218B (zh) 血管数字模型的肿瘤病变编辑方法及装置
Al Hashimi et al. Building an online interactive 3D virtual world for aquaflux and Epsilon
US20240112314A1 (en) Real-time machine learning based in-painting
TW201934182A (zh) 互動遊戲系統及其操作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180406

RJ01 Rejection of invention patent application after publication