CN106471572A - 一种同步语音及虚拟动作的方法、系统及机器人 - Google Patents
一种同步语音及虚拟动作的方法、系统及机器人 Download PDFInfo
- Publication number
- CN106471572A CN106471572A CN201680001720.7A CN201680001720A CN106471572A CN 106471572 A CN106471572 A CN 106471572A CN 201680001720 A CN201680001720 A CN 201680001720A CN 106471572 A CN106471572 A CN 106471572A
- Authority
- CN
- China
- Prior art keywords
- time span
- action message
- voice messaging
- robot
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000009471 action Effects 0.000 claims abstract description 178
- 230000003993 interaction Effects 0.000 claims abstract description 55
- 230000008859 change Effects 0.000 claims description 61
- 230000019771 cognition Effects 0.000 claims description 26
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000013473 artificial intelligence Methods 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 abstract description 15
- 230000001360 synchronised effect Effects 0.000 abstract description 7
- 230000006399 behavior Effects 0.000 description 18
- 241000208340 Araliaceae Species 0.000 description 6
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 6
- 235000003140 Panax quinquefolius Nutrition 0.000 description 6
- 235000008434 ginseng Nutrition 0.000 description 6
- 235000012054 meals Nutrition 0.000 description 6
- 230000008569 process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000013011 mating Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000009474 immediate action Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/003—Controls for manipulators by means of an audio-responsive input
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/04—Time compression or expansion
- G10L21/055—Time compression or expansion for synchronising with other signals, e.g. video signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Data Mining & Analysis (AREA)
- Manipulator (AREA)
Abstract
本发明提供一种同步语音及虚拟动作的方法,包括:获取用户的多模态信息;根据用户的多模态信息和可变参数生成交互内容,所述交互内容至少包括语音信息和动作信息;将语音信息的时间长度和动作信息的时间长度调整到相同。通过用户的多模态信息例如用户语音、用户表情、用户动作等的一种或几种,来生成交互内容,而为了让语音信息和动作信息能够同步,将语音信息的时间长度和动作信息的时间长度调整到相同,这样就可以让机器人在播放声音和动作时可以同步匹配,使机器人在交互时不仅具有语音表现,还可以具有动作等多样的表现形式,机器人的表现形式更加多样化,使机器人更加拟人化,也提高了用户于机器人交互时的体验度。
Description
技术领域
本发明涉及机器人交互技术领域,尤其涉及一种同步语音及虚拟动作的方法、系统及机器人。
背景技术
机器人作为与人类的交互工具,使用的场合越来越多,例如一些老人、小孩较孤独时,就可以与机器人交互,包括对话、娱乐等。而为了让机器人与人类交互时更加拟人化,发明人研究出一种虚拟机器人的显示设备和成像系统,能够形成3D的动画形象,虚拟机器人的主机接受人类的指令例如语音等与人类进行交互,然后虚拟的3D动画形象会根据主机的指令进行声音和动作的回复,这样就可以让机器人更加拟人化,不仅在声音、表情上能够与人类交互,而且还可以在动作等上与人类交互,大大提高了交互的体验感。
然而,虚拟机器人如何将回复内容中的语音和虚拟动作进行同步是一个比较复杂的问题,如果语音和动作不能匹配,则会大大影响用户的交互体验。
因此,如何提供一种同步语音及虚拟动作的方法、系统及机器人,提升人机交互体验成为亟需解决的技术问题。
发明内容
本发明的目的是提供一种同步语音及虚拟动作的方法、系统及机器人,提升人机交互体验。
本发明的目的是通过以下技术方案来实现的:
一种同步语音及虚拟动作的方法,包括:
获取用户的多模态信息;
根据用户的多模态信息和可变参数生成交互内容,所述交互内容至少包括语音信息和动作信息;
将语音信息的时间长度和动作信息的时间长度调整到相同。
优选的,所述将语音信息的时间长度和动作信息的时间长度调整到相同的具体步骤包括:
若语音信息的时间长度与动作信息的时间长度的差值不大于阈值,当语音信息的时间长度小于动作信息的时间长度,则加快动作信息的播放速度,使动作信息的时间长度等于所述语音信息的时间长度。
优选的,当语音信息的时间长度大于动作信息的时间长度,则加快语音信息的播放速度或/和减缓动作信息的播放速度,使动作信息的时间长度等于所述语音信息的时间长度。
优选的,所述将语音信息的时间长度和动作信息的时间长度调整到相同的具体步骤包括:
若语音信息的时间长度与动作信息的时间长度的差值大于阈值,当语音信息的时间长度大于动作信息的时间长度时,则将至少两组动作信息进行排序组合,使组合后的动作信息的时间长度等于所述语音信息的时间长度。
优选的,当语音信息的时间长度小于动作信息的时间长度时,则选取动作信息中的部分动作,使选取的部分动作的时间长度等于所述语音信息的时间长度。
优选的,所述机器人可变参数的生成方法包括:将机器人的自我认知的参数与可变参数中场景的参数进行拟合,生成机器人可变参数。
优选的,所述可变参数至少包括改变用户原本的行为和改变之后的行为,以及代表改变用户原本的行为和改变之后的行为的参数值。
优选的,所述根据所述多模态信息和可变参数生成交互内容的步骤具体包括:根据所述多模态信息和可变参数以及参数改变概率的拟合曲线生成交互内容。
优选的,所述参数改变概率的拟合曲线的生成方法包括:使用概率算法,将机器人之间的参数用网络做概率估计,计算当生活时间轴上的机器人在生活时间轴上的场景参数改变后,每个参数改变的概率,形成所述参数改变概率的拟合曲线。
一种同步语音及虚拟动作的系统,包括:
获取模块,用于获取用户的多模态信息;
人工智能模块,用于根据用户的多模态信息和可变参数生成交互内容,所述交互内容至少包括语音信息和动作信息;
控制模块,用于将语音信息的时间长度和动作信息的时间长度调整到相同。
优选的,所述控制模块具体用于:
若语音信息的时间长度与动作信息的时间长度的差值不大于阈值,当语音信息的时间长度小于动作信息的时间长度,则加快动作信息的播放速度,使动作信息的时间长度等于所述语音信息的时间长度。
优选的,当语音信息的时间长度大于动作信息的时间长度,则加快语音信息的播放速度或/和减缓动作信息的播放速度,使动作信息的时间长度等于所述语音信息的时间长度。
优选的,所述控制模块具体用于:
若语音信息的时间长度与动作信息的时间长度的差值大于阈值,当语音信息的时间长度大于动作信息的时间长度时,则将至少两组动作信息进行组合,使组合后的动作信息的时间长度等于所述语音信息的时间长度。
优选的,当语音信息的时间长度小于动作信息的时间长度时,则选取动作信息中的部分动作,使选取的部分动作的时间长度等于所述语音信息的时间长度。
优选的,所述系统还包括处理模块,用于将机器人的自我认知的参数与可变参数中场景的参数进行拟合,生成可变参数。
优选的,所述可变参数至少包括改变用户原本的行为和改变之后的行为,以及代表改变用户原本的行为和改变之后的行为的参数值。
优选的,所述人工智能模块具体用于:根据所述多模态信息和可变参数以及参数改变概率的拟合曲线生成交互内容。
优选的,所述系统包括拟合曲线生成模块,用于使用概率算法,将机器人之间的参数用网络做概率估计,计算当生活时间轴上的机器人在生活时间轴上的场景参数改变后,每个参数改变的概率,形成所述参数改变概率的拟合曲线。
本发明公开一种机器人,包括如上述任一所述的一种同步语音及虚拟动作的系统。
相比现有技术,本发明具有以下优点:本发明的同步语音及虚拟动作的方法由于包括:获取用户的多模态信息;根据用户的多模态信息和可变参数生成交互内容,所述交互内容至少包括语音信息和动作信息;将语音信息的时间长度和动作信息的时间长度调整到相同。这样就可以通过用户的多模态信息例如用户语音、用户表情、用户动作等的一种或几种,来生成交互内容,交互内容中至少包括语音信息和动作信息,而为了让语音信息和动作信息能够同步,将语音信息的时间长度和动作信息的时间长度调整到相同,这样就可以让机器人在播放声音和动作时可以同步匹配,使机器人在交互时不仅具有语音表现,还可以具有动作等多样的表现形式,机器人的表现形式更加多样化,使机器人更加拟人化,也提高了用户于机器人交互时的体验度。
附图说明
图1是本发明实施例一的一种同步语音及虚拟动作的方法的流程图;
图2是本发明实施例二的一种同步语音及虚拟动作的系统的示意图。
具体实施方式
虽然流程图将各项操作描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。各项操作的顺序可以被重新安排。当其操作完成时处理可以被终止,但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
计算机设备包括用户设备与网络设备。其中,用户设备或客户端包括但不限于电脑、智能手机、PDA等;网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算的由大量计算机或网络服务器构成的云。计算机设备可单独运行来实现本发明,也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。
在这里可能使用了术语“第一”、“第二”等等来描述各个单元,但是这些单元不应当受这些术语限制,使用这些术语仅仅是为了将一个单元与另一个单元进行区分。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。当一个单元被称为“连接”或“耦合”到另一单元时,其可以直接连接或耦合到所述另一单元,或者可以存在中间单元。
这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指,否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是,这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在,而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
下面结合附图和较佳的实施例对本发明作进一步说明。
实施例一
如图1所示,本实施例中公开一种同步语音及虚拟动作的方法,包括:
S101、获取用户的多模态信息;
S102、根据用户的多模态信息和可变参数300生成交互内容,所述交互内容至少包括语音信息和动作信息;
S103、将语音信息的时间长度和动作信息的时间长度调整到相同。
本发明的同步语音及虚拟动作的方法由于包括:获取用户的多模态信息;根据用户的多模态信息和可变参数生成交互内容,所述交互内容至少包括语音信息和动作信息;将语音信息的时间长度和动作信息的时间长度调整到相同。这样就可以通过用户的多模态信息例如用户语音、用户表情、用户动作等的一种或几种,来生成交互内容,交互内容中至少包括语音信息和动作信息,而为了让语音信息和动作信息能够同步,将语音信息的时间长度和动作信息的时间长度调整到相同,这样就可以让机器人在播放声音和动作时可以同步匹配,使机器人在交互时不仅具有语音表现,还可以具有动作等多样的表现形式,机器人的表现形式更加多样化,使机器人更加拟人化,也提高了用户于机器人交互时的体验度。
本实施例中的多模态信息可以是用户表情、语音信息、手势信息、场景信息、图像信息、视频信息、人脸信息、瞳孔虹膜信息、光感信息和指纹信息等其中的其中一种或几种。
本实施例中,可变参数具体是:人与机器发生的突发改变,比如时间轴上的一天生活是吃饭、睡觉、交互、跑步、吃饭、睡觉。那在这个情况下,假如突然改变机器人的场景,比如在跑步的时间段带去海边等等,这些人类主动对于机器人的参数,作为可变参数,这些改变会使得机器人的自我认知产生改变。生活时间轴与可变参数可以对自我认知中的属性,例如心情值,疲劳值等等的更改,也可以自动加入新的自我认知信息,比如之前没有愤怒值,基于生活时间轴和可变因素的场景就会自动根据之前模拟人类自我认知的场景,从而对机器人的自我认知进行添加。
例如,按照生活时间轴,在中午12点的时候应该是吃饭的时间,而如果改变了这个场景,比如在中午12点的时候出去逛街了,那么机器人就会将这个作为其中的一个可变参数进行写入,在这个时间段内用户与机器人交互时,机器人就会结合到中午12点出去逛街进行生成交互内容,而不是以之前的中午12点在吃饭进行结合生成交互内容,在具体生成交互内容时,机器人就会结合获取的用户的多模态信息,例如语音信息、视屏信息、图片信息等和可变参数进行生成。这样就可以加入一些人类生活中的突发事件在机器人的生活轴中,让机器人的交互更加拟人化。
本实施例中,所述将语音信息的时间长度和动作信息的时间长度调整到相同的具体步骤包括:
若语音信息的时间长度与动作信息的时间长度的差值不大于阈值,当语音信息的时间长度小于动作信息的时间长度,则加快动作信息的播放速度,使动作信息的时间长度等于所述语音信息的时间长度。
当语音信息的时间长度大于动作信息的时间长度,则加快语音信息的播放速度或/和减缓动作信息的播放速度,使动作信息的时间长度等于所述语音信息的时间长度。
因此,当语音信息的时间长度与动作信息的时间长度的差值不大于阈值,调整的具体含义可以为压缩或拉伸语音信息的时间长度或/和动作信息的时间长度,也可以是加快播放速度或者减缓播放速度,例如将语音信息的播放速度乘以2,或者将动作信息的播放时间乘以0.8等等。
例如,语音信息的时间长度与动作信息的时间长度的阈值是一分钟,机器人根据用户的多模态信息生成的交互内容中,语音信息的时间长度是1分钟,动作信息的时间长度是2分钟,那么就可以将动作信息的播放速度加快,为原来播放速度的两倍,那么动作信息调整后的播放时间就会为1分钟,从而与语音信息进行同步。当然,也可以让语音信息的播放速度减缓,调整为原来播放速度的0.5倍,这样就会让语音信息经过调整后减缓为2分钟,从而与动作信息同步。另外,也可以将语音信息和动作信息都调整,例如语音信息减缓,同时将动作信息加快,都调整到1分30秒,也可以让语音和动作进行同步。
此外,本实施例中,所述将语音信息的时间长度和动作信息的时间长度调整到相同的具体步骤包括:
若语音信息的时间长度与动作信息的时间长度的差值大于阈值,当语音信息的时间长度大于动作信息的时间长度时,则将至少两组动作信息进行排序组合,使组合后的动作信息的时间长度等于所述语音信息的时间长度。
当语音信息的时间长度小于动作信息的时间长度时,则选取动作信息中的部分动作,使选取的部分动作的时间长度等于所述语音信息的时间长度。
因此,当语音信息的时间长度与动作信息的时间长度的差值大于阈值,调整的含义就是添加或者删除部分动作信息,以使动作信息的时间长度与语音信息的时间长度相同。
例如,语音信息的时间长度与动作信息的时间长度的阈值是30秒,机器人根据用户的多模态信息生成的交互内容中,语音信息的时间长度是3分钟,动作信息的时间长度是1分钟,那么就需要将其他的动作信息也加入到原本的动作信息中,例如找到一个时间长度为2分钟的动作信息,将上述两组动作信息进行排序组合后就与语音信息的时间长度匹配到相同了。当然,如果没有找到时间长度为2分钟的动作信息,而找到了一个时间长度为了2分半的,那么就可以选取这个2分半的动作信息中的部分动作(可以是部分帧),使选取后的动作信息的时间长度为2分钟,这样就可以语音信息的时间长度匹配相同了。
本实施例中,可以根据语音信息的时间长度,选择与语音信息的时间长度最接近的动作信息,也可以根据动作信息的时间长度选择最接近的语音信息。
这样在选择的时候根据语音信息的时间长度进行选择,可以方便控制模块对语音信息和动作信息的时间长度的调整,更加容易调整到一致,而且调整后的播放更加自然,平滑。
根据其中一个示例,在将语音信息的时间长度和动作信息的时间长度调整到相同的步骤之后还包括:将调整后的语音信息和动作信息输出到虚拟影像进行展示。
这样就可以在调整一致后进行输出,输出可以是在虚拟影像上进行输出,从而使虚拟机器人更加拟人化,提高用户体验度。
根据其中一个示例,所述机器人可变参数的生成方法包括:将机器人的自我认知的参数与可变参数中场景的参数进行拟合,生成机器人可变参数。这样通过在结合可变参数的机器人的场景,将机器人本身的自我认知行扩展,对自我认知中的参数与可变参会苏轴中使用场景的参数进行拟合,产生拟人化的影响。
根据其中一个示例,所述可变参数至少包括改变用户原本的行为和改变之后的行为,以及代表改变用户原本的行为和改变之后的行为的参数值。
可变参数就是按照原本计划,是处于一种状态的,突然的改变让用户处于了另一种状态,可变参数就代表了这种行为或状态的变化,以及变化之后用户的状态或者行为,例如原本在下午5点是在跑步,突然有其他的事,例如去打球,那么从跑步改为打球就是可变参数,另外还要研究这种改变的几率。
根据其中一个示例,所述根据所述多模态信息和可变参数生成交互内容的步骤具体包括:根据所述多模态信息和可变参数以及参数改变概率的拟合曲线生成交互内容。
这样就可以通过可变参数的概率训练生成拟合曲线,从而生成机器人交互内容。
根据其中一个示例,所述参数改变概率的拟合曲线的生成方法包括:使用概率算法,将机器人之间的参数用网络做概率估计,计算当生活时间轴上的机器人在生活时间轴上的场景参数改变后,每个参数改变的概率,形成所述参数改变概率的拟合曲线。其中,概率算法可以采用贝叶斯概率算法。
通过在结合可变参数的机器人的场景,将机器人本身的自我认知行扩展,对自我认知中的参数与可变参会苏轴中使用场景的参数进行拟合,产生拟人化的影响。同时,加上对于地点场景的识别,使得机器人会知道自己的地理位置,会根据自己所处的地理环境,改变交互内容生成的方式。另外,我们使用贝叶斯概率算法,将机器人之间的参数用贝叶斯网络做概率估计,计算生活时间轴上的机器人本身时间轴场景参数改变后,每个参数改变的概率,形成拟合曲线,动态影响机器人本身的自我认知。这种创新的模块使得机器人本身具有人类的生活方式,对于表情这块,可按照所处的地点场景,做表情方面的改变。
实施例二
如图2所示,本实施例中公开一种同步语音及虚拟动作的系统,包括:
获取模块201,用于获取用户的多模态信息;
人工智能模块202,用于根据用户的多模态信息和可变参数生成交互内容,所述交互内容至少包括语音信息和动作信息,其中可变参数由可变参数模块301生成;
控制模块203,用于将语音信息的时间长度和动作信息的时间长度调整到相同。
这样就可以通过用户的多模态信息例如用户语音、用户表情、用户动作等的一种或几种,来生成交互内容,交互内容中至少包括语音信息和动作信息,而为了让语音信息和动作信息能够同步,将语音信息的时间长度和动作信息的时间长度调整到相同,这样就可以让机器人在播放声音和动作时可以同步匹配,使机器人在交互时不仅具有语音表现,还可以具有动作等多样的表现形式,机器人的表现形式更加多样化,使机器人更加拟人化,也提高了用户于机器人交互时的体验度。
本实施例中的多模态信息可以是用户表情、语音信息、手势信息、场景信息、图像信息、视频信息、人脸信息、瞳孔虹膜信息、光感信息和指纹信息等其中的其中一种或几种。
本实施例中,可变参数具体是:人与机器发生的突发改变,比如时间轴上的一天生活是吃饭、睡觉、交互、跑步、吃饭、睡觉。那在这个情况下,假如突然改变机器人的场景,比如在跑步的时间段带去海边等等,这些人类主动对于机器人的参数,作为可变参数,这些改变会使得机器人的自我认知产生改变。生活时间轴与可变参数可以对自我认知中的属性,例如心情值,疲劳值等等的更改,也可以自动加入新的自我认知信息,比如之前没有愤怒值,基于生活时间轴和可变因素的场景就会自动根据之前模拟人类自我认知的场景,从而对机器人的自我认知进行添加。
例如,按照生活时间轴,在中午12点的时候应该是吃饭的时间,而如果改变了这个场景,比如在中午12点的时候出去逛街了,那么机器人就会将这个作为其中的一个可变参数进行写入,在这个时间段内用户与机器人交互时,机器人就会结合到中午12点出去逛街进行生成交互内容,而不是以之前的中午12点在吃饭进行结合生成交互内容,在具体生成交互内容时,机器人就会结合获取的用户的多模态信息,例如语音信息、视屏信息、图片信息等和可变参数进行生成。这样就可以加入一些人类生活中的突发事件在机器人的生活轴中,让机器人的交互更加拟人化。
本实施例中,所述控制模块具体用于:
若语音信息的时间长度与动作信息的时间长度的差值不大于阈值,当语音信息的时间长度小于动作信息的时间长度,则加快动作信息的播放速度,使动作信息的时间长度等于所述语音信息的时间长度。
当语音信息的时间长度大于动作信息的时间长度,则加快语音信息的播放速度或/和减缓动作信息的播放速度,使动作信息的时间长度等于所述语音信息的时间长度。
因此,当语音信息的时间长度与动作信息的时间长度的差值不大于阈值,调整的具体含义可以压缩或拉伸语音信息的时间长度或/和动作信息的时间长度,也可以是加快播放速度或者减缓播放速度,例如将语音信息的播放速度乘以2,或者将动作信息的播放时间乘以0.8等等。
例如,语音信息的时间长度与动作信息的时间长度的阈值是一分钟,机器人根据用户的多模态信息生成的交互内容中,语音信息的时间长度是1分钟,动作信息的时间长度是2分钟,那么就可以将动作信息的播放速度加快,为原来播放速度的两倍,那么动作信息调整后的播放时间就会为1分钟,从而与语音信息进行同步。当然,也可以让语音信息的播放速度减缓,调整为原来播放速度的0.5倍,这样就会让语音信息经过调整后减缓为2分钟,从而与动作信息同步。另外,也可以将语音信息和动作信息都调整,例如语音信息减缓,同时将动作信息加快,都调整到1分30秒,也可以让语音和动作进行同步。
此外,本实施例中,所述控制模块具体用于:
若语音信息的时间长度与动作信息的时间长度的差值大于阈值,当语音信息的时间长度大于动作信息的时间长度时,则将至少两组动作信息进行组合,使组合后的动作信息的时间长度等于所述语音信息的时间长度。
当语音信息的时间长度小于动作信息的时间长度时,则选取动作信息中的部分动作,使选取的部分动作的时间长度等于所述语音信息的时间长度。
因此,当语音信息的时间长度与动作信息的时间长度的差值大于阈值,调整的含义就是添加或者删除部分动作信息,以使动作信息的时间长度与语音信息的时间长度相同。
例如,语音信息的时间长度与动作信息的时间长度的阈值是30秒,机器人根据用户的多模态信息生成的交互内容中,语音信息的时间长度是3分钟,动作信息的时间长度是1分钟,那么就需要将其他的动作信息也加入到原本的动作信息中,例如找到一个时间长度为2分钟的动作信息,将上述两组动作信息进行排序组合后就与语音信息的时间长度匹配到相同了。当然,如果没有找到时间长度为2分钟的动作信息,而找到了一个时间长度为了2分半的,那么就可以选取这个2分半的动作信息中的部分动作(可以是部分帧),使选取后的动作信息的时间长度为2分钟,这样就可以语音信息的时间长度匹配相同了。
本实施例中,可以为所述人工智能模块具体用于:根据语音信息的时间长度,选择与语音信息的时间长度最接近的动作信息,也可以根据动作信息的时间长度选择最接近的语音信息。
这样在选择的时候根据语音信息的时间长度进行选择,可以方便控制模块对语音信息和动作信息的时间长度的调整,更加容易调整到一致,而且调整后的播放更加自然,平滑。
根据其中一个示例,所述系统还包括输出模块204,用于将调整后的语音信息和动作信息输出到虚拟影像进行展示。
这样就可以在调整一致后进行输出,输出可以是在虚拟影像上进行输出,从而使虚拟机器人更加拟人化,提高用户体验度。
根据其中一个示例,所述系统还包括处理模块,用于将机器人的自我认知的参数与可变参数中场景的参数进行拟合,生成可变参数。
这样通过在结合可变参数的机器人的场景,将机器人本身的自我认知行扩展,对自我认知中的参数与可变参会苏轴中使用场景的参数进行拟合,产生拟人化的影响。
根据其中一个示例,所述可变参数至少包括改变用户原本的行为和改变之后的行为,以及代表改变用户原本的行为和改变之后的行为的参数值。
可变参数就是按照原本计划,是处于一种状态的,突然的改变让用户处于了另一种状态,可变参数就代表了这种行为或状态的变化,以及变化之后用户的状态或者行为,例如原本在下午5点是在跑步,突然有其他的事,例如去打球,那么从跑步改为打球就是可变参数,另外还要研究这种改变的几率。
根据其中一个示例,所述人工智能模块具体用于:根据所述多模态信息和可变参数以及参数改变概率的拟合曲线生成交互内容。
这样就可以通过可变参数的概率训练生成拟合曲线,从而生成机器人交互内容。
根据其中一个示例,所述系统包括拟合曲线生成模块,用于使用概率算法,将机器人之间的参数用网络做概率估计,计算当生活时间轴上的机器人在生活时间轴上的场景参数改变后,每个参数改变的概率,形成所述参数改变概率的拟合曲线。其中,概率算法可以采用贝叶斯概率算法。
通过在结合可变参数的机器人的场景,将机器人本身的自我认知行扩展,对自我认知中的参数与可变参会苏轴中使用场景的参数进行拟合,产生拟人化的影响。同时,加上对于地点场景的识别,使得机器人会知道自己的地理位置,会根据自己所处的地理环境,改变交互内容生成的方式。另外,我们使用贝叶斯概率算法,将机器人之间的参数用贝叶斯网络做概率估计,计算生活时间轴上的机器人本身时间轴场景参数改变后,每个参数改变的概率,形成拟合曲线,动态影响机器人本身的自我认知。这种创新的模块使得机器人本身具有人类的生活方式,对于表情这块,可按照所处的地点场景,做表情方面的改变。
本发明公开一种机器人,包括如上述任一所述的一种同步语音及虚拟动作的系统。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (19)
1.一种同步语音及虚拟动作的方法,其特征在于,包括:
获取用户的多模态信息;
根据用户的多模态信息和可变参数生成交互内容,所述交互内容至少包括语音信息和动作信息;
将语音信息的时间长度和动作信息的时间长度调整到相同。
2.根据权利要求1所述的方法,其特征在于,所述将语音信息的时间长度和动作信息的时间长度调整到相同的具体步骤包括:
若语音信息的时间长度与动作信息的时间长度的差值不大于阈值,当语音信息的时间长度小于动作信息的时间长度,则加快动作信息的播放速度,使动作信息的时间长度等于所述语音信息的时间长度。
3.根据权利要求2所述的方法,其特征在于,当语音信息的时间长度大于动作信息的时间长度,则加快语音信息的播放速度或/和减缓动作信息的播放速度,使动作信息的时间长度等于所述语音信息的时间长度。
4.根据权利要求1所述的方法,其特征在于,所述将语音信息的时间长度和动作信息的时间长度调整到相同的具体步骤包括:
若语音信息的时间长度与动作信息的时间长度的差值大于阈值,当语音信息的时间长度大于动作信息的时间长度时,则将至少两组动作信息进行排序组合,使组合后的动作信息的时间长度等于所述语音信息的时间长度。
5.根据权利要求4所述的方法,其特征在于,当语音信息的时间长度小于动作信息的时间长度时,则选取动作信息中的部分动作,使选取的部分动作的时间长度等于所述语音信息的时间长度。
6.根据权利要求1所述的方法,其特征在于,所述机器人可变参数的生成方法包括:将机器人的自我认知的参数与可变参数中场景的参数进行拟合,生成机器人可变参数。
7.根据权利要求6所述的方法,其特征在于,所述可变参数至少包括改变用户原本的行为和改变之后的行为,以及代表改变用户原本的行为和改变之后的行为的参数值。
8.根据权利要求1所述的方法,其特征在于,所述根据所述多模态信息和可变参数生成交互内容的步骤具体包括:根据所述多模态信息和可变参数以及参数改变概率的拟合曲线生成交互内容。
9.根据权利要求8所述的方法,其特征在于,所述参数改变概率的拟合曲线的生成方法包括:使用概率算法,将机器人之间的参数用网络做概率估计,计算当生活时间轴上的机器人在生活时间轴上的场景参数改变后,每个参数改变的概率,形成所述参数改变概率的拟合曲线。
10.一种同步语音及虚拟动作的系统,其特征在于,包括:
获取模块,用于获取用户的多模态信息;
人工智能模块,用于根据用户的多模态信息和可变参数生成交互内容,所述交互内容至少包括语音信息和动作信息;
控制模块,用于将语音信息的时间长度和动作信息的时间长度调整到相同。
11.根据权利要求10所述的系统,其特征在于,所述控制模块具体用于:
若语音信息的时间长度与动作信息的时间长度的差值不大于阈值,当语音信息的时间长度小于动作信息的时间长度,则加快动作信息的播放速度,使动作信息的时间长度等于所述语音信息的时间长度。
12.根据权利要求11所述的系统,其特征在于,当语音信息的时间长度大于动作信息的时间长度,则加快语音信息的播放速度或/和减缓动作信息的播放速度,使动作信息的时间长度等于所述语音信息的时间长度。
13.根据权利要求10所述的系统,其特征在于,所述控制模块具体用于:
若语音信息的时间长度与动作信息的时间长度的差值大于阈值,当语音信息的时间长度大于动作信息的时间长度时,则将至少两组动作信息进行组合,使组合后的动作信息的时间长度等于所述语音信息的时间长度。
14.根据权利要求13所述的系统,其特征在于,当语音信息的时间长度小于动作信息的时间长度时,则选取动作信息中的部分动作,使选取的部分动作的时间长度等于所述语音信息的时间长度。
15.根据权利要求10所述的系统,其特征在于,所述系统还包括处理模块,用于将机器人的自我认知的参数与可变参数中场景的参数进行拟合,生成可变参数。
16.根据权利要求15所述的系统,其特征在于,所述可变参数至少包括改变用户原本的行为和改变之后的行为,以及代表改变用户原本的行为和改变之后的行为的参数值。
17.根据权利要求10所述的系统,其特征在于,所述人工智能模块具体用于:根据所述多模态信息和可变参数以及参数改变概率的拟合曲线生成交互内容。
18.根据权利要求17所述的系统,其特征在于,所述系统包括拟合曲线生成模块,用于使用概率算法,将机器人之间的参数用网络做概率估计,计算当生活时间轴上的机器人在生活时间轴上的场景参数改变后,每个参数改变的概率,形成所述参数改变概率的拟合曲线。
19.一种机器人,其特征在于,包括如权利要求9至18任一所述的一种同步语音及虚拟动作的系统。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2016/089213 WO2018006369A1 (zh) | 2016-07-07 | 2016-07-07 | 一种同步语音及虚拟动作的方法、系统及机器人 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106471572A true CN106471572A (zh) | 2017-03-01 |
CN106471572B CN106471572B (zh) | 2019-09-03 |
Family
ID=58230946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680001720.7A Expired - Fee Related CN106471572B (zh) | 2016-07-07 | 2016-07-07 | 一种同步语音及虚拟动作的方法、系统及机器人 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6567609B2 (zh) |
CN (1) | CN106471572B (zh) |
WO (1) | WO2018006369A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107457787A (zh) * | 2017-06-29 | 2017-12-12 | 杭州仁盈科技股份有限公司 | 一种服务机器人交互决策方法和装置 |
CN107577661A (zh) * | 2017-08-07 | 2018-01-12 | 北京光年无限科技有限公司 | 一种针对虚拟机器人的交互输出方法以及系统 |
CN107784355A (zh) * | 2017-10-26 | 2018-03-09 | 北京光年无限科技有限公司 | 虚拟人多模态交互数据处理方法和系统 |
US20220366909A1 (en) * | 2019-10-30 | 2022-11-17 | Sony Group Corporation | Information processing apparatus and command processing method |
CN115497499A (zh) * | 2022-08-30 | 2022-12-20 | 阿里巴巴(中国)有限公司 | 语音和动作时间同步的方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109822587B (zh) * | 2019-03-05 | 2022-05-31 | 哈尔滨理工大学 | 一种用于厂矿医院的语音导诊机器人头颈部装置控制方法 |
CN110610703A (zh) * | 2019-07-26 | 2019-12-24 | 深圳壹账通智能科技有限公司 | 基于机器人识别的语音输出方法、装置、机器人及介质 |
JP7510042B2 (ja) * | 2020-01-27 | 2024-07-03 | 株式会社Mixi | 情報処理システム、端末装置、端末装置の制御方法、及びプログラム |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5111409A (en) * | 1989-07-21 | 1992-05-05 | Elon Gasper | Authoring and use systems for sound synchronized animation |
CN101364309A (zh) * | 2008-10-09 | 2009-02-11 | 中国科学院计算技术研究所 | 一种源虚拟角色上的口形动画生成方法 |
CN101604204A (zh) * | 2009-07-09 | 2009-12-16 | 北京科技大学 | 智能情感机器人分布式认知技术 |
CN101968894A (zh) * | 2009-07-28 | 2011-02-09 | 上海冰动信息技术有限公司 | 根据汉字自动实现音唇同步的方法 |
JP4670136B2 (ja) * | 2000-10-11 | 2011-04-13 | ソニー株式会社 | オーサリング・システム及びオーサリング方法、並びに記憶媒体 |
CN103596051A (zh) * | 2012-08-14 | 2014-02-19 | 金运科技股份有限公司 | 电视装置及其虚拟主持人显示方法 |
CN104574478A (zh) * | 2014-12-30 | 2015-04-29 | 北京像素软件科技股份有限公司 | 一种编辑动画人物口型的方法及装置 |
CN104866101A (zh) * | 2015-05-27 | 2015-08-26 | 世优(北京)科技有限公司 | 虚拟对象的实时互动控制方法及装置 |
CN104883557A (zh) * | 2015-05-27 | 2015-09-02 | 世优(北京)科技有限公司 | 实时全息投影方法、装置及系统 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10143351A (ja) * | 1996-11-13 | 1998-05-29 | Sharp Corp | インタフェース装置 |
EP2259585B1 (en) * | 1996-12-04 | 2013-10-16 | Panasonic Corporation | Optical disk for high resolution and three dimensional video recording, optical disk reproduction apparatus, and optical disk recording apparatus |
JP3792882B2 (ja) * | 1998-03-17 | 2006-07-05 | 株式会社東芝 | 感情生成装置及び感情生成方法 |
JP4032273B2 (ja) * | 1999-12-28 | 2008-01-16 | ソニー株式会社 | 同期制御装置および方法、並びに記録媒体 |
JP3930389B2 (ja) * | 2002-07-08 | 2007-06-13 | 三菱重工業株式会社 | ロボット発話中の動作プログラム生成装置及びロボット |
JP2005003926A (ja) * | 2003-06-11 | 2005-01-06 | Sony Corp | 情報処理装置および方法、並びにプログラム |
US20080037953A1 (en) * | 2005-02-03 | 2008-02-14 | Matsushita Electric Industrial Co., Ltd. | Recording/Reproduction Apparatus And Recording/Reproduction Method, And Recording Medium Storing Recording/Reproduction Program, And Integrated Circuit For Use In Recording/Reproduction Apparatus |
JP2008040726A (ja) * | 2006-08-04 | 2008-02-21 | Univ Of Electro-Communications | ユーザ支援システム及びユーザ支援方法 |
US20090044112A1 (en) * | 2007-08-09 | 2009-02-12 | H-Care Srl | Animated Digital Assistant |
JP5045519B2 (ja) * | 2008-03-26 | 2012-10-10 | トヨタ自動車株式会社 | 動作生成装置、ロボット及び動作生成方法 |
AU2009299602B2 (en) * | 2008-10-03 | 2014-10-30 | Bae Systems Plc | Assisting with updating a model for diagnosing failures in a system |
JP2011054088A (ja) * | 2009-09-04 | 2011-03-17 | National Institute Of Information & Communication Technology | 情報処理装置、情報処理方法、プログラム及び対話システム |
JP2012215645A (ja) * | 2011-03-31 | 2012-11-08 | Speakglobal Ltd | コンピュータを利用した外国語会話練習システム |
CN105598972B (zh) * | 2016-02-04 | 2017-08-08 | 北京光年无限科技有限公司 | 一种机器人系统及交互方法 |
-
2016
- 2016-07-07 CN CN201680001720.7A patent/CN106471572B/zh not_active Expired - Fee Related
- 2016-07-07 WO PCT/CN2016/089213 patent/WO2018006369A1/zh active Application Filing
-
2017
- 2017-07-06 JP JP2017133167A patent/JP6567609B2/ja not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5111409A (en) * | 1989-07-21 | 1992-05-05 | Elon Gasper | Authoring and use systems for sound synchronized animation |
JP4670136B2 (ja) * | 2000-10-11 | 2011-04-13 | ソニー株式会社 | オーサリング・システム及びオーサリング方法、並びに記憶媒体 |
CN101364309A (zh) * | 2008-10-09 | 2009-02-11 | 中国科学院计算技术研究所 | 一种源虚拟角色上的口形动画生成方法 |
CN101604204A (zh) * | 2009-07-09 | 2009-12-16 | 北京科技大学 | 智能情感机器人分布式认知技术 |
CN101968894A (zh) * | 2009-07-28 | 2011-02-09 | 上海冰动信息技术有限公司 | 根据汉字自动实现音唇同步的方法 |
CN103596051A (zh) * | 2012-08-14 | 2014-02-19 | 金运科技股份有限公司 | 电视装置及其虚拟主持人显示方法 |
CN104574478A (zh) * | 2014-12-30 | 2015-04-29 | 北京像素软件科技股份有限公司 | 一种编辑动画人物口型的方法及装置 |
CN104866101A (zh) * | 2015-05-27 | 2015-08-26 | 世优(北京)科技有限公司 | 虚拟对象的实时互动控制方法及装置 |
CN104883557A (zh) * | 2015-05-27 | 2015-09-02 | 世优(北京)科技有限公司 | 实时全息投影方法、装置及系统 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107457787A (zh) * | 2017-06-29 | 2017-12-12 | 杭州仁盈科技股份有限公司 | 一种服务机器人交互决策方法和装置 |
CN107457787B (zh) * | 2017-06-29 | 2020-12-08 | 杭州仁盈科技股份有限公司 | 一种服务机器人交互决策方法和装置 |
CN107577661A (zh) * | 2017-08-07 | 2018-01-12 | 北京光年无限科技有限公司 | 一种针对虚拟机器人的交互输出方法以及系统 |
CN107577661B (zh) * | 2017-08-07 | 2020-12-11 | 北京光年无限科技有限公司 | 一种针对虚拟机器人的交互输出方法以及系统 |
CN107784355A (zh) * | 2017-10-26 | 2018-03-09 | 北京光年无限科技有限公司 | 虚拟人多模态交互数据处理方法和系统 |
US20220366909A1 (en) * | 2019-10-30 | 2022-11-17 | Sony Group Corporation | Information processing apparatus and command processing method |
CN115497499A (zh) * | 2022-08-30 | 2022-12-20 | 阿里巴巴(中国)有限公司 | 语音和动作时间同步的方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2018006369A1 (zh) | 2018-01-11 |
JP2018001403A (ja) | 2018-01-11 |
JP6567609B2 (ja) | 2019-08-28 |
CN106471572B (zh) | 2019-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106471572B (zh) | 一种同步语音及虚拟动作的方法、系统及机器人 | |
CN111465965B (zh) | 用于实时复杂角色动画和交互性的系统和方法 | |
Fang et al. | MetaHuman Creator The starting point of the metaverse | |
CN106471444A (zh) | 一种虚拟3d机器人的交互方法、系统及机器人 | |
CN106463118B (zh) | 一种同步语音及虚拟动作的方法、系统及机器人 | |
US20160134840A1 (en) | Avatar-Mediated Telepresence Systems with Enhanced Filtering | |
CN108933723B (zh) | 消息展示方法、装置及终端 | |
CN111724457A (zh) | 基于ue4的真实感虚拟人多模态交互实现方法 | |
WO2020150693A1 (en) | Systems and methods for generating personalized videos with customized text messages | |
KR20030007726A (ko) | 얼굴 감정들을 포함하는 텍스트 비주얼 스피치 시스템 및방법 | |
CN110689604A (zh) | 个性化脸部模型显示方法、装置、设备及存储介质 | |
US20200320795A1 (en) | System and layering method for fast input-driven composition and live-generation of mixed digital content | |
KR20220167358A (ko) | 가상 캐릭터 생성 방법과 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 | |
US11430158B2 (en) | Intelligent real-time multiple-user augmented reality content management and data analytics system | |
Čereković et al. | Multimodal behavior realization for embodied conversational agents | |
US20220165024A1 (en) | Transforming static two-dimensional images into immersive computer-generated content | |
CN106462804A (zh) | 一种机器人交互内容的生成方法、系统及机器人 | |
CN114026524B (zh) | 用于动画化人脸的方法、系统、以及计算机可读介质 | |
Elliott et al. | A framework for non-manual gestures in a synthetic signing system | |
WO2022256162A1 (en) | Image reenactment with illumination disentanglement | |
KR102396060B1 (ko) | 전자 게임에서 카메라 뷰 변경 | |
CN114140560A (zh) | 动画生成方法、装置、设备和存储介质 | |
CN111899321A (zh) | 一种虚拟角色表情展现的方法和装置 | |
US9412191B2 (en) | Sex selection in inheritance based avatar generation | |
Oyarzun et al. | ADML: a framework for representing inhabitants in 3D virtual worlds |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address | ||
CP03 | Change of name, title or address |
Address after: Room 301, Building 39, 239 Renmin Road, Gusu District, Suzhou City, Jiangsu Province, 215000 Patentee after: Suzhou Dogweed Intelligent Technology Co., Ltd. Address before: Oriental Science and Technology Building No. 16 Keyuan Road, Shenzhen street 518000 city in Guangdong province Nanshan District Guangdong 1307-09 Patentee before: Shenzhen green bristlegrass intelligence Science and Technology Ltd. |
|
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190903 Termination date: 20210707 |