CN117172280B - 一种应用于仿生动物中的多源数据处理方法 - Google Patents
一种应用于仿生动物中的多源数据处理方法 Download PDFInfo
- Publication number
- CN117172280B CN117172280B CN202311434573.0A CN202311434573A CN117172280B CN 117172280 B CN117172280 B CN 117172280B CN 202311434573 A CN202311434573 A CN 202311434573A CN 117172280 B CN117172280 B CN 117172280B
- Authority
- CN
- China
- Prior art keywords
- curve
- simulation
- joint
- animal
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241001465754 Metazoa Species 0.000 title claims abstract description 85
- 239000011664 nicotinic acid Substances 0.000 title claims abstract description 18
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000004088 simulation Methods 0.000 claims abstract description 79
- 230000005284 excitation Effects 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000009471 action Effects 0.000 claims abstract description 10
- 230000006399 behavior Effects 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000009960 carding Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000007787 solid Substances 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims description 2
- 230000003592 biomimetic effect Effects 0.000 claims 5
- 230000008878 coupling Effects 0.000 abstract description 2
- 238000010168 coupling process Methods 0.000 abstract description 2
- 238000005859 coupling reaction Methods 0.000 abstract description 2
- 230000008447 perception Effects 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 241000282326 Felis catus Species 0.000 description 9
- 210000000988 bone and bone Anatomy 0.000 description 7
- 210000003128 head Anatomy 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004898 kneading Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 241000209094 Oryza Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 238000009395 breeding Methods 0.000 description 2
- 230000001488 breeding effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 244000144972 livestock Species 0.000 description 2
- 244000144977 poultry Species 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000283690 Bos taurus Species 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000010171 animal model Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000029142 excretion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001617 migratory effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000004417 patella Anatomy 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 210000001562 sternum Anatomy 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种应用于仿生动物中的多源数据处理方法，属于空间动态曲线耦合领域，包括S1：活体生态采集包括摄录动物在不同兴奋值下的状态图像和连续兴奋值之间的状态图像；S2：动态图像处理包括将连续多帧图像进行仿真点位捕捉，生成音频曲线和每个仿真点位跟随曲线；S3：关联点位模拟包括获取骨架运动模型确定关节点位，将关节点位与仿真点位进行关联；S4：获取骨架运动模型在不同兴奋值下的动态视频，根据标准跟随曲线调节关节点位的跟随曲线作实际曲线，通过将动物与仿真模型在同一兴奋感知状态下的关联，将无实体数据进行有形的展示，既能够将运动数据通过实体模型呈现的更加流畅，实现机械模型在触发启动后的产生自适应反馈动作。
Description
技术领域
本说明书涉及空间动态曲线耦合领域，特别涉及一种应用于仿生动物中的多源数据处理方法。
背景技术
目前动物运动行为观察分析方法主要有卫星定位技术(GPS)、传感器监测技术、机器视觉监测技术、无线射频识别模块(RFID)监测技术、超宽带(UWB)定位技术等。其中，卫星定位技术多适用于监测面积广阔且目标动物位置要求精度较低的候鸟迁徙等野生动物活动的监测；传感器监测技术多适用于畜禽养殖中对猪、牛、羊等大型畜禽的站、卧、跑等运动行为模式进行识别监测；机器视觉监测技术、RFID监测技术、UWB定位技术均需要较为复杂的监测设备和分析方法，对上述监测设备获取的动物行为数据复杂，很难进行有效数据的提取。
中国专利公告号CN114494337A，公告日2022年05月14日，发明的名称为一种蛙类动物运动行为量化模拟方法，包括：运动行为观察步骤，按设定时间间隔定时利用相机采集实际蛙类动物的运动图像，形成图像数据集，所述图像数据集中记录有蛙类动物位置信息；运动行为分析步骤，基于所述图像数据集提取蛙类动物位置变化信息和蛙类运动行为参数，并绘制蛙类动物运动轨迹；模拟步骤，基于所述蛙类动物运动轨迹在稻蛙生态种养模式中进行蛙类动物的模拟。与现有技术相比，本发明采用成本较低、应用便捷的蛙类动物运动行为观测方式实现在稻蛙生态种养模式中的蛙类动物运动行为模拟，为分解蛙的排泄和运动行为提供了新的思路，对研究蛙的运动行为对环境和其它生物的影响具有重要意义。
上述蛙类行为通过图像进行提取，产生的数据结果虽然单一容易处理，仅仅只能连贯该动物的行为，无法同步该行为时所产生的音频，对数据处理经停留在图像平面的研究阶段。
因此，需要提供一种应用于仿生动物中的多源数据处理方法，能够对动物的动作数据和音频数据的同步处理，实现多源数据进行修正。
发明内容
本说明书实施例之一提供一种应用于仿生动物中的多源数据处理方法，将动物运动形态进行连续的数字模拟，对于动物的物理模型进行关节定位式驱动，将声音、动作、仪态等多源数据整理成多组仿真动态反馈存储在物理模型中，当物理模型的指定位置被触摸后能够快速按照仿真动态反馈进行响应。
在一些实施例中，包括一种应用于仿生动物中的多源数据处理方法，具体包括下列步骤：
S1：活体生态采集，包括摄录动物在不同兴奋值下的状态图像和连续兴奋值之间的状态图像；
S2：动态图像处理，包括将连续多帧图像进行仿真点位捕捉，生成音频曲线和每个仿真点位跟随曲线；
S3：关联点位模拟，包括获取骨架运动模型确定关节点位，将关节点位与仿真点位进行关联，将跟随曲线上载至关节点位，得到标准跟随曲线；
S4：实际动作修正，获取骨架运动模型在不同兴奋值下的动态视频，根据标准跟随曲线调节关节点位的跟随曲线作实际曲线，叠加音频曲线进行动态修正；
S5：训练触点响应逻辑，触摸将修正后的曲线函数进行自主学习模型进行训练，得到多组合触点响应逻辑；
S6：仿真动态输出，将训练完成的函数进行输入骨架运动模型。
进一步的，所述活体生态采集包括下列步骤：
S11：设置动物生活环境的纯色布景，限定动物的活动范围；
S12：调整第一摄录器的拍摄角度，设置第一摄录器的采样时间；
S13：调整第二摄录器的拍摄角度，设置第二摄录器的采样时间；
S14：获取每组相对设置的摄录器的图像，其中第一摄录器与第二摄录器相对设置为一组摄录单元。
进一步的，计算动物在时段T内的兴奋值为，
其中，为多源数值转换函数，/>为时段T内的兴奋值，/>为时段T内的音频值，/>为时段T内的变化值，/>和/>分别为声音权重和动作权重，时段T内划分n个采样时间，/>，时段T为每组摄录单元的采样周期，/>包括位移参数、形体参数和面容参数在时段T内总变化值，/>为采样时间/>时的音频值，/>为采样时间/>时的兴奋值。
进一步的，所述动态图像处理包括下列步骤：
S21：确定动物的仿真点位，录入仿真点位的特征参数；
S22：划分摄录背景的空间坐标，锁定图像中仿真点位的空间坐标值；
S23：按照时间顺序依次连接仿真点位的空间坐标，得到跟随曲线；
S24：根据摄录音频的时间点，插入至相应时间点的跟随曲线。
进一步的，所述关联点位模拟包括下列步骤：
S31：将相同位置处的关节点位与仿真点位进行关联，当关节点位与仿真点位关联成功时，执行S32，关节点位与仿真点位关联失败时，执行S33；
S32：将所述仿真点位的跟随曲线上载至所述关节点位，执行S35；
S33：若该位置处存在多个仿真点位，选择其中至少一个仿真点位执行S32，若该位置处无邻近仿真点位，执行S34；
S34：选择离该位置最近的至少2个仿真点位进行曲线均差计算，得到虚拟仿真点位，将该虚拟仿真点位的跟随曲线上载至所述关节点位，执行S35；
S35：得到骨架运动模型上所有关节点位的标准跟随曲线。
进一步的，所述S4还包括下列步骤：
S41：通过后台输入兴奋值，驱动骨架运动模型播放执行音频，关节点位产生执行行为；
S42：根据执行行为得到关节行为的执行曲线，与该兴奋值下的标准跟随曲线进行容差，得到调节后的关节点位实际曲线；
S43：动态修正包括将实际曲线与步骤S24中跟随曲线重合部分处的音频进行截取，在驱动结构模型按照该重合部分处实际曲线动作时，播放截取的音频。
进一步的，所述S5包括下列具体步骤：
S51：将曲线函数作为输入发送至自主学习模型中，通过调整仿生系数决定自主学习的强度；
S52：自主学习模型通过输出优化曲线，提取优化曲线中的音频发生逻辑发送至骨架运动模型，骨架运动模型驱动发声装置工作；
S53：将优化曲线中的关节点位发生逻辑发送至骨架运动模型，骨架运动模型驱动各个关节进行时间和角度转动。
进一步的，所述自主学习模型的工作过程还包括下列步骤：
S511：获取所有状态下的骨架运动模型，根据骨架运动模型获得对应的每个关节在不同状态下的运动曲线，梳理以单个关节为首，以单个关节相邻的关节为尾的运动曲线，得到该关节的多条趋势运动曲线；
S512：当关节获取响应信号时，根据趋势运动曲线和骨架运动模型，映射多种趋势形态；
S513：结合数据库中预存的触摸动态图像，计算在趋势形态中的精确度最高趋势运动曲线作为优化曲线，其中触摸动态图像基于触摸动物身体上对应触点进行拍摄。
进一步的，步骤S513中，精确度的计算包括动物身上触点的位置与骨架运动模型上的真实触点间的位置差值。
进一步的，所述骨架运动模型上设置多个触点，当至少一个触点启动时，骨架运动模型上至少产生一组组合运动模式，运动模式包括发声单元、尾部单元、头部单元、心跳单元。
本发明的有益效果是：
1、相对于现有技术在动物身上佩戴监测设备影响动物的真实感知表现，本申请能够捕获动物的真实动作和音频；
2、对捕获的多源数据进行处理，同步图像数据与音频数据，将多源连贯性的数据进行拆分重构得到指令化下的动物模型反馈系统。
附图说明
本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1是根据本说明书一些实施例所示的工作原理示意图；
图2是根据本说明书一些实施例所示的骨架运动模型示意图；
图3是根据本说明书一些实施例所示的骨架运动模型上触点的示意图。
附图标记说明：101、骨架运动模型；102、触点。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
实施例：
本实施例包括一种应用于仿生动物中的多源数据处理方法，旨在对单一的图像数据、单一的音频数据、图像音频混合数据等进行动态处理，请参照图1，具体包括下列步骤：
S1：活体生态采集，包括摄录动物在不同兴奋值下的状态图像和连续兴奋值之间的状态图像；
S2：动态图像处理，包括将连续多帧图像进行仿真点位捕捉，生成音频曲线和每个仿真点位跟随曲线；
S3：关联点位模拟，包括获取骨架运动模型确定关节点位，将关节点位与仿真点位进行关联，将跟随曲线上载至关节点位，得到标准跟随曲线；
S4：实际动作修正，获取骨架运动模型在不同兴奋值下的动态视频，根据标准跟随曲线调节关节点位的跟随曲线作实际曲线，叠加音频曲线进行动态修正；
S5：训练触点响应逻辑，触摸将修正后的曲线函数进行自主学习模型进行训练，得到多组合触点响应逻辑；
S6：仿真动态输出，将训练完成的函数进行输入骨架运动模型。
其中所述活体生态采集包括下列步骤：
S11：设置动物生活环境的纯色布景，限定动物的活动范围；
S12：调整第一摄录器的拍摄角度，设置第一摄录器的采样时间；
S13：调整第二摄录器的拍摄角度，设置第二摄录器的采样时间；
S14：获取每组相对设置的摄录器的图像，其中第一摄录器与第二摄录器相对设置为一组摄录单元。
在本实施例中，通过在纯色的空间下捕获动物的形态，通过限定活动范围进行多角度拍摄动物，其中每组摄录单元捕获的数据为同一组数据，进行后续的图像处理，且，每组摄录单元中，第一摄录器与第二摄录器分别设置在空间的两侧相对设置，且摄像镜头相对平行，确保获取的动物图像能够进行耦合，直接进行图像之间的差值互补。
值得说明的是，不同的刺激方式作用在动物上，记录当下的兴奋值并用图像、视频、音频的方式记录动物在该兴奋值下的变化、移动、发声等，通过兴奋值来定义动物产生刺激性反馈的输入，计算动物在时段T内的兴奋值为，
其中，为多源数值转换函数，/>为时段T内的兴奋值，/>为时段T内的音频值，/>时段T内的变化值，/>和/>分别为声音权重和动作权重，/>，时段T为每组摄录单元的采样周期，/>包括位移参数/>、形体参数/>和面容参数/>在时段T内总变化值。在本实施例中获取单个仿真点在图像中的位置参数如表1，对兴奋值的统计如下：
表1在不同时刻下仿真点在空间中的位置参数
值得说明的是，Y1、Y2、Y3、S1、S2和S3均为计算后的值，在本实施例中在图像采样频率低的情况下直接计算出Y1、Y2、Y3、S1、S2和S3为常数，/>表示、/>、/>的空间总值，同理/>和/>这里不赘述。/>为多源转换函数，基于时序、空间和声音的多源计算转换，具体计算方式，通过仿生动物的物理结构设定函数中的加权值，本实施例中，具体为/>（时间，位置，声音）整体进行数据计算，位置、声音均为分数制，即/>函数的输入值为多源时序函数，输出为单一变量时序函数。
值得说明的是，通过兴奋值量化动物发生变化的动态程度，通过收集动物在不同兴奋值下的动态变化，便于后续图像视频中的动物动作的提取。
值得说明的是，本实施例通过动物形体确定图像像素值后，进一步锁定图像中动物体的位置，通过RsTP图像处理系统在锁定首张图像中的动物体后，自动索引后续图像中的动物体，再通过图像确定动物体的平面坐标，进一步通过每组图像，确定空间体三维坐标，即，通过第一摄录器获取的第一图像确定动物体上仿真点的横、纵坐标，通过第二图像确定该仿真的另一横、纵坐标，第一图像中得到连续的仿真点动态曲线，第二图像得到连续的仿真点动态曲线，将两者曲线进行融合，当两者出现差值时，保留曲线波动大的动态，剔除曲线波动小的动态，确保该仿真点的动态不遗漏，例如，当相对的摄录器拍摄到动物的背面，这时对面的摄录器捕获的动态具有更精细的动态效果，还例如，位移参数、形体参数和面容参数/>中的第三坐标值，即除图像中横纵坐标值以外的第三坐标值，通过动物体的生物尺寸参数进行确定，自动进行填充到位移参数/>、形体参数/>和面容参数/>中。
值得说明的是，所述动态图像处理包括下列步骤：
S21：确定动物的仿真点位，录入仿真点位的特征参数；
S22：划分摄录背景的空间坐标，锁定图像中仿真点位的空间坐标值；
S23：按照时间顺序依次连接仿真点位的空间坐标，得到跟随曲线；
S24：根据摄录音频的时间点，插入至相应时间点的跟随曲线。
值得说明的是，对于摄录器获取的图像进行时间顺序排列逐张对每组图像进行处理,包括S21中，首先确定动物的仿真点位，在本实施例中以猫为例,成年猫身上共有200多块骨头,其中肉眼能看到其关节动作的有18枚骨头(颈骨、胸骨、腰骨、尾骨、颅骨、股骨、指骨、髌骨等等)以及20枚尾骨,在上述能产生肉眼变化的关节的骨头选取若干作为仿真点,并录入仿真点的位置，在步骤S22中，在活体猫活动区间中划分空间坐标，并套取仿真点的空间坐标值，包括但不限于通过像素的识别套取仿真点的坐标值等等，进一步得到S23中的跟随曲线，其中活体猫在监测的采样周期T内会发生不同的叫声，按照时间顺序记录叫声类型和大小，将音频插入到对应的跟随曲线的时间点上，得到若干个带音频的关节仿真点动态曲线。
值得说明的是，本实施例中包括但不限于采用自动输入坐标、图像圈定等方式进行仿真点的选择、设定，本申请还包括图像处理平台，图像处理平台中预存有多组摄录器获取的相对角度拍摄的动物视频、图像，通过在图像处理平台上输入待选择追踪的仿真点，输出每个仿真点的时序跟随曲线。
所述关联点位模拟包括下列步骤：
S31：将相同位置处的关节点位与仿真点位进行关联，当关节点位与仿真点位关联成功时，执行S32，关节点位与仿真点位关联失败时，执行S33；
S32：将所述仿真点位的跟随曲线上载至所述关节点位，执行S35；
S33：若该位置处存在多个仿真点位，选择其中至少一个仿真点位执行S32，若该位置处无邻近仿真点位，执行S34；
S34：选择离该位置最近的至少2个仿真点位进行曲线均差计算，得到虚拟仿真点位，将该虚拟仿真点位的跟随曲线上载至所述关节点位，执行S35；
S35：得到骨架运动模型上所有关节点位的标准跟随曲线。
实际在制造仿生的骨架运动模型时，为了能够更贴近动物真实的状态通过分析动物的真实关节数量和尺寸进行物理结构构建，关联点的模拟旨在将活体动物的关节点与物理模型中的关节点进行关联配对，仿真点的选择旨在通过图像获取动物动作明显的部位，物理模型中关节点位的选择旨在配合物理机械机构能够变化的部位，通过步骤S31至S35进行两者配对，便于骨架运动模型上的关节能够产生仿真点的动态运动，确保与图像上的动作相同。
值得注意的是，当物理结构模型上所有的关节点位均有对应的仿真点配对时，则完成步骤S31至S35，其中，本实施例中上载的技术是通过骨架运动模型或云端进行通信控制对应关节点位的运动。
值得说明的是，所述S4还包括下列步骤：
S41：通过后台输入兴奋值，驱动骨架运动模型播放执行音频，关节点位产生执行行为；
S42：根据执行行为得到关节行为的执行曲线，与该兴奋值下的标准跟随曲线进行容差，得到调节后的关节点位实际曲线；
S43：动态修正包括将实际曲线与步骤S24中跟随曲线重合部分处的音频进行截取，在驱动结构模型按照该重合部分处实际曲线动作时，播放截取的音频。
值得说明的是，当配对成功后，进行音频动作的双重测试，确保骨架运动模型上每个关节点位的动态、以及音频符合图像中的多源参数，对于不符合的进行校准，其中符合与否的标准通过二次拍摄骨架运动模型，并将关节点位作为曲线测试的跟踪点，将执行曲线与跟随曲线进行差值比较，即通过空间坐标曲线的差值比较，同时，获取骨架运动模型中各个关节的位移、动作的极限区间，在极限区间内，将执行曲线与跟随曲线进行调整，并将调整后的曲线示数反馈至骨架运动模型的对应关节处，其中容差的标准即为极限区间的大小。
值得注意的还是，所述S5包括下列具体步骤：
S51：将曲线函数作为输入发送至自主学习模型中，通过调整仿生系数决定自主学习的强度；
S52：自主学习模型通过输出优化曲线，提取优化曲线中的音频发生逻辑发送至骨架运动模型，骨架运动模型驱动发声装置工作；
S53：将优化曲线中的关节点位发生逻辑发送至骨架运动模型，骨架运动模型驱动各个关节进行时间和角度转动。
值得注意的是，将修正后的数学曲线函数发送至自主学习模型，曲线函数旨在是单个关节点在单一兴奋值下时间顺序上的动态响应函数，对于单个关节点在多个兴奋值下，产生的动态响应则通过自主学习模型进行训练生成，其中S51中，仿生系数为兴奋值的区间，通过调节仿生系数的大小，自主训练该关节点位能够进行的动作强度和时长。
值得说明的是，所述自主学习模型的工作过程还包括下列步骤：
S511：获取所有状态下的骨架运动模型，根据骨架运动模型获得对应的每个关节在不同状态下的运动曲线，梳理以单个关节为首，以单个关节相邻的关节为尾的运动曲线，得到该关节的多条趋势运动曲线；其中该不同状态对应的是在不同兴奋值下的动物运动状态；
S512：当关节获取响应信号时，根据趋势运动曲线和骨架运动模型，映射多种趋势形态；
S513：结合数据库中预存的触摸动态图像，计算在趋势形态中的精确度最高趋势运动曲线作为优化曲线，其中触摸动态图像基于触摸动物身体上对应触点进行拍摄。其中数据库为动物的在不同兴奋值状态下的图像合集。
值得注意的是，步骤S513中，精确度的计算包括动物身上触点的位置与骨架运动模型上的真实触点间的位置差值，通过触点被接触顺序和时长，结合环境音得出刺激值，如下：
式中，用于计算出具体启动的触点个数和类型，请参照图3，/>为环境刺激音量和类型，/>为刺激时长，/>分别为骨架运动模型上的触点。
本实施例以猫为例，得到表2运动模式启动表，表2中，当刺激值达到兴奋值时，触发对应的运动模式，
表2运动模式启动表
值得注意的是，请参照图2，所述骨架运动模型101上设置多个触点，当至少一个触点启动时，骨架运动模型上至少产生一组组合运动模式，运动模式包括发声单元、尾部单元、头部单元、心跳单元，其中发声单元包括5种声音，表2中仅展示部分的运动模式。参照图3，本实施例中包括设置在头部触点102、背部2个触点（图中未标记）、喉颈部触点（图中未示出）等，心跳单元包括模拟活体猫咪正常的心跳功能。心跳长按触发：手放在背部触点，长按超过两秒心跳震动才会触发，只要触点被触摸，就一直心跳，手一旦离开，就停止心跳震动。
值得注意的是，本实施例还包括在待机模式下的自反馈模式，连续15秒没有触摸的情况条件下，进入自反馈模式（15秒＜自反馈＜3分钟）。自反馈模式为每间隔15秒,自主随机触发动作或猫叫声（a.自反馈模式下的猫叫声为其中指定的5种声音，作为猫叫随机发声；b.进入睡眠前的最后一次的自反馈发声为指定声音，作为睡眠音源）。
值得说明的是，本实施例通过在骨架运动模型上设置有中控中心和无线通信单元，云端通过无线通信单元发送指令/修改参数，中控中心驱动各个关节按照自主学习的曲线产生相应的运动模式，包括但不限于使用comTool发送命令的方式修改，修改的参数包括但不限于猫咪叫声音频的音量大小调节、心跳每秒频率和触发所需时长、尾摆角度和时间、头部摆动角度和时间等等。
Claims (10)
1.一种应用于仿生动物中的多源数据处理方法，其特征在于，具体包括下列步骤：
S1：活体生态采集，包括摄录动物在不同兴奋值下的状态图像和连续兴奋值之间的状态图像；
S2：动态图像处理，包括将连续多帧图像进行仿真点位捕捉，生成音频曲线和每个仿真点位跟随曲线；
S3：关联点位模拟，包括获取骨架运动模型确定关节点位，将关节点位与仿真点位进行关联，将跟随曲线上载至关节点位，得到标准跟随曲线；
S4：实际动作修正，获取骨架运动模型在不同兴奋值下的动态视频，根据标准跟随曲线调节关节点位的跟随曲线作实际曲线，叠加音频曲线进行动态修正；
S5：训练触点响应逻辑，触摸将修正后的曲线函数进行自主学习模型进行训练，得到多组合触点响应逻辑；
S6：仿真动态输出，将训练完成的函数进行输入骨架运动模型。
2.根据权利要求1所述的一种应用于仿生动物中的多源数据处理方法，其特征在于，所述活体生态采集包括下列步骤：
S11：设置动物生活环境的纯色布景，限定动物的活动范围；
S12：调整第一摄录器的拍摄角度，设置第一摄录器的采样时间；
S13：调整第二摄录器的拍摄角度，设置第二摄录器的采样时间；
S14：获取每组摄录单元的图像，其中第一摄录器与第二摄录器为一组摄录单元，且第一摄录器与第二摄录器位于相同水平面。
3.根据权利要求2所述的一种应用于仿生动物中的多源数据处理方法，其特征在于，计算动物在时段T内的兴奋值为，
其中，为多源数值转换函数，/>为时段T内的兴奋值，/>为时段T内的音频值，为时段T内的变化值，/>和/>分别为声音权重和动作权重，时段T内划分n个采样时间/>，/>，时段T为每组摄录单元的采样周期，/>包括位移参数、形体参数和面容参数在时段T内总变化值，/>为采样时间/>时的音频值，/>为采样时间/>时的兴奋值。
4.根据权利要求3所述的一种应用于仿生动物中的多源数据处理方法，其特征在于，所述动态图像处理包括下列步骤：
S21：确定动物的仿真点位，录入仿真点位的特征参数；
S22：划分摄录背景的空间坐标，锁定图像中仿真点位的空间坐标值；
S23：按照时间顺序依次连接仿真点位的空间坐标，得到跟随曲线；
S24：根据摄录音频的时间点，插入至相应时间点的跟随曲线。
5.根据权利要求4所述的一种应用于仿生动物中的多源数据处理方法，其特征在于，所述关联点位模拟包括下列步骤：
S31：将相同位置处的关节点位与仿真点位进行关联，当关节点位与仿真点位关联成功时，执行S32，关节点位与仿真点位关联失败时，执行S33；
S32：将所述仿真点位的跟随曲线上载至所述关节点位，执行S35；
S33：若该位置处存在多个仿真点位，选择其中至少一个仿真点位执行S32，若该位置处无邻近仿真点位，执行S34；
S34：选择离该位置最近的至少2个仿真点位进行曲线均差计算，得到虚拟仿真点位，将该虚拟仿真点位的跟随曲线上载至所述关节点位，执行S35；
S35：得到骨架运动模型上所有关节点位的标准跟随曲线。
6.根据权利要求5所述的一种应用于仿生动物中的多源数据处理方法，其特征在于，所述S4还包括下列步骤：
S41：通过后台输入兴奋值，驱动骨架运动模型播放执行音频，关节点位产生执行行为；
S42：根据执行行为得到关节行为的执行曲线，与该兴奋值下的标准跟随曲线进行容差，得到调节后的关节点位实际曲线；
S43：动态修正包括将实际曲线与步骤S24中跟随曲线重合部分处的音频进行截取，在驱动结构模型按照该重合部分处实际曲线动作时，播放截取的音频。
7.根据权利要求6所述的一种应用于仿生动物中的多源数据处理方法，其特征在于，所述S5包括下列具体步骤：
S51：将曲线函数作为输入发送至自主学习模型中，通过调整仿生系数决定自主学习的强度；
S52：自主学习模型通过输出优化曲线，提取优化曲线中的音频发生逻辑发送至骨架运动模型，骨架运动模型驱动发声装置工作；
S53：将优化曲线中的关节点位发生逻辑发送至骨架运动模型，骨架运动模型驱动各个关节进行时间和角度转动。
8.根据权利要求7所述的一种应用于仿生动物中的多源数据处理方法，其特征在于，所述自主学习模型的工作过程还包括下列步骤：
S511：获取所有状态下的骨架运动模型，根据骨架运动模型获得对应的每个关节在不同状态下的运动曲线，梳理以单个关节为首，以单个关节相邻的关节为尾的运动曲线，得到该关节的多条趋势运动曲线；
S512：当关节获取响应信号时，根据趋势运动曲线和骨架运动模型，映射多种趋势形态；
S513：结合数据库中预存的触摸动态图像，计算在趋势形态中的精确度最高趋势运动曲线作为优化曲线，其中触摸动态图像基于触摸动物身体上对应触点进行拍摄。
9.根据权利要求8所述的一种应用于仿生动物中的多源数据处理方法，其特征在于，步骤S513中，精确度的计算包括动物身上触点的位置与骨架运动模型上的真实触点间的位置差值。
10.根据权利要求9所述的一种应用于仿生动物中的多源数据处理方法，其特征在于，所述骨架运动模型上设置多个触点，当至少一个触点启动时，骨架运动模型上至少产生一组组合运动模式，运动模式包括发声单元、尾部单元、头部单元、心跳单元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311434573.0A CN117172280B (zh) | 2023-11-01 | 2023-11-01 | 一种应用于仿生动物中的多源数据处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311434573.0A CN117172280B (zh) | 2023-11-01 | 2023-11-01 | 一种应用于仿生动物中的多源数据处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117172280A CN117172280A (zh) | 2023-12-05 |
| CN117172280B true CN117172280B (zh) | 2024-02-02 |
Family
ID=88947093
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311434573.0A Active CN117172280B (zh) | 2023-11-01 | 2023-11-01 | 一种应用于仿生动物中的多源数据处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117172280B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117786429B (zh) * | 2024-02-28 | 2024-05-07 | 齐鲁工业大学(山东省科学院) | 基于可穿戴设备的老人健康监测数据处理方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102135798A (zh) * | 2010-03-12 | 2011-07-27 | 微软公司 | 仿生学运动 |
| CN112060082A (zh) * | 2020-08-19 | 2020-12-11 | 大连理工大学 | 基于仿生强化学习型小脑模型的在线稳定控制仿人机器人 |
| CN114638064A (zh) * | 2022-03-23 | 2022-06-17 | 昆明理工大学 | 一种基于视觉的四足仿生机器人模拟动物步态的方法 |
| CN114897125A (zh) * | 2022-05-10 | 2022-08-12 | 中国石油大学(华东) | 一种基于秀丽线虫神经网络的仿生运动控制方法 |
| CN115840455A (zh) * | 2021-09-18 | 2023-03-24 | 腾讯科技（深圳）有限公司 | 用于足式机器人的运动控制方法和装置及足式机器人 |
| CN115937751A (zh) * | 2022-12-26 | 2023-04-07 | 安徽哲天物联网智能科技有限公司 | 一种面向机器人学习动作表达的数据处理系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7769487B2 (en) * | 2003-07-24 | 2010-08-03 | Northeastern University | Process and architecture of robotic system to mimic animal behavior in the natural environment |
| EP3480741A1 (en) * | 2017-10-27 | 2019-05-08 | DeepMind Technologies Limited | Reinforcement and imitation learning for a task |
| US20220323855A1 (en) * | 2019-09-06 | 2022-10-13 | Sports Data Labs, Inc. | System for generating simulated animal data and models |
-
2023
- 2023-11-01 CN CN202311434573.0A patent/CN117172280B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102135798A (zh) * | 2010-03-12 | 2011-07-27 | 微软公司 | 仿生学运动 |
| CN112060082A (zh) * | 2020-08-19 | 2020-12-11 | 大连理工大学 | 基于仿生强化学习型小脑模型的在线稳定控制仿人机器人 |
| CN115840455A (zh) * | 2021-09-18 | 2023-03-24 | 腾讯科技（深圳）有限公司 | 用于足式机器人的运动控制方法和装置及足式机器人 |
| CN114638064A (zh) * | 2022-03-23 | 2022-06-17 | 昆明理工大学 | 一种基于视觉的四足仿生机器人模拟动物步态的方法 |
| CN114897125A (zh) * | 2022-05-10 | 2022-08-12 | 中国石油大学(华东) | 一种基于秀丽线虫神经网络的仿生运动控制方法 |
| CN115937751A (zh) * | 2022-12-26 | 2023-04-07 | 安徽哲天物联网智能科技有限公司 | 一种面向机器人学习动作表达的数据处理系统 |
Non-Patent Citations (4)
| Title |
|---|
| From cineradiography to biorobots: an approach for designing robots to emulate and study animal locomotion;Karakasiliotis K 等;《Journal of The Royal Society Interface》;第13卷(第119期);1-15 * |
| 基于Arduino的仿生六足机器人双形态设计;方凯旗 等;《汽车实用技术》(第11期);62-65 * |
| 山羊多模式步态运动特性分析及仿真;许宇进;《中国优秀硕士学位论文全文数据库基础科学辑》(第2022(01)期);A006-422 * |
| 高速奔跑仿生机构的运动学模型;宋孟军 等;《机械设计与研究》(第02期);19-21+25 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117172280A (zh) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117172280B (zh) | 一种应用于仿生动物中的多源数据处理方法 | |
| CN109298779B (zh) | 基于虚拟代理交互的虚拟训练系统与方法 | |
| CN105426827B (zh) | 活体验证方法、装置和系统 | |
| CN109692003B (zh) | 一种儿童跑步姿态纠正训练系统 | |
| CN109498384B (zh) | 一种按摩部位识别、定位、按摩方法及装置、设备 | |
| CN108431736A (zh) | 用于身体上姿势接口以及投影显示的系统和方法 | |
| CN110502099A (zh) | 可靠地检测注视与刺激之间的关联的方法 | |
| CN103390174A (zh) | 基于人体姿态识别的体育教学辅助系统和方法 | |
| CN112198959A (zh) | 虚拟现实交互方法、装置及系统 | |
| CN106272446B (zh) | 机器人动作模拟的方法和装置 | |
| CN106267734A (zh) | 一种数字化健身系统 | |
| WO2016025460A1 (en) | Codification and cueing system for human interactions in tennis and other sport and vocational activities | |
| CN110464357A (zh) | 一种康复过程质量监测方法及系统 | |
| CN105446362B (zh) | 基于计算机科学辅助的姿势检测调整装置及其方法 | |
| CN107454313A (zh) | 农用智能装置的拍照方法及拍照系统 | |
| CN110841266A (zh) | 一种辅助训练系统及方法 | |
| Ohno et al. | Cyber-enhanced rescue canine | |
| Nagy et al. | SMART-BARN: Scalable multimodal arena for real-time tracking behavior of animals in large numbers | |
| JP2020195648A (ja) | 動作類似度評価装置、方法およびプログラム | |
| CN115909839B (zh) | 一种基于vr技术的医学教育培训考核系统及方法 | |
| Rucci et al. | Integrating robotics and neuroscience: brains for robots, bodies for brains | |
| Cheng et al. | Machine vision based physical fitness measurement with human posture recognition and skeletal data smoothing | |
| CN104318228A (zh) | 一种实现头戴式摄录设备获取最佳视野的方法 | |
| CN113902845A (zh) | 一种动作视频生成方法、装置、电子设备和可读存储介质 | |
| EP4226265A1 (en) | Method for configuring data acquisition settings of a computing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |