CN109447038A - 触觉信息估算方法及装置、系统 - Google Patents
触觉信息估算方法及装置、系统 Download PDFInfo
- Publication number
- CN109447038A CN109447038A CN201811422882.5A CN201811422882A CN109447038A CN 109447038 A CN109447038 A CN 109447038A CN 201811422882 A CN201811422882 A CN 201811422882A CN 109447038 A CN109447038 A CN 109447038A
- Authority
- CN
- China
- Prior art keywords
- tactile
- feature
- formation
- physical impacts
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000011157 data evaluation Methods 0.000 title claims abstract description 19
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 99
- 238000013139 quantization Methods 0.000 claims abstract description 22
- 230000002123 temporal effect Effects 0.000 claims abstract description 18
- 230000007613 environmental effect Effects 0.000 claims description 71
- 238000000605 extraction Methods 0.000 claims description 12
- 230000008878 coupling Effects 0.000 claims description 9
- 238000010168 coupling process Methods 0.000 claims description 9
- 238000005859 coupling reaction Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000010191 image analysis Methods 0.000 claims description 7
- 230000036410 touch Effects 0.000 description 76
- 210000003491 skin Anatomy 0.000 description 74
- 239000000463 material Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000002500 effect on skin Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 108091026890 Coding region Proteins 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000002615 epidermis Anatomy 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 108091008708 free nerve endings Proteins 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004579 marble Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004165 myocardium Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008058 pain sensation Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种触觉信息估算方法及装置、系统，所述方法包括：对采集到的视频图像以及音频进行分析，获取触觉形成时的物理碰撞特征；根据所述触觉形成时的物理碰撞特征，获取触觉形成时的核心特征；所述触觉形成时的核心特征包括：触摸特征、场景特征、皮肤接触界面特征、触觉归属特征以及时间特征；对所述触觉形成时的核心特征进行量化编码，生成触觉信息编码序列；保存所述触觉信息编码序列。上述方案能够根据视频图像以及音频，实现从视频信息以及音频中获取触觉信息，并实现触觉信息的存储。
Description
技术领域
本发明涉及生物信息处理领域，尤其涉及一种触觉信息估算方法及装置、系统。
背景技术
触觉是生物感受本身，特别是体表的机械接触(接触刺激)的感觉，是由压力和牵引力作用于触觉感受器而引起的。
触觉感受器是指分布于全身皮肤上的神经细胞，能够接收来自外界的温度、湿度、疼痛、压力、振动等方面的感觉。多数动物的触觉感受器是遍布全身的。例如，人的皮肤位于人的体表，依靠表皮的游离神经末梢能感受温度、痛觉、触觉等多种感觉。狭义的触觉，指刺激轻轻接触皮肤触觉感受器所引起的肤觉。广义的触觉，还包括增加压力使皮肤部分变形所引起的肤觉，即压觉。一般统称为“触压觉”。
目前，在对某个具体场景或人物交谈进行记录时，可以采用成熟的音视频录制技术进行录制，以记录听觉信息、视觉信息并存储。然而，人与人之间或者人与场景之间的触觉信息无法录制，也无法通过视频或者音频来获取触觉信息。
发明内容
本发明实施例解决的问题是无法通过视频图像或者音频来获取触觉信息的技术问题。
为解决上述问题，本发明实施例提供一种触觉信息估算方法，包括：对采集到的视频图像以及音频进行分析，获取触觉形成时的物理碰撞特征；根据所述触觉形成时的物理碰撞特征，获取触觉形成时的核心特征；所述触觉形成时的核心特征包括：触摸特征、场景特征、皮肤接触界面特征、触觉归属特征以及时间特征；对所述触觉形成时的核心特征进行量化编码，生成触觉信息编码序列；保存所述触觉信息编码序列。
可选的，所述对采集到的视频图像以及音频进行分析，获取触觉形成时的物理碰撞特征，包括：对所述视频图像进行分析，获取所述视频图像中记载的触觉形成时的物理碰撞图像特征；对所述音频进行分析，获取所述音频中记载的触觉形成时的物理碰撞声音特征；根据所述物理碰撞图像特征以及所述物理碰撞声音特征，确定触觉形成时的物理碰撞特征。
可选的，所述根据所述触觉形成时的物理碰撞特征，获取触觉形成时的核心特征，包括：根据所述物理碰撞图像特征，识别触觉形成时的触摸方与被触摸方的接触界面特征，获取所述皮肤接触界面特征；根据所述物理碰撞图像特征与所述物理碰撞声音特征中的至少一种，获取触觉形成时的触摸特征、场景特征、触觉归属特征以及时间特征。
可选的，所述皮肤接触界面特征包括以下至少一种：皮肤接触界面的表皮纹理、皮肤接触界面的粗糙程度、皮肤接触界面的粘滞程度、皮肤接触界面的柔软程度、皮肤接触界面的接触压力以及皮肤接触界面的机械形变。
可选的，所述触觉信息估算方法，还包括：获取触觉形成时的环境特征，所述环境特征包括以下至少一种：温度特征、湿度特征、气压特征。
可选的，所述获取触觉形成时的环境特征，包括以下至少一种：从所述视频图像中获取触觉形成时的环境特征；从所述音频中获取触觉形成时的环境特征。
可选的，所述从所述视频图像中获取触觉形成时的环境特征，包括：从所述视频图像中，获取触摸方与被触摸方至少一方对应的衣着特征；根据所述衣着特征，获取所述触觉形成时的环境特征。
可选的，所述将提取出的核心特征进行量化编码，形成触觉信息编码序列，还包括：将所述环境特征以及所述核心特征进行量化编码，形成触觉信息编码序列。
本发明实施例还提供了一种触觉信息估算装置，包括：碰撞特征获取单元，用于对采集到的视频图像以及音频进行分析，获取触觉形成时的物理碰撞特征；核心特征获取单元，用于根据所述触觉形成时的物理碰撞特征，获取触觉形成时的核心特征；所述触觉形成时的核心特征包括：触摸特征、场景特征、皮肤接触界面特征、触觉归属特征以及时间特征；生成单元，用于对提取出的核心特征进行量化编码，生成触觉信息编码序列；保存单元，用于保存所述触觉信息编码序列。
可选的，所述碰撞特征获取单元，用于对所述视频图像进行分析，获取所述视频图像中记载的触觉形成时的物理碰撞图像特征；对所述音频进行分析，获取所述音频中记载的触觉形成时的物理碰撞声音特征；根据所述物理碰撞图像特征以及所述物理碰撞声音特征，确定触觉形成时的物理碰撞特征。
可选的，所述核心特征获取单元，用于根据所述物理碰撞图像特征，识别触觉形成时的触摸方与被触摸方的接触界面特征，获取所述皮肤接触界面特征；根据所述物理碰撞图像特征与所述物理碰撞声音特征中的至少一种，获取触觉形成时的触摸特征、场景特征、触觉归属特征以及时间特征。
可选的，所述皮肤接触界面特征包括以下至少一种：皮肤接触界面的表皮纹理、皮肤接触界面的粗糙程度、皮肤接触界面的粘滞程度、皮肤接触界面的柔软程度、皮肤接触界面的接触压力以及皮肤接触界面的机械形变。
可选的，所述触觉信息估算装置还包括：环境特征获取单元，用于获取触觉形成时的环境特征，所述环境特征包括以下至少一种：温度特征、湿度特征、气压特征。
可选的，所述环境特征获取单元，用于采用如下至少一种方式获取触觉形成时的环境特征：从所述视频图像中获取触觉形成时的环境特征；从所述音频中获取触觉形成时的环境特征。
可选的，所述环境特征获取单元，用于从所述视频图像中，获取触摸方与被触摸方至少一方对应的衣着特征；根据所述衣着特征，获取所述触觉形成时的环境特征。
可选的，所述生成单元，还用于将所述环境特征以及所述核心特征进行量化编码，形成触觉信息编码序列。
本发明实施例还提供了一种触觉信息估算系统，包括：触觉特征提取装置，与预先存储有视频图像以及音频的第一存储器耦接，包括：用于对输入的视频图像进行分析的视频图像分析装置；与所述视频图像分析装置耦接的第一触觉估算装置，所述第一触觉估算装置适于根据所述视频图像估算得到第一触觉信息；用于对输入的音频进行分析的音频分析装置；与所述音频分析装置耦接的第二触觉估算装置，所述第二触觉估算装置适于根据所述音频估算得到第二触觉信息；分别与所述第一触觉估算装置、所述第二触觉估算装置耦接的核心特征提取装置，适于根据所述第一触觉信息以及所述第二触觉信息，得到触觉形成时的核心特征；编码器，与所述触觉特征提取装置耦接，适于对所述触觉特征提取装置输出的核心特征进行量化编码；第二存储器，与所述编码器连接，适于存储所述触觉信息编码序列。
可选的，所述编码器，还适于对所述环境特征以及所述核心特征进行编码量化。
与现有技术相比，本发明实施例的技术方案具有以下优点：
对采集到的视频图像以及音频进行分析，获取触觉形成时的物理碰撞特征。根据触觉形成时的物理碰撞特征，获取触觉形成的核心特征。对所提取出的核心特征进行量化编码，形成触觉信息编码序列并存储，从而可以实现根据视频图像以及音频来估算触觉信息，并实现触觉信息的存储。
附图说明
图1是本发明实施例中的一种触觉信息估算方法的流程图；
图2是本发明实施例中的一种触觉信息估算装置的结构示意图；
图3是本发明实施例中的一种触觉信息估算系统的结构示意图；
图4是本发明实施例中的一种触觉信息估算方法对应的场景示意图。
具体实施方式
目前，在对某个具体场景或人物交谈进行记录时，可以采用成熟的音视频录制技术进行录制，以记录听觉信息、视觉信息并存储。例如，可以通过摄像头进行视觉信息的录制，通过麦克风进行听觉信息的录制。然而，人与人之间或者人与场景之间的触觉信息无法直接通过摄像头或者麦克风等设备直接获取并录制。
在本发明实施例中，对采集到的视频图像以及音频进行分析，获取触觉形成时的物理碰撞特征。根据触觉形成时的物理碰撞特征，获取触觉形成的核心特征。对所提取出的核心特征进行量化编码，形成触觉信息编码序列并存储，从而可以实现根据视频图像以及音频来估算触觉信息，并实现触觉信息的存储。
为使本发明实施例的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
本发明实施例提供了一种触觉信息估算方法，参照图1，以下通过具体步骤进行详细说明。
在具体实施中，可以采用具有数据处理功能的智能设备来执行本发明实施例中提供的触觉信息估算方法。在本发明实施例中，智能设备可以为能够执行触觉信息估算方法的智能手机、智能平板或者个人电脑等电子设备，也可以为其他类型的电子设备，此处不做赘述。
步骤S101，对采集到的视频图像以及音频进行分析，获取触觉形成时的物理碰撞特征。
在具体实施中，可以对预先采集到的视频图像以及音频进行分析，从中获取触觉形成时的物理碰撞特征；也可以对实时采集到的视频图像以及音频进行分析，从中获取触觉形成时的物理碰撞特征。
在具体实施中，可以分别对采集到的视频图像以及音频进行分析。在本发明实施例中，对视频图像进行分析，获取视频图像中记载的触觉形成时的物理碰撞图像特征；对音频进行分析，获取音频中记载的触觉形成时的物理碰撞声音特征。根据获取到的物理碰撞图像特征以及物理碰撞声音特征，确定触觉形成时的物理碰撞特征。
在本发明实施例中，在根据视频图像检测到触觉形成时，可以获取触觉形成时以及触觉进行过程的图像作为物理碰撞图像特征，也即将视频图像中的部分帧图像作为触觉形成时的物理碰撞图像特征。
在实际应用中可知，触摸方与被触摸方之间的触觉发生之前，触摸方与被触摸方之间存在相对运动的关系。也就是说，在触觉发生之前，触摸方与被触摸方之间的位置关系发生了改变。因此，可以从视频图像中，获取触觉发生之前且与本次触觉发生存在相应关系的图像也作为物理碰撞图像特征。
当触觉形成时，从视频图像中可以获知触摸方与被触摸方发生实质性接触。从视觉上而言，触摸方的图像与被触摸方的图像存在一定的重叠。触摸方的图像与被触摸方的图像重叠的时长可以判定为触觉的持续时间，重叠的面积可以体现出触觉形成时的接触面积等参数。
在本发明实施例中，在根据音频检测到触觉形成时，可以获取触觉形成时的音频作为物理碰撞音频特征。物理碰撞音频特征可以包括触觉形成时的触摸特征、场景特征、触觉归属特征以及时间特征等。
在具体实施中，在从音频中获取到有别于背景音的声音时，可以确定有别于背景音的声音是否与触觉形成相关。在确定有别于背景音的声音与触觉形成相关时，即可获取到触觉形成时的时间特征。
例如，在音频中获取到“嘭嘭嘭”的碰撞声音，则确定触觉形成时的时间特征为“嘭嘭嘭”碰撞声音对应的时间。
在实际应用中，可以对视频图像进行处理，获取视频图像的每一帧图像。从视频图像中识别出人物图像，进而识别出视频图像中人与物之间的物理碰撞关系或者人与人之间的物理碰撞关系。
在识别人与人之间的物理碰撞关系时，可以根据视频图像中的每一帧，获取人与人之间的相对位置关系。根据每一帧图像中人与人之间的相互位置关系，可以获知不同帧图像中人与人之间相对位置的变化量，进而获取人与人之间的加速度特征。
相应地，在识别人与物之间的物理碰撞关系时，也可以根据视频图像中的每一帧，获取人与物之间的相对位置关系。根据每一帧图像中人与物之间的相互位置关系，可以获知不同帧图像中人与物之间相对位置的变化量，进而获取人与物之间的加速度特征。
在本发明实施例中，上述获取到的人与人之间的加速度特征或人与物之间的加速度特征也可以从属于物理碰撞图像特征。
步骤S102，根据所述触觉形成时的物理碰撞特征，获取触觉形成时的核心特征。
在具体实施中，触觉形成时的各个维度的核心特征可以是指形成触觉所必须采集到的特征。具体而言，在触觉形成时的过程中，可以获知触摸方以及被触摸方、触觉的归属对象、触摸的部位以及触摸方的皮肤接触界面等信息。此外，还可以获知触摸是抚摸、击打、按压等。
因此，在本发明实施例中，触觉形成时的各个维度的核心特征可以包括：触摸特征、场景特征、皮肤接触界面特征、触觉归属特征。
触摸特征可以为触摸的具体表现形式，具体可以包括抚摸、按压、击打等形式。例如，触摸特征为用户甲抚摸用户乙。
皮肤接触界面特征可以包括以下至少一种：皮肤接触界面的表皮纹理、皮肤接触界面的粗糙程度、皮肤接触界面的粘滞程度、皮肤接触界面的柔软程度、皮肤接触界面的接触压力以及皮肤接触界面的机械形变。
触摸归属特征可以包括：触摸方及触摸方的触摸部位，被触摸方及被触摸方的被触摸部位。
场景特征可以为触摸动作发生时的具体场景。例如，场景特征为：用户甲使用左手按压用户乙的左手臂。
在本发明实施例中，物理碰撞图像特征中，可以包括触摸特征、场景特征、皮肤接触界面特征、触觉归属特征等。
从物理碰撞图像特征中，可以识别出触觉形成时的触摸方与被触摸方的接触界面特征，从而获取皮肤接触界面特征。在实际应用中，可以根据人工智能识图等方法，获取触觉形成时触摸方与被触摸方的接触界面特征。
在具体实施中，可以根据物理碰撞图像特征中，触摸方与被触摸方的接触界面对应的材质，获取皮肤接触界面特征。在实际应用中，可以预先根据经验数据，针对皮肤接触的不同材质，获取不同材质对应的粗糙程度、粘滞程度、柔软程度等。
例如，触摸方为人的手掌，被接触方为人的面部皮肤，则接触界面对应的材质为皮肤，对应的粗糙程度为9级、粘滞程度为3级、柔软程度为1级。
又如，触摸方为人的手掌，被接触方为大理石材质，则接触界面对应的材质为皮肤与石材，对应的粗糙程度为6级、柔软程度为8级。
例如，根据物理碰撞图像特征，识别出触觉形成时触摸方为中年男性的右手，被触摸方为年轻女性的左脸颊，则皮肤接触界面特征包括：
皮肤接触界面的表皮纹理：男性手心肌肤、女性脸部肌肤；
皮肤接触界面的粗糙程度：8级(1级为最粗糙，9级为最光滑)；
皮肤接触界面的粘滞程度：3级内摩擦系数；
皮肤接触界面的柔软程度：2级(1级最柔软，9级最坚硬)；
皮肤接触界面的接触压力：1kg/平方厘米。
在具体实施中，可以根据物理碰撞图像特征，获取触觉形成时的触摸特征、场景特征、触觉归属特征。并且，还可以根据视频图像的时间轴，获取触觉形成时的时间特征。
例如，根据物理碰撞图像特征，识别出触摸特征为：抚摸；场景特征为：男主角用右手抚摸女主角左脸脸颊；触觉归属特征为：男主角，右手；女主角，左脸颊；时间特征为：视频开始之后1000ms。
在具体实施中，也可以根据物理碰撞声音特征，来获取触觉形成时的触摸特征、场景特征、触觉归属特征以及时间特征。物理碰撞声音特征可以包括声音的音色、音量等特征。
例如，根据声音“啪”、“啊”，即可判定触摸特征为拍打，确定“啊”声音的发出者为被触摸方。
在具体实施中，触觉形成时的各个维度的核心特征还可以包括环境特征。在采集视频图像以及音频的同时，还可以采集触觉形成时的环境特征。
在本发明实施例中，环境特征可以包括温度特征、湿度特征、气压特征等。可以理解的是，环境特征还可以包括其他的特征，例如亮度特征、风力特征等，此处不做赘述。
在具体实施中，可以预先设置有环境参数传感器，通过环境参数传感器采集环境数据。
在具体实施中，环境参数传感器可以包括温度传感器、湿度传感器、气压传感器等中的任一种或多种。环境参数传感器的类型可以根据所需要获取的环境特征来决定。所需要获取的环境特征不同，所选择的环境参数传感器也可以不同。所需要获取的环境特征可以根据用户的对触觉信息录制的需求进行设定，不同的用户可以存在不同的需求。
例如，针对用户A，在使用智能设备进行触觉信息录制时，需要同时记录温度特征以及湿度特征。因此，环境参数传感器包括温度传感器以及湿度传感器。
针对同一种环境特征，可以采用一个相应的环境参数传感器来采集相应的环境参数，也可以采用多个相应的环境参数传感器来采集相应的环境参数。例如，在采集温度特征时，采用多个温度传感器采集触觉场景中的温度参数。
在具体实施中，也可以从视频图像中，获取触觉形成时的环境特征。在本发明实施例中，可以从视频图像中，获取触摸方与被触摸方至少一方对应的衣着特征。根据获取到的衣着特征，可以获取对应的环境特征。
例如，从视频图像中，获取触摸方的衣着特征为短袖，则确定对应的环境特征包括：温度为30摄氏度，相对湿度为49％。
在具体实施中，也可以通过音频获取触觉形成时的环境特征。例如，通过对音频进行分析，获知音频中存在燃烧时发出的声响，即可判定触觉形成时，触摸方与被触摸方周围设置有壁炉或火堆。因此，确定对应的环境特征为：温度为28℃，相对湿度为30％。
又如，通过对音频进行分析，获知音频中存在“呼呼”的风声，即可判定触觉形成时，触摸方与被触摸方处于空旷的环境，且四周风声较大，确定对应的环境特征为：温度为10℃，相对湿度为50％。
在具体实施中，在获取触觉形成时的环境特征时，也可以同时通过视频图像以及音频来获取。
例如，从视频图像中，获取触摸方的衣着特征为长袖衬衫；通过对音频进行分析，获知音频中存在“呼呼”的风声。确定对应的环境特征为：温度为20℃，相对湿度为50％。
与本发明上述实施例中，采用环境参数传感器获取到的环境特征相比，根据视频图像获取到的环境特征的准确性略差，但是由于无需外设的环境参数传感器，因此可以降低成本。
步骤S103，对所述触觉形成时的核心特征进行量化编码，生成触觉信息编码序列。
在具体实施中，在获取到触觉形成时的核心特征后，可以对触觉形成时的核心特征进行编码量化，从而生成触觉信息编码序列。
在具体实施中，在对触觉形成时的核心特征进行量化编码时，还可以将获取到的环境特征与触觉形成时的核心特征共同进行量化编码。
步骤S104，保存所述触觉信息编码序列。
在具体实施中，在得到触觉信息编码序列后，可以将触觉信息编码序列存储，以便后续查看或编辑。
在实际应用中，智能设备中可以内置有存储器。在生成触觉信息编码序列后，智能设备可以将触觉信息编码序列存储在内置的存储器中。例如，智能设备将触觉信息存储在智能设备的ROM中。
智能设备也可以外接有存储器，在生成触觉信息编码序列后，智能设备可以将触觉信息编码序列存储在外接的存储器中。例如，智能设备将触觉信息存储在与智能设备连接的U盘中。
下面通过举例对本发明实施例中提供的触觉信息估算方法进行说明。参照图4，给出了本发明实施例中的一种触觉信息估算方法对应的场景示意图。
智能设备加载并播放预先采集到的视频图像以及音频。智能设备抽取每一帧图像，并同步获取音频对应的波形图。
图4中，从视频图像中获取5帧图像，按照时间先后顺序，依次为图像41、图像42、图像43、图像44以及图像45，在图像43触觉形成。智能设备识别出视频图像中存在两个人，根据视频图像分析，检测到触觉形成时的触摸方为女士A的右手，被触摸方为女士B的左脸颊。触摸方与被触摸方均着夏装。女士A的右手相对于女士B的左脸颊的移动速度为3m/s，加速度为3m/s2。检测到女士A的年龄为16～18岁，女士B的年龄为16～18岁。
根据视频图像，触觉形成时，触摸方与被触摸方的接触界面特征为皮肤，皮肤接触界面特征包括：皮肤接触界面的表皮纹理：女性手心肌肤、女性脸部肌肤；皮肤接触界面的粗糙程度：9级(1级为最粗糙，9级为最光滑)；皮肤接触界面的粘滞程度：3级内摩擦系数；皮肤接触界面的柔软程度：2级(1级最柔软，9级最坚硬)；皮肤接触界面的接触压力：1kg/平方厘米；皮肤接触界面的温度：36.5℃。
根据女士A与女士B所着的夏装，根据历史经验数据，查找夏装状态下对应的环境温度：36.1℃；环境湿度：49％(相对湿度)；气压：1标准大气压。
根据音频，在图像43对应的时间点，获取到物理碰撞声音特征包括“啪”和“啊”，因此可以判定触摸特征为拍打，且拍打次数为一次，触觉形成的时间特征为图像43对应的时间点。
由此可见，对同步采集到的视频图像以及音频进行分析，获取触觉形成时的物理碰撞特征。根据触觉形成时的物理碰撞特征，获取触觉形成的核心特征。对所提取出的核心特征进行量化编码，形成触觉信息编码序列并存储，从而可以实现根据视频图像以及音频来估算触觉信息，并实现触觉信息的录制。
参照图2，给出了本发明实施例中的一种触觉信息估算装置20，包括：碰撞特征获取单元201、核心特征获取单元202、生成单元203以及保存单元204，其中：
碰撞特征获取单元201，用于对采集到的视频图像以及音频进行分析，获取触觉形成时的物理碰撞特征；
核心特征获取单元202，用于根据所述触觉形成时的物理碰撞特征，获取触觉形成时的核心特征；所述触觉形成时的核心特征包括：触摸特征、场景特征、皮肤接触界面特征、触觉归属特征以及时间特征；
生成单元203，用于对提取出的核心特征进行量化编码，生成触觉信息编码序列；
保存单元204，用于保存所述触觉信息编码序列。
在具体实施中，所述碰撞特征获取单元201，可以用于对所述视频图像进行分析，获取所述视频图像中记载的触觉形成时的物理碰撞图像特征；对所述音频进行分析，获取所述音频中记载的触觉形成时的物理碰撞声音特征；根据所述物理碰撞图像特征以及所述物理碰撞声音特征，确定触觉形成时的物理碰撞特征。
在具体实施中，所述核心特征获取单元202，可以用于根据所述物理碰撞图像特征，识别触觉形成时的触摸方与被触摸方的接触界面特征，获取所述皮肤接触界面特征；根据所述物理碰撞图像特征与所述物理碰撞声音特征中的至少一种，获取触觉形成时的触摸特征、场景特征、触觉归属特征以及时间特征。
在具体实施中，所述皮肤接触界面特征可以包括以下至少一种：皮肤接触界面的表皮纹理、皮肤接触界面的粗糙程度、皮肤接触界面的粘滞程度、皮肤接触界面的柔软程度、皮肤接触界面的接触压力以及皮肤接触界面的机械形变。
在具体实施中，所述触觉信息估算装置20还可以包括：环境特征获取单元(图2中未示出)，用于获取触觉形成时的环境特征，所述环境特征包括以下至少一种：温度特征、湿度特征、气压特征。
在具体实施中，所述环境特征获取单元，可以用于获取预设的环境数据，并从所述环境数据中提取所述环境特征；所述预设的环境数据为：在采集所述视频图像以及音频时，同步通过预设的环境参数传感器采集到的环境数据。
在具体实施中，所述环境特征获取单元，可以用于采用如下至少一种方式获取触觉形成时的环境特征：从所述视频图像中获取触觉形成时的环境特征；从所述音频中获取触觉形成时的环境特征。
在具体实施中，所述环境特征获取单元，可以用于从所述视频图像中，获取触摸方与被触摸方至少一方对应的衣着特征；根据所述衣着特征，获取所述触觉形成时的环境特征。
在具体实施中，所述生成单元204，还可以用于将所述环境特征以及所述核心特征进行量化编码，形成触觉信息编码序列。
参照图3，给出了本发明实施例中的一种触觉信息估算系统的结构示意图，触觉信息估算系统包括：
触觉特征提取装置31，与预先存储有视频图像以及音频的第一存储器30耦接，包括：用于对输入的视频图像进行分析的视频图像分析装置311；与所述视频图像分析装置311耦接的第一触觉估算装置312，所述第一触觉估算装置312适于根据所述视频图像估算得到第一触觉信息；用于对输入的音频进行分析的音频分析装置313；与所述音频分析装置313耦接的第二触觉估算装置314，所述第二触觉估算装置314适于根据所述音频估算得到第二触觉信息；分别与所述第一触觉估算装置312、所述第二触觉估算装置314耦接的核心特征提取装置315，适于根据所述第一触觉信息以及所述第二触觉信息，得到触觉形成时的核心特征；
编码器32，与所述触觉特征提取装置31耦接，适于对所述触觉特征提取装置输出的核心特征进行量化编码；
第二存储器33，与所述编码器32连接，适于存储所述触觉信息编码序列。
在具体实施中，所述第一存储器30中还存储有环境数据；所述触觉特征提取装置31，还适于获取触觉形成时的环境特征。
在具体实施中，所述编码器33，还适于对所述环境特征以及所述核心特征进行编码量化。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (10)
1.一种触觉信息估算方法，其特征在于，包括：
对采集到的视频图像以及音频进行分析，获取触觉形成时的物理碰撞特征；
根据所述触觉形成时的物理碰撞特征，获取触觉形成时的核心特征；所述触觉形成时的核心特征包括：触摸特征、场景特征、皮肤接触界面特征、触觉归属特征以及时间特征；
对所述触觉形成时的核心特征进行量化编码，生成触觉信息编码序列；
保存所述触觉信息编码序列。
2.如权利要求1所述的触觉信息估算方法，其特征在于，所述对采集到的视频图像以及音频进行分析，获取触觉形成时的物理碰撞特征，包括：
对所述视频图像进行分析，获取所述视频图像中记载的触觉形成时的物理碰撞图像特征；
对所述音频进行分析，获取所述音频中记载的触觉形成时的物理碰撞声音特征；
根据所述物理碰撞图像特征以及所述物理碰撞声音特征，确定触觉形成时的物理碰撞特征。
3.如权利要求2所述的触觉信息估算方法，其特征在于，所述根据所述触觉形成时的物理碰撞特征，获取触觉形成时的核心特征，包括：
根据所述物理碰撞图像特征，识别触觉形成时的触摸方与被触摸方的接触界面特征，获取所述皮肤接触界面特征；
根据所述物理碰撞图像特征与所述物理碰撞声音特征中的至少一种，获取触觉形成时的触摸特征、场景特征、触觉归属特征以及时间特征。
4.如权利要求3所述的触觉信息估算方法，其特征在于，所述皮肤接触界面特征包括以下至少一种：皮肤接触界面的表皮纹理、皮肤接触界面的粗糙程度、皮肤接触界面的粘滞程度、皮肤接触界面的柔软程度、皮肤接触界面的接触压力以及皮肤接触界面的机械形变。
5.如权利要求2所述的触觉信息估算方法，其特征在于，还包括：
从所述视频图像和所述音频中获取触觉形成时的环境特征，所述环境特征包括以下至少一种：温度特征、湿度特征、气压特征；
从所述视频图像中，获取触摸方与被触摸方至少一方对应的衣着特征；
根据所述衣着特征，获取所述触觉形成时的环境特征。
6.如权利要求5所述的触觉信息估算方法，其特征在于，所述对所述触觉形成时的核心特征进行量化编码，形成触觉信息编码序列，还包括：
将所述环境特征以及所述核心特征进行量化编码，形成触觉信息编码序列。
7.一种触觉信息估算装置，其特征在于，包括：
碰撞特征获取单元，用于对采集到的视频图像以及音频进行分析，获取触觉形成时的物理碰撞特征；
核心特征获取单元，用于根据所述触觉形成时的物理碰撞特征，获取触觉形成时的核心特征；所述触觉形成时的核心特征包括：触摸特征、场景特征、皮肤接触界面特征、触觉归属特征以及时间特征；
生成单元，用于对提取出的核心特征进行量化编码，生成触觉信息编码序列；
保存单元，用于保存所述触觉信息编码序列。
8.如权利要求7所述的触觉信息估算装置，其特征在于，所述碰撞特征获取单元，用于对所述视频图像进行分析，获取所述视频图像中记载的触觉形成时的物理碰撞图像特征；对所述音频进行分析，获取所述音频中记载的触觉形成时的物理碰撞声音特征；根据所述物理碰撞图像特征以及所述物理碰撞声音特征，确定触觉形成时的物理碰撞特征。
9.如权利要求8所述的触觉信息估算装置，其特征在于，所述核心特征获取单元，用于根据所述物理碰撞图像特征，识别触觉形成时的触摸方与被触摸方的接触界面特征，获取所述皮肤接触界面特征；根据所述物理碰撞图像特征与所述物理碰撞声音特征中的至少一种，获取触觉形成时的触摸特征、场景特征、触觉归属特征以及时间特征。
10.一种触觉信息估算系统，其特征在于，包括：
触觉特征提取装置，与预先存储有视频图像以及音频的第一存储器耦接，包括：用于对输入的视频图像进行分析的视频图像分析装置；与所述视频图像分析装置耦接的第一触觉估算装置，所述第一触觉估算装置适于根据所述视频图像估算得到第一触觉信息；用于对输入的音频进行分析的音频分析装置；与所述音频分析装置耦接的第二触觉估算装置，所述第二触觉估算装置适于根据所述音频估算得到第二触觉信息；分别与所述第一触觉估算装置、所述第二触觉估算装置耦接的核心特征提取装置，适于根据所述第一触觉信息以及所述第二触觉信息，得到触觉形成时的核心特征；
编码器，与所述触觉特征提取装置耦接，适于对所述触觉特征提取装置输出的核心特征进行量化编码；
第二存储器，与所述编码器连接，适于存储所述触觉信息编码序列。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811422882.5A CN109447038A (zh) | 2018-11-27 | 2018-11-27 | 触觉信息估算方法及装置、系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811422882.5A CN109447038A (zh) | 2018-11-27 | 2018-11-27 | 触觉信息估算方法及装置、系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109447038A true CN109447038A (zh) | 2019-03-08 |
Family
ID=65554909
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811422882.5A Pending CN109447038A (zh) | 2018-11-27 | 2018-11-27 | 触觉信息估算方法及装置、系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109447038A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115758107A (zh) * | 2022-10-28 | 2023-03-07 | 中国电信股份有限公司 | 触觉信号传输方法及装置、存储介质及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102227696A (zh) * | 2009-05-21 | 2011-10-26 | 松下电器产业株式会社 | 触感处理装置 |
| CN103065671A (zh) * | 2011-10-21 | 2013-04-24 | 广东新岸线计算机系统芯片有限公司 | 一种自适应调节芯片工作电压的方法和系统 |
| CN103245936A (zh) * | 2013-01-30 | 2013-08-14 | 中国人民解放军海军航空工程学院 | 一种基于drfm的通用无线电高度模拟器 |
| CN104679323A (zh) * | 2013-09-06 | 2015-06-03 | 意美森公司 | 动态触觉转换系统 |
| CN105892645A (zh) * | 2015-02-16 | 2016-08-24 | 联发科技股份有限公司 | 触觉系统及用于触觉系统的控制方法 |
| CN108885500A (zh) * | 2016-04-07 | 2018-11-23 | 国立研究开发法人科学技术振兴机构 | 触觉信息转换装置、触觉信息转换方法、及触觉信息转换程序 |
-
2018
- 2018-11-27 CN CN201811422882.5A patent/CN109447038A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102227696A (zh) * | 2009-05-21 | 2011-10-26 | 松下电器产业株式会社 | 触感处理装置 |
| CN103065671A (zh) * | 2011-10-21 | 2013-04-24 | 广东新岸线计算机系统芯片有限公司 | 一种自适应调节芯片工作电压的方法和系统 |
| CN103245936A (zh) * | 2013-01-30 | 2013-08-14 | 中国人民解放军海军航空工程学院 | 一种基于drfm的通用无线电高度模拟器 |
| CN104679323A (zh) * | 2013-09-06 | 2015-06-03 | 意美森公司 | 动态触觉转换系统 |
| CN105892645A (zh) * | 2015-02-16 | 2016-08-24 | 联发科技股份有限公司 | 触觉系统及用于触觉系统的控制方法 |
| CN108885500A (zh) * | 2016-04-07 | 2018-11-23 | 国立研究开发法人科学技术振兴机构 | 触觉信息转换装置、触觉信息转换方法、及触觉信息转换程序 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115758107A (zh) * | 2022-10-28 | 2023-03-07 | 中国电信股份有限公司 | 触觉信号传输方法及装置、存储介质及电子设备 |
| CN115758107B (zh) * | 2022-10-28 | 2023-11-14 | 中国电信股份有限公司 | 触觉信号传输方法及装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110531860B (zh) | 一种基于人工智能的动画形象驱动方法和装置 | |
| WO2021082749A1 (zh) | 一种基于人工智能的动作识别方法和相关装置 | |
| CN107485844B (zh) | 一种肢体康复训练方法、系统及嵌入式设备 | |
| CN107708483B (zh) | 用于使用霍尔效应传感器提取用户的运动特性以向用户提供反馈的方法和系统 | |
| WO2024169314A1 (zh) | 一种可形变神经辐射场网络的构建方法和装置 | |
| CN103426025B (zh) | 一种基于智能手机平台的非接触式俯卧撑计数方法 | |
| CN103500010B (zh) | 一种视频人手指尖定位方法 | |
| CN106582005A (zh) | 一种虚拟游戏中数据同步交互方法及装置 | |
| CN105451090B (zh) | 图像处理方法和图像处理装置 | |
| WO2020114157A1 (zh) | 交互控制方法和装置、存储介质及电子装置 | |
| CN107392098A (zh) | 一种基于人体骨架信息的动作完成度识别方法 | |
| CN109343695A (zh) | 基于虚拟人行为标准的交互方法及系统 | |
| CN109395375A (zh) | 一种基于增强现实与移动交互的三维游戏接口设计方法 | |
| CN109447038A (zh) | 触觉信息估算方法及装置、系统 | |
| CN115107037A (zh) | 一种辅助进食机械臂交互系统及方法 | |
| CN106020468A (zh) | 一种手套控制的增强现实系统 | |
| CN105279354B (zh) | 用户可融入剧情的情境建构系统 | |
| WO2017002012A1 (en) | Methods and systems for extracting motion characteristics of a user using a hall effect sensor to provide feedback to the user | |
| CN108211308B (zh) | 一种运动效果展示方法及装置 | |
| CN109710058A (zh) | 触觉信息录制方法及装置、系统 | |
| CN109710060A (zh) | 感官信息录制方法及装置、系统 | |
| CN108833671A (zh) | 电子装置的跌落检测方法及相关产品 | |
| CN114401434A (zh) | 对象显示方法和装置、存储介质及电子设备 | |
| CN110795017B (zh) | 一种虚拟按钮控制方法及其相关产品 | |
| CN109620144A (zh) | 触觉信息处理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |