CN112560583A - 一种数据集生成方法、装置 - Google Patents
一种数据集生成方法、装置 Download PDFInfo
- Publication number
- CN112560583A CN112560583A CN202011350199.2A CN202011350199A CN112560583A CN 112560583 A CN112560583 A CN 112560583A CN 202011350199 A CN202011350199 A CN 202011350199A CN 112560583 A CN112560583 A CN 112560583A
- Authority
- CN
- China
- Prior art keywords
- time
- matrix
- image
- reaction
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000033001 locomotion Effects 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims description 127
- 238000006243 chemical reaction Methods 0.000 claims description 97
- 230000035484 reaction time Effects 0.000 claims description 58
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000010276 construction Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 description 13
- 238000002372 labelling Methods 0.000 description 9
- 239000000523 sample Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/71—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明的一个技术方案是提供了一种数据集生成方法。本发明的另一个技术方案是提供了一种数据集生成装置，其特征在于，包括：图像数据采集模块；时间间隔获取模块；关联模块；训练数据生成模块。根据本发明的方法及装置训练得到的数据集主要用于训练图像识别模型，所述图像识别模型的用途包括对目标对象的运动方向进行识别，从而所述图像识别模型能够采用本方法生成的数据集进行训练，得到更加准确的目标对象运动方向的识别结果。
Description
技术领域
本发明涉及一种数据集生成方法及数据集生成装置，尤其适用于训练图像识 别。
背景技术
当前，为了探测逼仄、狭窄、肉眼难以直接观察的空间(例如隧道，涵洞， 食道、消化道、胃肠道等)，往往采用可控制的探头(内窥镜)进行观察，为了 不伤及探头或待探测的空间，往往需要对探头的运动方向和速度进行精确地控制， 这对操作人员有着非常高的要求，需要拥有大量经验积累的操作人员操刀，这无 疑会耗费很高人力资源成本。得益于机器视觉技术的发展，申请人发现可以采用 机器视觉预测探头的运动方向和速度进而辅助操作人员进行遥控或直接由设备 基于机器视觉控制探头运动。但是采用机器视觉对运动方向和速度进行预测需要 大量的数据训练相应的模型，训练数据的质量往往对模型最终的识别效果影响重 大，如何低成本的获取高质量的训练数据集是当前亟待解决的问题。
发明内容
本发明的目的是：通过基于预设方式获取到更加准确的标准时间间隔，并根 据所述标准时间间隔将图像数据和正确的操作关联，使得生成的数据集中图像数 据与操作更加准确地对应了起来，从而显著提高图像识别模型的识别精度。
为了达到上述目的，本发明的一个技术方案是提供了一种数据集生成方法， 其特征在于，包括以下步骤：
获取图像采集设备采集到的图像数据；
根据预设方式获取标准操作反应时间间隔；
基于标准操作反应时间间隔将图像数据与对应的操作关联；
基于与对应的操作关联后的图像数据生成训练数据集。
优选地，所述图像采集设备包括带有摄像模块的可移动设备，其中，所述带 有摄像模块的可移动设备包括飞机、汽车、水下机器人和内窥镜中的一种。
优选地，根据所述预设方式获取所述标准操作反应时间间隔，包括以下步骤：
通过显示设备显示包括多个特定图像的图像数据并实时记录与特定图像相 关联的操作反应的时间点；
根据操作反应的时间点和与操作反应相关联的特定图像的时间点确定所述 标准反应时间间隔。
优选地，包括多个所述特定图像的图像数据为固定时间长度的视频数据，视 频数据中包括多个所述特定图像，每一所述特定图像与相邻的所述特定图像的间 隔不小于预设的时间长度。
优选地，所述特定图像在所述视频数据的固定时间点显示。
优选地，根据所述操作反应的时间点和与所述操作反应相关联的所述特定图 像的所述时间点确定所述标准反应时间间隔，包括以下步骤：
根据所述视频数据中包括的多个所述特定图像的显示时间构建第一矩阵；
根据实时记录的与所述视频数据中的多个所述特定图像相关联的操作反应 的时间点构建第二矩阵；
基于第一矩阵和第二矩阵计算得到时间差矩阵；
基于时间差矩阵计算得到所述标准反应时间间隔。
优选地，确定所述标准反应时间间隔之前，所述数据集生成方法还包括：
获取与所述特定图像相关联的操作反应中的有效操作反应；
根据有效操作反应的时间点和与所述有效操作反应相关联的所述特定图像 的时间点确定所述标准反应时间间隔。
优选地，根据所述操作反应的时间点和与所述操作反应相关联的所述特定图 像的时间点确定所述标准反应时间间隔，包括以下步骤：
计算与所述视频数据中出现所述特定图像的时间点距离最近的所述操作反 应的时间点的索引；
根据索引构建所述特定图像与所述操作反应一一匹配的对照矩阵；
基于对照矩阵中确定索引有效且所述特定图像与所述操作反应一一匹配的 时间差矩阵；
基于时间差矩阵计算得到所述标准反应时间间隔。
优选地，计算与所述视频数据中出现所述特定图像的时间点距离最近的所述 操作反应的时间点的所述索引，包括以下步骤：
构建元素为所述视频数据中出现多个所述特定图像的各个时间点的第三列 矩阵；
构建元素为实时记录的各个所述操作反应的时间点的第四列矩阵；
根据第三列矩阵和第四列矩阵计算得到所述索引。
优选地，所述索引是否有效由以下方式确定：
若所述第四列矩阵与所述第三列矩阵中对应行的元素之差在第一阈值范围 内，则确定所述索引为有效；
若所述第四列矩阵与所述第三列矩阵中对应行的元素之差不在第一阈值范 围内，则确定所述索引为无效。
优选地，基于所述标准操作反应时间间隔将所述图像数据与对应的操作关联， 包括以下步骤：
通过显示设备显示所述图像采集设备采集到的图像数据；
实时采集针对于图像数据的操作反应并记录所述操作反应的时间点；
针对于所述图像数据中的每一帧图像进行分析得到其中的运动数据，并记录 当前帧的时间；
基于所述标准时间间隔叠加当前帧的时间作为当前帧的参考时间；
若实时记录的操作反应时间点在前一帧图像的参考时间和后一帧图像的参 考时间之间，则将所述实时采集的操作反应与包括运动数据的所述图像数据关联 存储。
本发明的另一个技术方案是提供了一种数据集生成装置，其特征在于，包括：
图像数据采集模块，用于获取图像采集设备采集到的图像数据；
时间间隔获取模块，用于根据预设方式获取标准操作反应时间间隔；
关联模块，用于根据时间间隔获取模块获取的标准操作反应的时间间隔将图 像数据采集模块获得的图像数据与对应的操作相关联；
训练数据生成模块，用于基于关联模块获得的图像数据与对应操作之间的关 联生成训练数据集。
优选地，所述图像采集设备包括带有摄像模块的可移动设备，其中，所述带 有摄像模块的可移动设备包括飞机、汽车、水下机器人和内窥镜中的一种。
优选地，所述时间间隔获取模块还用于：
通过显示设备显示包括多个特定图像的图像数据并实时记录与特定图像相 关联的操作反应的时间点；
根据操作反应的时间点和与所述操作反应相关联的特定图像的时间点确定 标准反应时间间隔。
优选地，包括多个所述特定图像的所述图像数据为固定时间长度的视频数据， 视频数据中包括多个所述特定图像，每一所述特定图像与相邻的所述特定图像的 间隔不小于预设的时间长度。
优选地，所述特定图像在所述视频数据的固定时间点显示。
优选地，所述时间间隔获取模块包括：
第一矩阵构建单元，用于根据所述视频数据中包括的多个所述特定图像的显 示时间构建第一矩阵；
第二矩阵构建单元，用于根据实时记录的与所述视频数据中的多个所述特定 图像相关联的操作反应的时间点构建第二矩阵；
时间差矩阵计算单元，用于基于第一矩阵和第二矩阵计算得到时间差矩阵；
时间间隔计算单元，用于基于时间差矩阵计算得到标准反应时间间隔。
优选地，所述时间间隔获取模块还包括：
有效操作反应获取单元，用于获取与所述特定图像相关联的操作反应中的有 效操作反应；
有效时间间隔计算单元，用于根据有效操作反应的时间点和与所述有效操作 反应相关联的特定图像的时间点确定标准反应时间间隔。
优选地，所述时间间隔获取模块还包括：
时间索引获取单元，用于计算与所述视频数据中出现特定图像的时间点距离 最近的操作反应的时间点的索引；
对照矩阵构建单元，用于根据索引构建特定图像与操作反应一一匹配的对照 矩阵；
索引时间差矩阵计算单元，用于基于对照矩阵中确定索引有效且特定图像与 操作反应一一匹配的时间差矩阵；
索引时间间隔计算单元，用于基于时间差矩阵计算得到标准反应时间间隔。
优选地，所述时间索引获取单元包括：
第三列矩阵构建子单元，用于构建元素为所述视频数据中出现多个所述特定 图像的各个时间点的第三列矩阵；
第四列矩阵构建子单元，用于构建元素为实时记录的各个操作反应的时间点 的第四列矩阵；
索引计算子单元，用于根据第三列矩阵和第四列矩阵计算得到所述索引。
优选地，所述索引是否有效由以下方式确定：
若所述第四列矩阵与所述第三列矩阵中对应行的元素之差在第一阈值范围 内，则确定所述索引为有效；
若所述第四列矩阵与所述第三列矩阵中对应行的元素之差不在第一阈值范 围内，则确定所述索引为无效。
优选地，所述关联模块包括：
图像数据显示单元，用于通过显示设备显示所述图像数据采集模块采集到的 图像数据；
操作反应采集单元，用于实时采集针对于所述图像数据的操作反应并记录所 述操作反应的时间点；
运动数据采集单元，用于针对于所述图像数据中的每一帧图像进行分析得到 其中的运动数据，并记录当前帧的时间；
参考时间获取单元，用于基于所述标准时间间隔叠加当前帧的时间作为当前 帧的参考时间；
关联存储单元，用于当实时记录的操作反应时间点在前一帧图像的参考时间 和后一帧图像的参考时间之间时，则将所述实时采集的操作反应与包括运动数据 的所述图像数据关联存储。
根据本发明的方法及装置训练得到的数据集主要用于训练图像识别模型，所 述图像识别模型的用途包括对目标对象的运动方向进行识别，从而所述图像识别 模型能够采用本方法生成的数据集进行训练，得到更加准确的目标对象运动方向 的识别结果，所述目标对象可以是采集图像数据的图像采集设备或者搭载所述图 像采集设备的载具，从而基于本发明得到的数据集，能够训练出一种图像识别模 型，所述图像识别模型可以根据采集到的图像数据的变化情况判断出采集所述图 像数据的设备的运动方向。另外本发明提供的方法非常简单，容易实施，减少了 生成数据集的成本。
附图说明
图1为本发明一实施例提供的数据集生成方法的应用场景示意图；
图2为本发明一实施例提供的数据集生成方法的流程示意图；
图3为根据本发明的实施方式提供的一种标注设备的示意图；
图4为本发明一实施例的显示图像数据和同步记录标注的流程示意图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明 本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之 后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本 申请所附权利要求书所限定的范围。
在进行人工数据标注时，需要一定的反应时间，即大脑下发控制指令后，控 制手指触碰方向标注(用于对反应和认知时间进行标定和记录的设备)设备按键 的时间。并且人类动作极大概率会存在漏标的行为，从而造成标注不准的后果。 申请人通过一系列技术手段极力避免数据标注时以上情况的发生，并且在计算标 准时间间隔时充分考虑了漏标的情况，从而得到最佳的标准时间间隔，具体的技 术手段参照以下具体实施例。
本实施例公开的一种数据集生成方法的具体步骤如图2所示：
首先，在步骤S210中，获取图像采集设备采集到的图像数据。所述图像采 集设备包括带有摄像模块的可移动设备。所述带有摄像模块的可移动设备包括飞 机、汽车、水下机器人和内窥镜中的一种。在本申请的以下实施方式中，以内窥 镜为例进行详细说明。
接下来，执行步骤S220，根据预设方式获取标准操作反应时间间隔。所述 标准操作反应时间间隔即为反应时间，例如大脑下发控制指令后，控制手指触碰 方向标注(用于对反应和认知时间进行标定和记录的设备)设备按键的时间。所 述方向标注设备可以是能够运行方向标注程序的计算设备，例如手机、电脑、平 板电脑等终端，也可以是特制的专用于方向标注的设备，参照图3。图中所示的 设备表面设置有6个专用于指示方向的按键和一个暂停键，在某个按键被触发时， 所述按键对应的指令或标注结果即被发送至相应的处理设备以便进行标注处理。 在本实施方式的一个实施例中，所述设备通过可以RJ45口或RS485口将某个按 键对应的指令或标注结果发送至相应的处理设备。可以理解的是，制作为包括多 个指示方向的按钮较为节约制造成本，但并不意味着仅仅可以实施为图3所示的外观和结构。所述按键还可以通过触摸屏上的虚拟按钮实现，本实施方式对此不 做限定，例如可以通过计算机程序在手机或平板电脑的屏幕上显示类似于图3 中的各个方向的虚拟按钮，或者还可以将计算机设备的外设(键盘或鼠标)上的 某些输入部件映射为所述方向按钮。类似地，在需要进行数据或指令传输时，也 不仅仅限于RJ45口或RS485口，其还可以通过其他有线或无线的方式进行传输， 作为一种实例，比如蓝牙、RFID、WIFI等无线传输模块可以集成在所述设备中， 在某个方向按钮被触发后即可通过上述无线技术进行数据或指令的传输。
在本申请的各个实施方式中，用户可以根据实际情况选用各种设备实现方向 标注，在准备工作完成后，用户可以根据图像数据做出方向判断(做出操作反应)， 根据预设方式获取标准操作反应时间间隔，具体包括：
通过显示设备显示包括多个特定图像的图像数据并实时记录与所述特定图 像相关联的操作反应的时间点；
具体而言，所述包括多个特定图像的图像数据可以是包括多个特定画面的视 频，所述视频可以是事先制作的，专门用于采集操作反应时间间隔的视频。所述 特定图像可以是显示方向标识的画面。所述方向标识可以是相应的文字，例如“左 上”，或者所述方向标识可以是相应的符号，例如“→”代表向右。作为一个具 体的实例，所述视频可以是内容为黑色静止背景，并在固定的视频长度中的固定 时间点(例如：从开始后的第10秒)，展示停留500ms的居中白色字符(例如： “左上”，“前进”，“后退”)，所述白色字符每次停留的时间间隔需大于3秒，从 而方便用户根据视频中的内容进行操作。需要说明的是，为了使得获取到的标准 操作反应时间间隔更加具有代表性，更能适用于各种不同的场景，代表各种人群， 所述用户并不是单单指代某一个人或某一类人，而是各式各样的人群的总称，在 本实施方式的一个实施例中，将采集多个用户基于所述视频所做出的标注(即操 作反应)从而得到更加具有普适性的标准操作反应时间间隔。为了方便理解上述 实施例中所记载的标注过程，这里可以参考图4，图4中展示了用户根据固定长 度的视频当前播放的内容进行标注的过程。
接下来，根据操作反应的时间点和与所述操作反应相关联的特定图像的时间 点确定标准反应时间间隔。
可以理解的是，为了方便操作，上述实施例中所举的例子，包括多个特定图 像的图像数据为固定时间长度的视频数据，所述视频中包括多个特定图像，为了 方便区分用户根据不同的特定图像进行的不同反应，每一特定图像与相邻的特定 图像的间隔不小于预设的时间长度(即上述实施例中所列举的白色字符每次停留 的时间间隔需大于3秒)。可以理解的是，上述实施例中所列举的3秒仅仅是优 选示例，并不代表仅限于此，其还可以是2秒、4秒、5秒等等，本实施方式对 此不做限定。
在上述实施例中，为了方便进行操作反应时间间隔的统计，所述特定图像在 所述视频的固定时间点显示，但是并不代表仅限于此，在本实施方式的其他实施 例中，所述特定图像还可以在所述视频的随机时间点显示，只要相邻两个特定图 像的显示时间间隔大于(用户最小反应时间)预设阈值即可，例如上述实施例中 所列举的3秒。
在本实施方式中，为了方便说明，所述特定图像在所述视频的固定时间点显 示，根据操作反应的时间点和与所述操作反应相关联的特定图像的时间点确定标 准反应时间间隔，包括：
根据视频数据中包括的多个特定图像的显示时间构建第一矩阵；
根据实时记录的与所述视频数据中的多个特定图像相关联的操作反应的时 间点构建第二矩阵；
基于所述第一矩阵和第二矩阵计算得到时间差矩阵；
基于所述时间差矩阵计算得到标准反应时间间隔。
具体来说，假设预先设置好所述视频的长度和每个时间点出现的按钮值，并 将其设置为常量矩阵(即所述第一矩阵)，格式如下：
T(n)＝[t1，t2，...，tn]
X(n)＝[x1，x2，...，xn]
其中：T(n)是从视频开始到时间点t的时间长度的数组(矩阵)，单位为ms (毫秒，1秒等于1000毫秒)；X(n)是按钮按键的值x的数组(矩阵)；每个时间 点的间隔大于3秒，即有tk-tk-1＞3，k＝1，2，...，n；n为时间间隔的总数， 0＜n＜L/3，L为视频的长度(单位为秒)。
按钮按下后传递的按钮按键值记录遍历矩阵(即所述第二矩阵)内容如下：
T′(m)＝[t′1，t′2，...，t′m]
Y(m)＝[y1，y2，...，ym]
其中：T′(n)为从视频开始到时间点t′的时间长度，单位为ms；Y(m)是按钮 按键的值y的数组，m为按按钮总数。
由此，在本实施方式的一个实施例中，即可根据上述的数组(矩阵)T(n)和 T′(m)对应计算各个操作反应时间间隔，从而将各个操作反应时间间隔的平均值 作为最终的标准操作反应时间间隔。
考虑到人类动作可能会存在漏标的行为，所以矩阵(即所述第一矩阵和第二 矩阵)中的元素个数不一定会相同，故而不能直接通过矩阵减法计算时间差，确 定标准反应时间间隔之前，所述方法还包括：
获取与所述特定图像相关联的操作反应中的有效操作反应。
所述有效操作反应即为特定图像中显示的内容与用户在对应时间点的标注 行为一致，具体来说，在某个时间点视频中的画面显示“左上”，在所述画面出 现后的3秒内，用户进行了左上的标注，即用户按下了代表左上的按钮按键，则 可以将用户的标注行为记为有效。按照以上示例，在本实施例中，可以根据视频 的内容对所述第二矩阵记录的内容进行逐个筛查，从而确保在计算标准时间间隔 时的源数据准确，即根据有效操作反应的时间点进行标准时间间隔的计算。
接下来，根据有效操作反应的时间点和与所述有效操作反应相关联的特定图 像的时间点确定标准反应时间间隔。
为了使得计算更加准确高效，在本实施方式的一个实施例中，根据操作反应 的时间点和与所述操作反应相关联的特定图像的时间点确定标准反应时间间隔， 包括：
计算与视频中出现特定图像的时间点距离最近的操作反应的时间点的索引； 具体而言，包括：
构建元素为所述视频中出现多个特定图像的各个时间点的第三列矩阵；
构建元素为实时记录的各个操作反应的时间点的第四列矩阵；
根据第三列矩阵和第四列矩阵计算得到所述索引；
所述索引是否有效由以下方式确定：
若第四列矩阵与第三列矩阵中对应行的元素之差在第一阈值范围内，则确定 所述索引为有效；
若第四列矩阵与第三列矩阵中对应行的元素之差不在第一阈值范围内，则确 定所述索引为无效。
根据所述索引构建特定图像与操作反应一一匹配的对照矩阵；
基于所述对照矩阵中确定索引有效且特定图像与操作反应一一匹配的时间 差矩阵；
基于所述时间差矩阵计算得到标准反应时间间隔。
延续上一实例，下面详细说明以上实施例中如何计算索引并确定标准反应时 间间隔，首先计算距离视频固定时间点最近的操作(标注)时间点的索引，过程 如下：
U(k)＝T′(m)T-tt(k)
其中，T′(m)T即为所述第四列矩阵；tt(k)是包含m行tk的一维矩阵，即所 述第三列矩阵；U(k)计算的是第k个固定时间点tk与所有操作时间点tt(k)的差组 成的一维矩阵；i是U(i)最小值的索引，得到按键时间点tt(k)中最接近的固定时 间点tk的固定时间点索引I(i)。
S是按下按钮后，最接近固定时间点1至n对应的时间点在数组T′(m)中的索 引的对照值一维矩阵(即所述对照矩阵)。
得到提示内容按键内容一致，且索引有效的索引按键时间差矩阵，内容如下：
式中，Nv是固定时间点按键时间和手动出发时间点时间差和相同按键组成 的矩阵；s[k]≠-1，k＝1，2，...n；xk＝yk表示显示器上显示上x＝上，人按按 键y＝上，中间有t′S[1]-t1的延时，说明按键按对了，xk为上位机已知视频的长 度和每个时间点出现的按钮值，yk为按钮按下后传递上位机记录。提取中间列， 得到时间差矩阵，内容如下：
式中，N′是拆分Nv中间列得到时间差矩阵。索引无效，或索引相同但索引 内按键不相同的内容如下：
其中，Ni是不符合要求的无效按键的下标组成的索引矩阵，无效说明按键按 错了，显示器上出现x＝上，按键按了一个下，则x不等于y，Nv包括有效输入N′和 错误输入Ni，最终只计算有效输入的平均误差，错误的不进行计算；s[k]＝-1， k＝1，2，...n；xk≠yk。
需要计算Nv内有效索引的时间差，并通过计算得到操作反应的平均时间， 具体流程如下：
其中
为用户操作的平均反应时间(即所述标准操作反应时间间隔)。
可以理解的是，以上过程中的用户可以是同一用户，则根据以上实施例最终 可以得到某一个用户的平均反应时间，接下来可以根据以上实施例得到多个不同 用户的平均反应时间，继而由多个不同用户的平均反应时间进行平均计算得到所 述标准操作反应时间间隔。或者以上实施例中也可以是多个不同用户交替进行的 操作，由此，上述实施例中最终得到的也可以是基于多个不同用户的标准操作反 应时间间隔。
在基于预设方式取得所述标准操作反应时间间隔后，基于所述标准操作反应 时间间隔将所述图像数据与对应的操作关联，包括：
通过显示设备显示所述图像采集设备采集到的图像数据；
实时采集针对于所述图像数据的操作反应并记录所述操作反应的时间点；
针对于所述图像数据中的每一帧图像进行分析得到其中的运动数据，并记录 当前帧的时间；
基于所述标准时间间隔叠加当前帧的时间作为当前帧的参考时间；
若实时记录的操作反应时间点在前一帧图像的参考时间和后一帧图像的参 考时间之间，则将所述实时采集的操作反应与包括运动数据的所述图像数据关联 存储。
具体来说，所述图像采集设备采集到的图像数据视应用场景各有不同，在所 述图像采集设备搭载在汽车上时，采集到的图像数据可以是行车过程中的道路数 据，在所述图像采集设备是内窥镜时，采集到的图像数据可以是相应器官的图像； 所述图像采集设备可以直接通过有线或无线方式与所述显示设备连接，或者所述 图像显示设备还可以通过中间设备中转与所述图像采集设备连接；接下来，即可 将图像采集设备采集到的图像数据显示，从而方便用户标注，以便生成相应的训 练数据集，可以立即的是，所述训练数据集可以不仅仅包括图像和标注结果，还 包括基于所述图像识别出的运动特征数据，例如向量平均距离标量AvgL，向量 平均速度标量AvgV，拟合向量平均距离标量AvgLF，拟合向量平均速度标量AvgVF， 具体的运动数据分析方式不属于本申请的重点，不论是否包括以上运动数据的内 容，都不影响训练数据集的生成。
在上述实施例中，可以将标注数据按“右上”、“右下”、“进”、“退”、“左 上”和“左下”的顺序，分别转换为数字：0、1、2、3、4和5存入标签中，加 上当前时间t1，作为当前视频的标注数据集R1。
同时视频内容可以包括向量平均距离标量AvgL，向量平均速度标量AvgV， 拟合向量平均距离标量AvgLF，拟合向量平均速度标量AvgVF，当然也可以不包 括以上运动特征数据，而仅仅是图像。在本实施例中，记当前时间为t2，每帧的 视频数据集为R2。
其中，由于t1比t2具有T(所述标准操作时间间隔)时间的延时，则将t2重 新赋值为t2+T。
遍历所有的标注数据和视频内容，比较t1和t2，如果t2(前一帧时间)≤t1≤t2 (后一帧时间)，则将t1所在的标注结果标签复制到视频数据集R2中作为训练数 据集。
根据本发明的方法可以得到高精度的数据集，所述高精度的数据集可以用于 训练图像识别模型，所述图像识别模型的用途包括对目标对象的运动方向进行识 别，从而所述图像识别模型能够采用本方法生成的数据集进行训练，得到更加准 确的目标对象运动方向的识别结果，所述目标对象可以是采集图像数据的图像采 集设备或者搭载所述图像采集设备的载具，从而基于本发明得到的数据集，能够 训练出一种图像识别模型，所述图像识别模型可以根据采集到的图像数据的变化 情况判断出采集所述图像数据的设备的运动方向。
Claims (22)
1.一种数据集生成方法，其特征在于，包括以下步骤：
获取图像采集设备采集到的图像数据；
根据预设方式获取标准操作反应时间间隔；
基于标准操作反应时间间隔将图像数据与对应的操作关联；
基于与对应的操作关联后的图像数据生成训练数据集。
2.如权利要求1所述的数据集生成方法，其特征在于，所述图像采集设备包括带有摄像模块的可移动设备，其中，所述带有摄像模块的可移动设备包括飞机、汽车、水下机器人和内窥镜中的一种。
3.如权利要求1所述的数据集生成方法，其特征在于，根据所述预设方式获取所述标准操作反应时间间隔，包括以下步骤：
通过显示设备显示包括多个特定图像的图像数据并实时记录与特定图像相关联的操作反应的时间点；
根据操作反应的时间点和与操作反应相关联的特定图像的时间点确定所述标准反应时间间隔。
4.如权利要求3所述的数据集生成方法，其特征在于，包括多个所述特定图像的图像数据为固定时间长度的视频数据，视频数据中包括多个所述特定图像，每一所述特定图像与相邻的所述特定图像的间隔不小于预设的时间长度。
5.如权利要求4所述的数据集生成方法，其特征在于，所述特定图像在所述视频数据的固定时间点显示。
6.如权利要求4或5所述的数据集生成方法，其特征在于，根据所述操作反应的时间点和与所述操作反应相关联的所述特定图像的所述时间点确定所述标准反应时间间隔，包括以下步骤：
根据所述视频数据中包括的多个所述特定图像的显示时间构建第一矩阵；
根据实时记录的与所述视频数据中的多个所述特定图像相关联的操作反应的时间点构建第二矩阵；
基于第一矩阵和第二矩阵计算得到时间差矩阵；
基于时间差矩阵计算得到所述标准反应时间间隔。
7.如权利要求4或5所述的数据集生成方法，其特征在于，确定所述标准反应时间间隔之前，所述数据集生成方法还包括：
获取与所述特定图像相关联的操作反应中的有效操作反应；
根据有效操作反应的时间点和与所述有效操作反应相关联的所述特定图像的时间点确定所述标准反应时间间隔。
8.如权利要求4或5所述的数据集生成方法，其特征在于，根据所述操作反应的时间点和与所述操作反应相关联的所述特定图像的时间点确定所述标准反应时间间隔，包括以下步骤：
计算与所述视频数据中出现所述特定图像的时间点距离最近的所述操作反应的时间点的索引；
根据索引构建所述特定图像与所述操作反应一一匹配的对照矩阵；
基于对照矩阵中确定索引有效且所述特定图像与所述操作反应一一匹配的时间差矩阵；
基于时间差矩阵计算得到所述标准反应时间间隔。
9.如权利要求8所述的数据集生成方法，其特征在于，计算与所述视频数据中出现所述特定图像的时间点距离最近的所述操作反应的时间点的所述索引，包括以下步骤：
构建元素为所述视频数据中出现多个所述特定图像的各个时间点的第三列矩阵；
构建元素为实时记录的各个所述操作反应的时间点的第四列矩阵；
根据第三列矩阵和第四列矩阵计算得到所述索引。
10.如权利要求9所述的数据集生成方法，其特征在于，所述索引是否有效由以下方式确定：
若所述第四列矩阵与所述第三列矩阵中对应行的元素之差在第一阈值范围内，则确定所述索引为有效；
若所述第四列矩阵与所述第三列矩阵中对应行的元素之差不在第一阈值范围内，则确定所述索引为无效。
11.如权利要求9或10所述的数据集生成方法，其特征在于，基于所述标准操作反应时间间隔将所述图像数据与对应的操作关联，包括以下步骤：
通过显示设备显示所述图像采集设备采集到的图像数据；
实时采集针对于图像数据的操作反应并记录所述操作反应的时间点；
针对于所述图像数据中的每一帧图像进行分析得到其中的运动数据，并记录当前帧的时间；
基于所述标准时间间隔叠加当前帧的时间作为当前帧的参考时间；
若实时记录的操作反应时间点在前一帧图像的参考时间和后一帧图像的参考时间之间，则将所述实时采集的操作反应与包括运动数据的所述图像数据关联存储。
12.一种数据集生成装置，其特征在于，包括：
图像数据采集模块，用于获取图像采集设备采集到的图像数据；
时间间隔获取模块，用于根据预设方式获取标准操作反应时间间隔；
关联模块，用于根据时间间隔获取模块获取的标准操作反应的时间间隔将图像数据采集模块获得的图像数据与对应的操作相关联；
训练数据生成模块，用于基于关联模块获得的图像数据与对应操作之间的关联生成训练数据集。
13.如权利要求12所述的数据集生成装置，其特征在于，所述图像采集设备包括带有摄像模块的可移动设备，其中，所述带有摄像模块的可移动设备包括飞机、汽车、水下机器人和内窥镜中的一种。
14.如权利要求12所述的数据集生成装置，其特征在于，所述时间间隔获取模块还用于：
通过显示设备显示包括多个特定图像的图像数据并实时记录与特定图像相关联的操作反应的时间点；
根据操作反应的时间点和与所述操作反应相关联的特定图像的时间点确定标准反应时间间隔。
15.如权利要求14所述的数据集生成装置，其特征在于，包括多个所述特定图像的所述图像数据为固定时间长度的视频数据，视频数据中包括多个所述特定图像，每一所述特定图像与相邻的所述特定图像的间隔不小于预设的时间长度。
16.如权利要求15所述的数据集生成装置，其特征在于，所述特定图像在所述视频数据的固定时间点显示。
17.如权利要求15或16所述的数据集生成装置，其特征在于，所述时间间隔获取模块包括：
第一矩阵构建单元，用于根据所述视频数据中包括的多个所述特定图像的显示时间构建第一矩阵；
第二矩阵构建单元，用于根据实时记录的与所述视频数据中的多个所述特定图像相关联的操作反应的时间点构建第二矩阵；
时间差矩阵计算单元，用于基于第一矩阵和第二矩阵计算得到时间差矩阵；
时间间隔计算单元，用于基于时间差矩阵计算得到标准反应时间间隔。
18.如权利要求15或16所述的数据集生成装置，其特征在于，所述时间间隔获取模块还包括：
有效操作反应获取单元，用于获取与所述特定图像相关联的操作反应中的有效操作反应；
有效时间间隔计算单元，用于根据有效操作反应的时间点和与所述有效操作反应相关联的特定图像的时间点确定标准反应时间间隔。
19.如权利要求15或16所述的数据集生成装置，其特征在于，所述时间间隔获取模块还包括：
时间索引获取单元，用于计算与所述视频数据中出现特定图像的时间点距离最近的操作反应的时间点的索引；
对照矩阵构建单元，用于根据索引构建特定图像与操作反应一一匹配的对照矩阵；
索引时间差矩阵计算单元，用于基于对照矩阵中确定索引有效且特定图像与操作反应一一匹配的时间差矩阵；
索引时间间隔计算单元，用于基于时间差矩阵计算得到标准反应时间间隔。
20.如权利要求19所述的数据集生成装置，其特征在于，所述时间索引获取单元包括：
第三列矩阵构建子单元，用于构建元素为所述视频数据中出现多个所述特定图像的各个时间点的第三列矩阵；
第四列矩阵构建子单元，用于构建元素为实时记录的各个操作反应的时间点的第四列矩阵；
索引计算子单元，用于根据第三列矩阵和第四列矩阵计算得到所述索引。
21.如权利要求20所述的数据集生成装置，其特征在于，所述索引是否有效由以下方式确定：
若所述第四列矩阵与所述第三列矩阵中对应行的元素之差在第一阈值范围内，则确定所述索引为有效；
若所述第四列矩阵与所述第三列矩阵中对应行的元素之差不在第一阈值范围内，则确定所述索引为无效。
22.如权利要求20或21所述的数据集生成装置，其特征在于，所述关联模块包括：
图像数据显示单元，用于通过显示设备显示所述图像数据采集模块采集到的图像数据；
操作反应采集单元，用于实时采集针对于所述图像数据的操作反应并记录所述操作反应的时间点；
运动数据采集单元，用于针对于所述图像数据中的每一帧图像进行分析得到其中的运动数据，并记录当前帧的时间；
参考时间获取单元，用于基于所述标准时间间隔叠加当前帧的时间作为当前帧的参考时间；
关联存储单元，用于当实时记录的操作反应时间点在前一帧图像的参考时间和后一帧图像的参考时间之间时，则将所述实时采集的操作反应与包括运动数据的所述图像数据关联存储。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011350199.2A CN112560583A (zh) | 2020-11-26 | 2020-11-26 | 一种数据集生成方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011350199.2A CN112560583A (zh) | 2020-11-26 | 2020-11-26 | 一种数据集生成方法、装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112560583A true CN112560583A (zh) | 2021-03-26 |
Family
ID=75045797
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011350199.2A Pending CN112560583A (zh) | 2020-11-26 | 2020-11-26 | 一种数据集生成方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112560583A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104883515A (zh) * | 2015-05-22 | 2015-09-02 | 广东威创视讯科技股份有限公司 | 一种视频标注处理方法及视频标注处理服务器 |
| CN108710628A (zh) * | 2018-03-29 | 2018-10-26 | 中国科学院软件研究所 | 一种基于草图交互的面向多模态数据的可视分析方法和系统 |
| CN109644255A (zh) * | 2016-08-26 | 2019-04-16 | 华为技术有限公司 | 标注包括一组帧的视频流的方法和装置 |
| CN110533159A (zh) * | 2019-06-26 | 2019-12-03 | 中国科学院过程工程研究所 | 一种基于介科学指导提高深度学习数据集质量及模型可解释性的方法 |
| CN110909625A (zh) * | 2019-11-04 | 2020-03-24 | 向仲宇 | 一种计算机视觉基础网络训练识别构建方法及装置 |
| CN111159494A (zh) * | 2019-12-30 | 2020-05-15 | 北京航天云路有限公司 | 一种多用户并发处理的数据标注方法 |
| CN111260679A (zh) * | 2020-01-07 | 2020-06-09 | 广州虎牙科技有限公司 | 图像处理方法、图像分割模型训练方法及相关装置 |
| CN111581433A (zh) * | 2020-05-18 | 2020-08-25 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备及计算机可读介质 |
-
2020
- 2020-11-26 CN CN202011350199.2A patent/CN112560583A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104883515A (zh) * | 2015-05-22 | 2015-09-02 | 广东威创视讯科技股份有限公司 | 一种视频标注处理方法及视频标注处理服务器 |
| CN109644255A (zh) * | 2016-08-26 | 2019-04-16 | 华为技术有限公司 | 标注包括一组帧的视频流的方法和装置 |
| CN108710628A (zh) * | 2018-03-29 | 2018-10-26 | 中国科学院软件研究所 | 一种基于草图交互的面向多模态数据的可视分析方法和系统 |
| CN110533159A (zh) * | 2019-06-26 | 2019-12-03 | 中国科学院过程工程研究所 | 一种基于介科学指导提高深度学习数据集质量及模型可解释性的方法 |
| CN110909625A (zh) * | 2019-11-04 | 2020-03-24 | 向仲宇 | 一种计算机视觉基础网络训练识别构建方法及装置 |
| CN111159494A (zh) * | 2019-12-30 | 2020-05-15 | 北京航天云路有限公司 | 一种多用户并发处理的数据标注方法 |
| CN111260679A (zh) * | 2020-01-07 | 2020-06-09 | 广州虎牙科技有限公司 | 图像处理方法、图像分割模型训练方法及相关装置 |
| CN111581433A (zh) * | 2020-05-18 | 2020-08-25 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备及计算机可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2149332B1 (en) | Image information display processing device and display processing method | |
| WO2020079696A9 (en) | Systems and methods for generating and displaying a study of a stream of in vivo images | |
| CN105045398A (zh) | 一种基于手势识别的虚拟现实交互设备 | |
| JP6511770B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
| CN205080499U (zh) | 一种基于手势识别的虚拟现实交互设备 | |
| US20150187063A1 (en) | Medical device and method for operating the same | |
| CN112189236A (zh) | 学习数据收集装置、学习数据收集方法和程序、学习系统、学习完毕模型、以及内窥镜图像处理装置 | |
| JP2009199381A (ja) | 電子ペンによる記入進捗を管理する端末装置及びプログラム | |
| CN105302295A (zh) | 一种具有3d摄像组件的虚拟现实交互设备 | |
| US8406489B2 (en) | Image display apparatus | |
| JP2007105458A (ja) | 画像データベースにおける画像の認識のためのシステム及び方法 | |
| CN112199015B (zh) | 智能交互一体机及其书写方法、装置 | |
| CN112560583A (zh) | 一种数据集生成方法、装置 | |
| CN205080498U (zh) | 一种具有3d摄像组件的虚拟现实交互设备 | |
| EP1922979B1 (en) | Image display apparatus | |
| JP6492545B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
| CN114639168B (zh) | 一种用于跑步姿态识别的方法和系统 | |
| JP5366035B2 (ja) | コンピュータ装置及びプログラム | |
| CN110766574A (zh) | 一种远程教学系统及方法 | |
| JP5483266B2 (ja) | 電子ペンによる記入進捗を管理する端末装置及びプログラム | |
| CN113591779B (zh) | 一种基于集成多传感器手写式的投射数据采集系统及方法 | |
| US20160100740A1 (en) | System and Method for Display of Capsule Images and Associated Information | |
| JP2009045175A (ja) | 眼科検査システム | |
| JP5540883B2 (ja) | ストローク表示装置及びプログラム | |
| CN112784700A (zh) | 人脸图像显示的方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210326 Assignee: Henan Xuan Yongtang Medical Information Technology Co.,Ltd. Assignor: Zhongshan Hospital, Fudan University Contract record no.: X2021980005734 Denomination of invention: A data set generating method and device License type: Exclusive License Record date: 20210705 |
|
| EE01 | Entry into force of recordation of patent licensing contract |