CN109558782B - 信息处理装置、信息处理系统、信息处理方法以及记录介质 - Google Patents

信息处理装置、信息处理系统、信息处理方法以及记录介质 Download PDF

Info

Publication number
CN109558782B
CN109558782B CN201810913220.1A CN201810913220A CN109558782B CN 109558782 B CN109558782 B CN 109558782B CN 201810913220 A CN201810913220 A CN 201810913220A CN 109558782 B CN109558782 B CN 109558782B
Authority
CN
China
Prior art keywords
color
data
measurement information
analysis
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810913220.1A
Other languages
English (en)
Other versions
CN109558782A (zh
Inventor
山本太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN109558782A publication Critical patent/CN109558782A/zh
Application granted granted Critical
Publication of CN109558782B publication Critical patent/CN109558782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种信息处理装置、信息处理系统、信息处理方法以及记录介质。信息处理装置具备:动态图像数据获取部,获取正在运动的至少1个物体所涉及的动态图像的数据来作为动态图像数据;测量信息数据获取部,获取表示所述物体的测量信息的数据来作为测量信息数据;物体确定部,将所述动态图像中包含的所述测量信息数据所对应的所述物体确定为解析对象物;颜色确定部,将所述解析对象物所涉及的颜色确定为物体颜色;和决定部,将由所述颜色确定部确定的所述物体颜色决定为所述测量信息数据的颜色。

Description

信息处理装置、信息处理系统、信息处理方法以及记录介质
技术领域
本发明涉及信息处理装置、信息处理系统、信息处理方法以及记录介质。
背景技术
存在一种运动形式评价装置,对装配了传感器的受试者进行动态图像摄影,将所拍摄的动态图像和传感器所获取的信息进行曲线图显示(例如,日本国特开2009-106323号公报)。
但是,多数情况是在所拍摄的动态图像中反映了多个物体,在这种情况下,在日本国特开2009-106323号公报的技术中,关于多个物体之中成为解析对象的物体是哪个物体,仅仅通过观察被曲线图显示的信息无法掌握解析对象。
发明内容
本发明的目的在于容易地视觉识别信息信息。
根据本发明的一个方式,信息处理装置具备:动态图像数据获取部,获取正在运动的至少1个物体所涉及的动态图像的数据来作为动态图像数据;测量信息数据获取部,获取表示所述物体的测量信息的数据来作为测量信息数据;物体确定部,将所述动态图像中包含的所述测量信息数据所对应的所述物体确定为解析对象物;颜色确定部,将所述解析对象物所涉及的颜色确定为物体颜色;和决定部,将由所述颜色确定部所确定的所述物体颜色决定为显示所述测量信息数据时的显示颜色。
附图说明
图1是用于说明一实施方式所涉及的信息处理系统的概略的图。
图2是表示一实施方式所涉及的信息处理系统的结构例的概略的框图。
图3是表示一实施方式所涉及的信息处理系统的计算机的动作的一例的概略的流程图。
图4是表示一实施方式所涉及的显示图像的一例的概略的图。
图5是表示一实施方式所涉及的显示图像的一例的概略的图。
图6是表示一实施方式所涉及的显示图像的一例的概略的图。
具体实施方式
[信息处理系统的概要]
参照附图对本发明的一实施方式所涉及的信息处理系统进行说明。图1是用于说明本实施方式所涉及的信息处理系统1的概略的图。信息处理系统1具备:作为信息处理装置的计算机10、作为运动传感器的可穿戴传感器30、以及摄像机60。
可穿戴传感器30被安装于例如正在运动的人物等移动的物体。可穿戴传感器30具备用于检测被安装的物体的位置、姿势、运动等的各种传感器。表示由可穿戴传感器30所获取的物体的位置、姿势、运动等的数据称为运动数据。计算机10从可穿戴传感器30获取运动数据,进行物体的运动等的解析等。例如,在可穿戴传感器30被安装于人物的腰部的中央部时,基于可穿戴传感器30所获取的数据,能够解析该人物的各种动作。
摄像机60对安装了可穿戴传感器30的物体的动作进行摄影,获取该物体所涉及的动态图像。将由摄像机60得到的动态图像的数据称为动态图像数据。计算机10从摄像机60获取动态图像数据,进行针对物体的解析等。
计算机10对动态图像进行解析,将安装了可穿戴传感器30的物体确定为解析对象物。此外,计算机10将解析对象物的例如代表性颜色确定为物体颜色。此外,计算机10将基于由可穿戴传感器30获取的数据所进行的解析结果作为运动显示图像来显示。运动显示图像例如包含曲线图等。此时,计算机10将曲线图等的显示颜色与被确定的解析对象物所涉及的物体颜色建立关联。
例如,图1是穿着黑色服装的男性101和穿着红色服装的女性102进行跳舞的场景。男性101装配有第1可穿戴传感器30a。女性102装配有第2可穿戴传感器30b。第1可穿戴传感器30a获取与男性101的动作相关的数据。第2可穿戴传感器30b获取与女性102的动作相关的数据。摄像机60对男性101以及女性102的动作进行摄影。计算机10以黑色的线等来显示由第1可穿戴传感器30a所获取的穿着黑色服装的男性101的动作的解析结果。此外,计算机10以例如红色的线等来显示由第2可穿戴传感器30b所获取的穿着红色服装的女性102的动作的解析结果。
[信息处理系统的结构]
图2是表示信息处理系统1的结构例的概要的框图。参照图2来说明信息处理系统的结构。
<计算机的结构>
计算机10可以是例如个人计算机(PC)、平板型的电子终端等。计算机10具备:经由总线19而相互连接的中央处理单元(CPU)11、只读存储器(ROM)12、随机存取存储器(RAM)13、存储装置14、输入装置15、显示装置16、以及接口(I/F)17。
CPU11进行各种信号处理等。ROM12记录有BIOS等。RAM13作为CPU11的主存储装置发挥功能。RAM13可使用例如动态RAM(DRAM)、静态RAM(SRAM)等。存储装置14使用例如硬盘驱动器(HDD)、固态驱动器(SSD)等。存储装置14中记录有由CPU11使用的程序、参数等各种信息。此外,存储装置14保存从可穿戴传感器30以及摄像机60等所获取的数据。RAM13以及存储装置14并不限于此,可置换为各种存储装置。
输入装置15是例如键盘、鼠标等。显示装置16并不限于此,可以是例如液晶显示器等。I/F17被用于计算机10与外部设备的连接。该连接可以利用通用串行总线(USB)等的基于有线的通信,也可以利用蓝牙(Bluetooth)或者Wi-Fi这种的无线通信。
<可穿戴传感器的结构>
作为本实施方式所涉及的运动传感器的可穿戴传感器30具备:经由总线39而相互连接的角速度传感器41、加速度传感器42、磁传感器43、气压传感器44、GPS传感器45、处理器31、RAM32、闪速存储器33、输入装置34、以及接口(I/F)35。可穿戴传感器30记录装配了该可穿戴传感器的人等的动作等的历史信息。
角速度传感器41具有例如MEMS角速度传感器被设置在3轴方向的结构,检测围绕各轴的角速度。加速度传感器42具有例如MEMS加速度传感器被设置在3轴方向的结构,检测各轴方向的加速度。基于加速度传感器42的检测结果,求出重力方向。磁传感器43例如是3轴磁传感器,检测磁方向。例如,磁传感器43通过检测地磁,而能够检测方位。气压传感器44是利用了静电电容、压电电阻、或者应变计等的气压传感器,检测可穿戴传感器30的周围的气压。GPS传感器45接收GPS卫星的信号,创建可穿戴传感器30的位置信息。GPS传感器45并不限于GPS卫星,也可以使用其他的导航卫星的信号。
沿着时间经过对由角速度传感器41检测出的角速度进行累积,也就是说沿着时间经过而使姿势旋转来进行跟踪,从而能够以高精度求出可穿戴传感器30的姿势。但是,角速度传感器41的检测值具有误差。因此,若累积检测结果,则误差也累加,计计算的姿势与正确的值偏离。为此,基于利用与角速度传感器41的位置关系被固定的加速度传感器42以及磁传感器43测量出的重力方向以及磁方向,评价计计算的可穿戴传感器30的姿势的误差,以修正该姿势。此外,可穿戴传感器30的高度可利用GPS传感器45的检测值以及/或者气压传感器44的检测值来求出。此外,可穿戴传感器30的位置可利用GPS传感器45的检测值来求出。这样,可穿戴传感器30获取其位置、姿势、运动等所涉及的信息。
处理器31是例如中央处理单元(CPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等这种的集成电路,进行各种信号处理等。RAM32作为处理器31的主存储装置而发挥功能。闪速存储器33中也记录有由处理器31使用的程序、参数等各种信息。此外,闪速存储器33中记录由角速度传感器41、加速度传感器42、磁传感器43、气压传感器44以及GPS传感器45检测、并由处理器31处理的角速度信息、加速度信息、磁信息、气压信息、位置信息等。进而,闪速存储器33中也可以记录基于角速度信息、加速度信息、磁信息、气压信息、位置信息等而得到的解析结果等。RAM32以及闪速存储器33并不限于此,可置换为各种存储装置。
输入装置34是例如开关等接受用户的输入的装置,输入例如可穿戴传感器30的启动、测量的开始以及结束的指示。I/F35是用于可穿戴传感器30与外部进行数据的收发的接口。可穿戴传感器30经由I/F35而连接于计算机10等。
连接于可穿戴传感器30的外部的装置例如计算机10读取记录于可穿戴传感器30的任意期间的气压、角速度、加速度、磁方向以及位置所涉及的信息、解析结果等,基于这些来进行解析,计算可穿戴传感器30的位置以及姿势等,或者显示各种信息。根据这种的运动传感器即可穿戴传感器30,能够测量解析对象物的各种的运动。
<摄像机的结构>
本实施方式所涉及的摄像机60是进行动态图像摄影的摄像机。摄像机60具备:经由总线69而相互连接的CPU61、ROM62、RAM63、图像处理电路64、记录介质65、I/F66、摄像光学系统71、摄像元件72、姿势传感器73、输入装置74、以及显示装置75。
CPU61按照控制程序进行动作,来控制摄像机60的各部的动作。ROM62存储有摄像机60的控制程序、各种参数等。RAM63作为CPU61的主存储装置等发挥功能。图像处理电路64例如包含ASIC等,基于由摄像机60得到的图像数据来进行各种图像处理。记录介质65保存由摄像机60得到的动态图像数据。记录介质65相对于摄像机60可以自由装卸。I/F66是用于摄像机60与外部进行数据收发的接口。摄像机60经由例如I/F66而连接于计算机10。
摄像光学系统71使被摄体像在摄像元件72的摄像面成像。摄像元件72基于在摄像面成像的图像,生成图像数据。姿势传感器73包含例如加速度传感器。姿势传感器73检测摄像机60的姿势,输出姿势信息。输入装置74例如包含录像按键、变焦按键、各种设定按键等这种的输入部。显示装置75包含例如液晶显示器。显示装置75显示例如实时取景图像、各种设定画面等。
[信息处理系统的动作]
对信息处理系统1的动作进行说明。在以下的说明中,作为例子参照图1所示的状况。所谓图1所示的状况,是穿着黑色服装的男性101和穿着红色服装的女性102进行跳舞的状况。男性101装配有第1可穿戴传感器30a,女性102装配有第2可穿戴传感器30b。说明中可将第1可穿戴传感器30a与第2可穿戴传感器30b一并称为可穿戴传感器30。摄像机60对男性101与女性102的动作进行动态图像摄影。计算机10获取由可穿戴传感器30所获取的运动数据和由摄像机60所获取的动态图像数据,对其进行解析。
参照图3所示的流程图,说明计算机10的动作的一例。在步骤S1中,计算机10获取通过利用了摄像机60的摄影所得到的动态图像数据。在步骤S2中,计算机10获取由可穿戴传感器30记录的运动数据。
在步骤S3中,计算机10对动态图像数据进行解析,确定作为动态图像中的解析对象物的候选的对象物体。所谓解析对象物,例如是装配了可穿戴传感器30的正在运动的物体。例如图1所示,在人物装配了可穿戴传感器30时,解析对象物为人物。此时,计算机10在动态图像中将成为解析对象物的候选的物体即人物确定为对象物体。例如,计算机10通过利用了人型的模板的滤波处理,从图像中提取人物。例如,根据利用了模板的方法,能够容易从图像中提取对象物体。图1所示的例子中,男性101和女性102这2个人的人物被提取。
在步骤S4中,计算机10基于动态图像数据,来确定所确定的对象物体的图像中的动作。在图1所示的例子中,确定男性101的动作和女性102的动作。动作的确定中能够利用例如光流所涉及的技术。也就是说,基于图像来确定例如动态图像中的动作向量。
在步骤S5中,计算机10进行步骤S2中所获取的运动数据的解析。计算机10在该解析中例如利用加速度数据、角速度数据、磁方向数据、卫星定位数据以及气压数据之中的至少一个数据。计算机10例如计算位置、加速度、旋转等这种的所关注的值。
另外,在本实施方式中,在步骤S2中,针对从可穿戴传感器30获取运动数据,在步骤S5中,计算机10进行运动数据的解析,但是也可以可穿戴传感器30进行运动数据的解析,计算机10获取其解析结果。
在步骤S6中,计算机10比较步骤S4中所获取的图像中的对象物体的动作与步骤S5中获取的所关注的数据,确定对应关系。例如,比较步骤S4中获取的图像中的动作向量、与步骤S5中获取的例如加速度、角速度、磁方向等这种的可穿戴传感器30的动作,来确定对应关系。
此时,可以基于由摄像机60的姿势传感器73得到的姿势信息,创建表示摄像机的朝向即纵位置或者横位置等的摄像机姿势数据,利用该摄像机姿势数据,根据需要进行图像中的动作向量的旋转等的修正。也就是说,也可以预先进行摄像机60的姿势与可穿戴传感器30的坐标的位置关系的初始设定。这样,通过考虑摄像机60的姿势,能够正确地进行对应关系的确定。
计算机10将取得对应关系的对象物体确定为解析对象物。在例如图1所示的例子中,确定了第1可穿戴传感器30a的数据是记录了男性101的动作的数据,第2可穿戴传感器30b的数据是记录了女性102的动作的数据。这样,根据步骤S3至步骤S6的处理,例如即使用户不进行指定等、此外即使图像中未拍到可穿戴传感器30,也能够确定图像中的对应物体的哪个是解析对象物。
在步骤S7中,计算机10基于动态图像数据,将在步骤S6中所确定的解析对象物所涉及的颜色确定为物体颜色。对于物体颜色,例如可以按每个颜色比较解析对象物的面积,决定为与面积最大的颜色相同的颜色或者近似的颜色。对于物体颜色,也可以取代面积最大的颜色,例如从具有比规定面积大的面积的颜色之中以规定的规则(例如基于位置决定多个物体颜色的情况下考虑其他的物体颜色等)进行选择等、通过利用了面积的其他规则来决定。
在此,所谓近似的颜色,例如可基于色相环来决定。此外,在例如图1所示的例子那样,具有多个解析对象物的情况下,优选物体颜色被决定为色相的差大于规定值,以使得容易被识别。因此,在解析对象物包含多个颜色的情况下,能够按照与各个颜色相关的色相的差较大的方式来决定物体颜色。在图1所示的例子中,例如男性101的黑色和女性102的红色被确定。
在骤S8中,计算机10创建对步骤S6中所获取的运动的解析结果进行显示的图像。在此,将步骤S7中所确定的物体颜色所涉及的颜色决定为由步骤S5解析出的运动数据的颜色,创建使表示解析结果的颜色与解析对象物所涉及的颜色对应的图像。在步骤S9中,计算机10使显示装置16显示所创建的图像。
图4中表示步骤S9中被显示的显示图像的一例。在图4所示的例中,显示图像200包含曲线图区域201和图像区域205。曲线图区域201是对基于可穿戴传感器30的检测值所得到的解析结果进行曲线图显示的区域。图像区域205是对由摄像机60所得到的动态图像、编辑该动态图像而得到的动态图像、或者从该动态图像提取出的静态图像等进行显示的区域。
在图4所示的例子中,在图像区域205包含作为男性101的图像的男性图像251、作为女性102的图像的女性图像252。在曲线图区域201包含:基于由男性101所装配的第1可穿戴传感器30a获取的数据的解析结果即第1数据显示210、基于由女性102所装配的第2可穿戴传感器30b获取的数据的解析结果即第2数据显示220。
在本实施方式中,第1数据显示210以对应的男性101所涉及的颜色被显示,第2数据显示220以对应的女性102所涉及的颜色被显示。也就是说,第1数据显示210的标记211以及线212分别由黑色示出。第2数据显示220的标记221以及线222分别由红色示出。
这样,计算机10作为如下单元发挥功能:获取正在运动的至少1个物体所涉及的动态图像的数据来作为动态图像数据的动态图像数据获取部、获取表示物体的运动的数据来作为运动数据的运动数据获取部、将表示动态图像中包含的所述运动数据所对应的运动的物体确定为解析对象物的物体确定部、将解析对象物所涉及的颜色确定为物体颜色的颜颜色确定部、以及将所确定的物体颜色决定为运动数据的颜色的决定部。
通过进行本实施方式的这种显示,观看显示图像200的人能够直观且一目了然地容易视觉识别在图像区域205显示的图像中的解析对象物和在曲线图区域201示出的解析结果的显示之间的对应关系。
另外,图4中表示在显示图像200包含曲线图区域201和图像区域205的例子,但是也可以在显示图像200不包含图像区域205,仅包含曲线图区域201。观看显示图像200的人可以一边在其他显示画面确认作为解析对象物的人物的图像一边观看曲线图区域201,也可以一边观看拍摄有该人物的照片一边观看曲线图区域201,还可以一边回想所记忆的该人物一边观看曲线图区域201。此外,在实时显示曲线图等的情况下,可以一边观看解析对象物的动作一边观看曲线图区域201。因此,即便在显示图像200仅包含曲线图区域201的情况下,对于观看曲线图区域201的人而言,显示的颜色与解析对象物的颜色被关联的本实施方式所涉及的显示的识别性高,是有益的。
此外,在图4所示的显示图像200的曲线图区域201示出了普通例子,但是根据本实施方式所涉及的显示,也可以不是普通例子。由于显示的颜色与解析对象物的颜色被关联,因此无需观看普通例子,例如可以识别出曲线图的哪个线表示哪个数据。
在此,列举了人物即解析对象物为2人的情况下的例子,但是也可以是1人,还可以是3人以上。在解析对象物为1人且动态图像中的人物也为1人的情况下,动态图像中的人物与传感器所测量的人物之间的对应关系不必解析动作等就能够取得。此外,在解析对象物为1人、动态图像中的人物即对象物体为多人的情况下,从多个对象物体之中选择解析对象物。即便解析对象物为多个,根据本实施方式,观看显示图像200的人也能够容易识别解析对象物与显示图像200中示出的解析结果之间的对应关系。
[显示图像的变形例]
示出显示图像的几个变形例的例子。
<第1变形例>
图5中表示第1变形例所涉及的显示图像。在该例中,显示图像300包含曲线图区域301和图像区域305。在图像区域305包含拍摄有第1人物352的第1图像350、和拍摄有第2人物362的第2图像360。图5所示的例子是进行高尔夫的挥杆的解析的情况下的例子。例如,也可以第1人物352和第2人物362是同一人物,在不同日子进行动态图像摄影以及运动数据的收集。此外,也可以第1人物352与第2人物362是不同的人物,同时或者在不同的定时进行动态图像摄影以及运动数据的收集。
在第1图像350中,第1人物352在上半身353穿着的服装的颜色为白色,第1人物352在下半身354穿着的服装的颜色为黄色。在第2图像360中,第2人物362在上半身363穿着的服装的颜色为红色,第2人物362在下半身364穿着的服装的颜色为黑色。
在曲线图区域301中,示出了第1人物352所涉及的数据即第1数据显示310、和第2人物362所涉及的数据即第2数据显示320。在第1数据显示310中,标记311内部的颜色是第1人物352在上半身353穿着的服装的颜色即白色,线312以及标记311的轮廓线是第1人物352在下半身354穿着的服装的颜色即黄色。在第2数据显示320中,标记321内部的颜色是第2人物362在上半身363穿着的服装的颜色即红色,线322以及标记321的轮廓线是第2人物362在下半身364穿着的服装的颜色即黑色。
如第1变形例,可以按照例如人物的上半身和下半身那样提取解析对象物之中的2个以上的区域的颜色,以2个颜色以上的颜色来表示解析结果。根据这种表述,在颜色信息增加、显示多个数据的情况下,或解析对象物包含相同的颜色的情况下等,也能够实现识别性优异的显示。
在上述的例子中,示出了作为物体颜色而采用解析对象物中所占的面积大的颜色的例子,但是如第1变形例那样,作为表示解析对象物的颜色可通过各种方法来决定物体颜色。上半身的颜色以及下半身的颜色可利用例如上半身类型以及下半身类型的模板来确定。此外,并不限于服装的颜色,也可以提取帽子、手套、鞋子等的颜色来作为物体颜色。此外,并不限于身上所穿着的物品的颜色,也可以提取例如头发的颜色、所使用的道具等的颜色等来作为物体颜色。
<第2变形例>
在上述的例子中,以曲线图显示运动数据的解析结果,将曲线图的标记以及线的颜色与解析对象物的颜色建立关联。但是,并不限于此。图6中表示第2变形例所涉及的显示图像的一例。例如图6所示,显示图像400也可以是使用了人型模型的显示。图6是表示图1所示的场景的解析结果的例子。
显示图像400中包含表示男性101的解析结果的第1人型模型410、和表示女性102的解析结果的第2人型模型420。第1人型模型410示意地表示男性101的动作,第2人型模型420示意地表示女性102的动作。在此,第1人型模型410的颜色是与男性101的服装的颜色相同的黑色,第2人型模型420的颜色是与女性102的服装的颜色相同的红色。
例如人型的模型并不限于图6所示的这种以棒部来表现人型的模型。解析结果可以通过使用了各种表现形式的动画等来显示。在解析对象物不是人时,当然也能够显示该解析对象物的形状。
例如在通过人型的模型等的各种的图像、动画等来表示解析结果的情况下,由于也利用与解析对象物的颜色相关联的颜色进行表现,因此能够实现识别性优异的显示。
<第3变形例>
显示图像并不限于曲线图或人型模型等这种的图形。表示显示图像中包含的解析结果的也可以是表格。在显示方式为表格的情况下,通过使表格中的文字颜色与解析对象物的颜色建立关联,从而能够实现识别性优异的显示。
在将表示解析结果的图像设为运动显示图像时,如上述的图4的曲线图区域201、图5的曲线图区域301、图6的显示图像400、以及第3变形例的表格那样,运动显示图像可取的各种的显示方式。在显示图像中,例如图4以及图5所示那样,运动显示图像与动态图像并排被显示能够一览解析结果和动态图像,因此优选。
[解析对象物的确定方法的变形例]
对解析对象物的确定方法的变形例进行说明。在上述的例子中,示出了从动态图像数据求取图像的动作向量、比较该动作向量和可穿戴传感器30的检测值的解析结果来确定对应关系的方法。但是,对应关系的求取方法并不限于此。
例如,可以对可穿戴传感器30按每个个体设置不同的标记。该情况下,可基于图像中被检测的表示该可穿戴传感器30的标记的图像,来确定解析对象物。也就是说,不必如图3中表示流程图所说明的步骤S3至步骤S6那样比较运动数据,仅基于图像就能够确定解析对象物。不过,在该方法的情况下,需要利用摄像机60对标记进行摄影。
设置于可穿戴传感器30的标记可以是用于确定可穿戴传感器30的专用的标记,也可以将担负其他功能的部分用于标记。例如,在可穿戴传感器30在运动数据的发送中使用可见光通信的情况下,通信中利用的可见光可担负上述标记的功能。该情况下,可见光可以示出表示可穿戴传感器30的ID的发光图案。
这样,通过在可穿戴传感器30设置标记,为了将解析对象物与可穿戴传感器30对应起来,不需要例如求出光流等的复杂的图像解析等。
此外,也可以与可穿戴传感器30独立地安装用于将解析对象物确定为装配了可穿戴传感器30的解析对象物的标记。也可通过动态图像中所拍摄的这种的标记,来确定解析对象物。
[运动数据的变形例]
在上述的例子中,以利用可穿戴传感器30所获取的数据作为运动数据使用的情况为例进行了说明。但是,并不限于此。
运动数据电可以基于由摄像机60所得到的动态图像来获取。该情况下,信息处理系统1不需要可穿戴传感器30。信息处理系统1具备:拍摄担负作为动态图像数据以及运动数据的作用的动态图像的摄像机60、和进行动态图像数据以及运动数据的解析的计算机10。
此外,运动数据也可以是例如由距离图像传感器获取的数据。该情况下,信息处理系统1取代可穿戴传感器30而具备距离图像传感器。
这些的情况下,由于基于动态图像数据来确定解析对象物,因此参照图3所说明的步骤S3至步骤S6的处理被置换为基于动态图像或者距离图像传感器的输出解析运动数据、基于图像来确定解析对象物。
这样,本实施方式所涉及的信息处理系统1并不限于可穿戴传感器30,也可以适用于能够获取用于对解析对象物的运动进行解析的数据的各种设备。
[解析对象物的变形例]
在上述的例子中,示出了将人物作为解析对象物的例子。但是,解析对象物并不限于人物,可以是任意的物体。解析对象物例如可以是机器人、汽车等的物体。解析对象物例如也可以是赛马等动物。
此外,在上述的例子中,示出了对作为1个解析对象物的1个人物装配了1个可穿戴传感器30的例子,但是并不限于此。也可以对1人装配多个可穿戴传感器30。也就是说,可以针对1人解析多个部位的运动。例如,可以在人物的上半身和下半身分别装配可穿戴传感器30。该情况下,关于上半身的解析结果可以利用上半身的服装的颜色进行显示,关于下半身的解析结果可以利用下半身的服装的颜色进行显示。在该例中,解析对象物是1个人物的上半身和下半身,对于1个人物有2个解析对象物。这样,1个对象物体中可以具有多个解析对象物。该情况下,1个对象物体中存在多个的解析对象物的各个颜色与解析对象物的各个解析结果也分别被对应。
[系统结构的变形例]
在信息处理系统1中,也可以取代摄像机60和计算机10而使用例如担负摄像机60和计算机10的双方的功能的带有摄像机的信息处理装置。
在上述情况的任意情况下,根据本实施方式,也能够提供对于用户而言容易识别的显示图像。此外,上述的各变形例当然也能够彼此组合来应用。
此外,上述实施方式中作为数据将运动数据作为对象来进行了说明,但是作为对象的数据也可以是脉搏或心律这种的生物体信息的各种数据。
另外,本发明并不限定于上述实施方式,在实施阶段可以在不脱离其主旨的范围内进行各种变形。此外,各实施方式也可以适当组合实施,该情况下可获得组合的效果。进而,上述实施方式中包含各种的发明,通过从所公开的多个结构要件所选择出的组合可提取各种的发明。例如,在即便从实施方式所示的全部结构要件中删除几个结构要件也能够解决技术问题并获得效果的情况下,删除了被结构要件的结构可作为发明而提取出。

Claims (19)

1.一种信息处理装置,具备:
动态图像数据获取部,获取正在运动的至少1个物体所涉及的动态图像的数据来作为动态图像数据;
测量信息数据获取部,获取表示基于所述物体的运动的测量信息的数据来作为测量信息数据;
物体确定部,将所述动态图像中包含的所述测量信息数据所对应的所述物体确定为解析对象物;
颜色确定部,将所述解析对象物所涉及的颜色确定为物体颜色;
决定部,将由所述颜色确定部所确定的所述物体颜色决定为显示所述测量信息数据时的显示颜色;和
显示创建部,创建利用由所述决定部所决定的所述物体颜色来显示所述测量信息数据的测量信息显示图像,
所述颜色确定部针对所述解析对象物确定2个颜色来作为所述物体颜色,
所述显示创建部创建包含表示所述测量信息数据的曲线图在内的所述测量信息显示图像,
所述显示创建部将所述2个颜色之中的一个颜色设为表示所述解析对象物的所述测量信息数据的曲线图的标记的颜色,将另一个颜色设为表示所述解析对象物的所述测量信息数据的曲线图的线的颜色。
2.根据权利要求1所述的信息处理装置,其中,
所述测量信息数据是使用传感器来获取的数据。
3.根据权利要求2所述的信息处理装置,其中,
所述物体确定部解析所述动态图像来确定所述物体所涉及的动作向量,
所述物体确定部比较所述物体的动作的信息和所述动作向量,来确定所述解析对象物,其中,所述物体的动作的信息是基于所述测量信息数据中包含的由所述传感器获取的加速度数据、角速度数据、磁方向数据、卫星定位数据以及气压数据之中的至少任意一个而获取的信息。
4.根据权利要求2所述的信息处理装置,其中,
所述物体具备与所述传感器对应的标记,
所述动态图像中包含所述标记所涉及的图像,
所述物体确定部基于所述图像中包含的所述标记来确定所述解析对象物。
5.根据权利要求4所述的信息处理装置,其中,
所述标记被配置于所述传感器。
6.根据权利要求1所述的信息处理装置,其中,
所述测量信息数据是解析所述动态图像所获取的数据、或者由距离图像传感器所获取的数据。
7.根据权利要求1至6的任意一项所述的信息处理装置,其中,
所述测量信息数据获取部获取多个测量信息数据,
所述物体确定部按所述多个测量信息数据的每一个来确定所述解析对象物。
8.根据权利要求7所述的信息处理装置,其中,
所述颜色确定部按多个所述解析对象物的每一个来决定所述物体颜色,以使得各个色相的扩展大于规定值。
9.根据权利要求1至6的任意一项所述的信息处理装置,其中,
所述颜色确定部确定每个所述解析对象物的颜色的面积,将与基于所述面积所决定的颜色相同的颜色或者近似的颜色确定为所述物体颜色。
10.根据权利要求1至6的任意一项所述的信息处理装置,其中,
所述物体确定部利用使用了与所述物体的形态相应的模板的滤波处理,识别所述动态图像中包含的至少1个物体。
11.根据权利要求1至6的任意一项所述的信息处理装置,其中,
所述颜色确定部针对所述解析对象物确定多个颜色来作为所述物体颜色,
所述决定部将所述多个颜色决定为显示所述测量信息数据时的显示颜色。
12.根据权利要求1所述的信息处理装置,其中,
所述显示创建部创建包含表示所述测量信息数据的表格在内的所述测量信息显示图像,
所述显示创建部将所述物体颜色设为表示所述解析对象物的所述测量信息数据的表格的文字的颜色。
13.根据权利要求1所述的信息处理装置,其中,
所述显示创建部创建包含表示所述测量信息数据的人型模型在内的所述测量信息显示图像,
所述显示创建部将所述物体颜色设为表示所述解析对象物的所述测量信息数据的人型模型的颜色。
14.根据权利要求1所述的信息处理装置,其中,
所述显示创建部创建包含动画的图像的所述测量信息显示图像,该动画的图像以形状表示所述测量信息数据表征的测量信息,
所述显示创建部将所述物体颜色设为表示所述解析对象物的所述测量信息数据的所述动画的图像的颜色。
15.根据权利要求1所述的信息处理装置,其中,
所述显示创建部创建包含所述测量信息显示图像和所述动态图像的显示图像。
16.一种信息处理系统,包括:
权利要求1至6的任意一项所述的信息处理装置;和
拍摄所述动态图像的摄像机,
所述信息处理装置的所述动态图像数据获取部获取由所述摄像机拍摄的动态图像的数据来作为动态图像数据。
17.根据权利要求16所述的信息处理系统,其中,
所述摄像机具备姿势确定部,该姿势确定部确定所述摄像机的纵位置和横位置,并创建摄像机姿势数据,
所述物体确定部在确定所述解析对象物时使用所述摄像机姿势数据。
18.一种信息处理方法,包括:
获取正在运动的至少1个物体所涉及的动态图像的数据来作为动态图像数据;
获取表示基于所述物体的运动的测量信息的数据来作为测量信息数据;
将所述动态图像中包含的所述测量信息数据所对应的所述物体确定为解析对象物;
将所述解析对象物所涉及的颜色确定为物体颜色;
将被确定的所述物体颜色决定为显示所述测量信息数据时的显示颜色;和
创建利用所决定的所述物体颜色来显示所述测量信息数据的测量信息显示图像,
针对所述解析对象物确定2个颜色来作为所述物体颜色,
创建包含表示所述测量信息数据的曲线图在内的所述测量信息显示图像,
将所述2个颜色之中的一个颜色设为表示所述解析对象物的所述测量信息数据的曲线图的标记的颜色,将另一个颜色设为表示所述解析对象物的所述测量信息数据的曲线图的线的颜色。
19.一种计算机可读取的记录介质,记录有程序,该程序使信息处理装置的计算机作为如下单元发挥功能:
动态图像数据获取单元,获取正在运动的至少1个物体所涉及的动态图像的数据来作为动态图像数据;
测量信息数据获取单元,获取表示基于所述物体的运动的测量信息的数据来作为测量信息数据;
物体确定单元,将所述动态图像中包含的所述测量信息数据所对应的所述物体确定为解析对象物;
颜色确定单元,将所述解析对象物所涉及的颜色确定为物体颜色;
决定单元,将所确定的所述物体颜色决定为显示所述测量信息数据时的显示颜色;和
显示创建单元,创建利用由所述决定单元所决定的所述物体颜色来显示所述测量信息数据的测量信息显示图像,
所述颜色确定单元针对所述解析对象物确定2个颜色来作为所述物体颜色,
所述显示创建单元创建包含表示所述测量信息数据的曲线图在内的所述测量信息显示图像,
所述显示创建单元将所述2个颜色之中的一个颜色设为表示所述解析对象物的所述测量信息数据的曲线图的标记的颜色,将另一个颜色设为表示所述解析对象物的所述测量信息数据的曲线图的线的颜色。
CN201810913220.1A 2017-09-26 2018-08-10 信息处理装置、信息处理系统、信息处理方法以及记录介质 Active CN109558782B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-185276 2017-09-26
JP2017185276A JP6690622B2 (ja) 2017-09-26 2017-09-26 情報処理装置、情報処理システム、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN109558782A CN109558782A (zh) 2019-04-02
CN109558782B true CN109558782B (zh) 2023-08-01

Family

ID=65806811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810913220.1A Active CN109558782B (zh) 2017-09-26 2018-08-10 信息处理装置、信息处理系统、信息处理方法以及记录介质

Country Status (3)

Country Link
US (1) US10783376B2 (zh)
JP (1) JP6690622B2 (zh)
CN (1) CN109558782B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018085575A (ja) * 2016-11-21 2018-05-31 カシオ計算機株式会社 画像処理装置、解析システム、画像処理方法及びプログラム
WO2020255742A1 (ja) * 2019-06-21 2020-12-24 パナソニックIpマネジメント株式会社 動物情報管理システム、及び、動物情報管理方法
CN110853124B (zh) * 2019-09-17 2023-09-08 Oppo广东移动通信有限公司 生成gif动态图的方法、装置、电子设备及介质
EP4258988A1 (en) 2020-12-14 2023-10-18 Universiteit Twente Footwear sensors for human movement measurement

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010263273A (ja) * 2009-04-30 2010-11-18 Seiko Epson Corp ロボットシステムおよびロボットシステムの制御方法
CN102334142A (zh) * 2009-02-24 2012-01-25 三菱电机株式会社 人物追踪装置以及人物追踪程序
CN102932584A (zh) * 2011-08-10 2013-02-13 卡西欧计算机株式会社 显示装置及显示方法
CN103356610A (zh) * 2012-04-06 2013-10-23 北京以岭药业有限公司 四氢紫堇萨明在制备治疗老年性痴呆药物中的应用
WO2014009776A1 (en) * 2012-07-12 2014-01-16 Intellisense Zrt. A method for determining of selected properties of a selected object by analyzing selected parameters of an electronically accessible image
CN105306782A (zh) * 2014-07-22 2016-02-03 富士施乐株式会社 信息处理装置、信息处理系统以及信息处理方法
CN106713733A (zh) * 2015-11-17 2017-05-24 清华大学 一种记录物体运动信息的装置及方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63262127A (ja) 1987-04-20 1988-10-28 三洋電機株式会社 運動計測デ−タ表示装置
JPH10276351A (ja) * 1997-03-31 1998-10-13 Mitsubishi Electric Corp スポーツ競技表示装置
JP2001025584A (ja) 1999-07-14 2001-01-30 Mitsubishi Electric Corp フライング防止システム
JP2004080163A (ja) * 2002-08-12 2004-03-11 Seiko Epson Corp 軌跡監視装置、軌跡監視機能を有するプログラム及び、軌跡監視機能を有するプログラムを記録したコンピュータ読み取り可能な情報記録媒体
JP2009106323A (ja) 2007-10-26 2009-05-21 Yamaha Corp 運動フォーム評価装置および運動フォーム評価プログラム
JP5047007B2 (ja) * 2008-03-03 2012-10-10 三洋電機株式会社 撮像装置
US20090278937A1 (en) * 2008-04-22 2009-11-12 Universitat Stuttgart Video data processing
US9007376B2 (en) * 2010-03-29 2015-04-14 Casio Computer Co., Ltd. Graph display apparatus and graph display method
US10702216B2 (en) * 2010-06-08 2020-07-07 Styku, LLC Method and system for body scanning and display of biometric data
US20120158238A1 (en) * 2010-07-14 2012-06-21 Marcus Isaac Daley Location based automobile inspection
JP2015061579A (ja) * 2013-07-01 2015-04-02 株式会社東芝 動作情報処理装置
US10207193B2 (en) * 2014-05-21 2019-02-19 Universal City Studios Llc Optical tracking system for automation of amusement park elements
WO2015189893A1 (ja) * 2014-06-09 2015-12-17 株式会社日立製作所 個体識別装置、および個体識別方法
US9177225B1 (en) * 2014-07-03 2015-11-03 Oim Squared Inc. Interactive content generation
EP3176756A4 (en) * 2014-07-28 2017-08-09 Panasonic Intellectual Property Management Co., Ltd. Augmented reality display system, terminal device and augmented reality display method
US20160188977A1 (en) * 2014-12-24 2016-06-30 Irobot Corporation Mobile Security Robot
WO2016139906A1 (ja) * 2015-03-04 2016-09-09 パナソニックIpマネジメント株式会社 人物追跡方法および人物追跡装置
JP6587435B2 (ja) * 2015-06-29 2019-10-09 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
JP6649864B2 (ja) * 2015-10-23 2020-02-19 株式会社モルフォ 画像処理装置、電子機器、画像処理方法及びプログラム
JP6888250B2 (ja) * 2015-12-28 2021-06-16 カシオ計算機株式会社 画像処理装置、測定装置、画像処理システム、画像処理方法及びプログラム
JP6723814B2 (ja) * 2016-04-28 2020-07-15 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102334142A (zh) * 2009-02-24 2012-01-25 三菱电机株式会社 人物追踪装置以及人物追踪程序
JP2010263273A (ja) * 2009-04-30 2010-11-18 Seiko Epson Corp ロボットシステムおよびロボットシステムの制御方法
CN102932584A (zh) * 2011-08-10 2013-02-13 卡西欧计算机株式会社 显示装置及显示方法
CN103356610A (zh) * 2012-04-06 2013-10-23 北京以岭药业有限公司 四氢紫堇萨明在制备治疗老年性痴呆药物中的应用
WO2014009776A1 (en) * 2012-07-12 2014-01-16 Intellisense Zrt. A method for determining of selected properties of a selected object by analyzing selected parameters of an electronically accessible image
CN105306782A (zh) * 2014-07-22 2016-02-03 富士施乐株式会社 信息处理装置、信息处理系统以及信息处理方法
CN106713733A (zh) * 2015-11-17 2017-05-24 清华大学 一种记录物体运动信息的装置及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A function-based linear map symbol building and rendering method using shader language;Yue S等;《 International Journal of Geographical Information Science》;第30卷(第2期);143-167 *
The role of features in preattentive vision: Comparison of orientation, motion and color cues;Nothdurft H C;《Vision research》;第33卷(第14期);1937-1958 *
图表三级联动巧实现;马震安等;《电脑爱好者》;第483卷(第20期);52-53 *
进化算法研究平台的设计与开发;赵宾宾等;《太原科技大学学报》;第32卷(第6期);447-451 *

Also Published As

Publication number Publication date
US10783376B2 (en) 2020-09-22
JP2019061479A (ja) 2019-04-18
US20190095718A1 (en) 2019-03-28
JP6690622B2 (ja) 2020-04-28
CN109558782A (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
CN109558782B (zh) 信息处理装置、信息处理系统、信息处理方法以及记录介质
JP4971808B2 (ja) 歩行動作分析装置
JP6809226B2 (ja) 生体検知装置、生体検知方法、および、生体検知プログラム
EP3635724A1 (en) Techniques for object tracking
US20130194421A1 (en) Information processing apparatus, information processing method, and recording medium, for displaying information of object
JP6369811B2 (ja) 歩行解析システムおよび歩行解析プログラム
CN110546644B (zh) 识别装置、识别方法以及记录介质
JP6852673B2 (ja) センサ装置、センサシステム及び情報処理装置
JP2018026131A (ja) 動作解析装置
JP2010534316A (ja) 対象物の動きを捕捉するシステム及び方法
JP6736414B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN109242887A (zh) 一种基于多摄像机和imu的实时人体上肢动作捕捉方法
CN108079547A (zh) 图像处理装置、分析系统、图像处理方法以及记录介质
EP4109399A1 (en) Information processing device, and determination result output method
KR101636171B1 (ko) 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템
JP3732757B2 (ja) 画像認識方法および画像認識装置
CN115862124A (zh) 视线估计方法、装置、可读存储介质及电子设备
KR101795474B1 (ko) 골프자세 교정방법 및 이를 이용한 골프자세 교정시스템
US20210059614A1 (en) Sarcopenia evaluation method, sarcopenia evaluation device, and non-transitory computer-readable recording medium in which sarcopenia evaluation program is recorded
CN110334595B (zh) 一种犬尾运动的识别方法、装置、系统及存储介质
JP2020201183A (ja) カメラ位置調整方法
KR102030606B1 (ko) 적외선 카메라를 이용한 실시간 보행검사 장치 및 방법
US20220203200A1 (en) Golf swing analysis system, golf swing analysis method, and information storage medium
KR102475470B1 (ko) 드론을 이용한 운동 영상 획득 시스템 및 드론을 이용한 운동 영상 획득 방법
Htoo et al. Privacy preserving human fall recognition using human skeleton data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant