CN105850109A - 信息处理装置、记录介质和信息处理方法 - Google Patents

信息处理装置、记录介质和信息处理方法 Download PDF

Info

Publication number
CN105850109A
CN105850109A CN201480068702.1A CN201480068702A CN105850109A CN 105850109 A CN105850109 A CN 105850109A CN 201480068702 A CN201480068702 A CN 201480068702A CN 105850109 A CN105850109 A CN 105850109A
Authority
CN
China
Prior art keywords
picture
composition
angular field
information
information processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480068702.1A
Other languages
English (en)
Other versions
CN105850109B (zh
Inventor
木村隆臣
青木卓
山下功诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105850109A publication Critical patent/CN105850109A/zh
Application granted granted Critical
Publication of CN105850109B publication Critical patent/CN105850109B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image
    • G06T2207/30224Ball; Puck
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Abstract

为了容易获得能够通过指定由成像装置获取的图片的组成进行有效分析的图片。提供一种信息处理装置,包括:角视场估计部分,其被配置成基于在真实空间中的位置关系在图片中已知的至少两个点的位置,估计由成像装置获取的图片的角视场;以及组成指定信息输出部分,其被配置成以满足根据角视场所规定的拍摄对象与成像装置之间的位置关系的方式输出指定图片的组成的信息。

Description

信息处理装置、记录介质和信息处理方法
技术领域
本公开涉及一种信息处理装置、一种记录介质和一种信息处理方法。
背景技术
直到现在,已经开发了通过使用传感或分析帮助用户的运动的许多技术。作为这种技术,例如,在通过使用击球工具击球的运动中,诸如网球、羽毛球、乒乓球、高尔夫球或棒球,检测球被击球工具击中的频率和球被击中的位置,并且将这些作为信息呈现给用户。作为这种技术的实例,专利文献1公开了一种技术,例如,其在网球拍的击球面及其周围布置传感器,检测球击中击球面的位置,并且向用户通知频率和位置。
引文列表
专利文献
专利文献1:JP S59-194761A
发明内容
技术问题
在专利文献1中所公开的技术中,对应于网球拍的击球面上的每个位置布置大量的传感器。以这种方式,不仅可以检测到球已击中击球面的频率,还可以检测到球已击中击球面上的位置。然而,在用户已经购买了击球工具之后,这些大量的传感器将需要时间来安装。尽管可能出售具有预先内置的传感器的击球工具,但是击球工具的价格将增加,并且用户将很难更换击球工具。此外,尽管也考虑如下方法:通过使用能够使用几千分之一的帧率拍摄的高速照相机来拍摄球碰撞的瞬间,并且从图片中确认球被击中的位置,但是高速照相机具有很高的成本,并且操作也很复杂,因此用户可能很难容易地使用。
另一方面,通过使用数码相机,或安装在终端装置(诸如智能手机)上的照相机,在比赛中拍摄图片已变得越来越普遍。然而,使用这种照相机的图片具有低帧率,或不相对于用户或球用固定的组成拍摄,因此将很难实施与例如通过使用上述高速照相机拍摄的图片相同的分析。
因此,本公开提出了一种新的和改进的信息处理装置、记录介质和信息处理方法,其能够容易获得能够通过指定由成像装置获取的图片的组成进行有效分析的图片。
问题的解决方案
根据本公开,提供一种信息处理装置,包括:角视场估计部分,其被配置成基于在真实空间中的位置关系在图片中已知的至少两个点的位置,估计由成像装置获取的图片的角视场;以及组成指定信息输出部分,其被配置成以满足根据角视场所规定的拍摄对象与成像装置之间的位置关系的方式输出指定图片的组成的信息。
根据本公开,提供一种存储有程序的记录介质,所述程序使计算机实施:基于在真实空间中的位置关系在图片中已知的至少两个点的位置,估计由成像装置获取的图片的角视场的功能;以及以满足根据角视场所规定的拍摄对象与成像装置之间的位置关系的方式输出指定图片的组成的信息的功能。
根据本公开,提供一种信息处理方法,包括:通过处理器,基于在真实空间中的位置关系在图片中已知的至少两个点的位置,估计由成像装置获取的图片的角视场;以及以满足根据角视场所规定的拍摄对象与成像装置之间的位置关系的方式输出指定图片的组成的信息。
本发明的有利效果
根据诸如上述的本公开,可以容易获得能够通过指定由成像装置获取的图片的组成进行有效分析的图片。
应注意,上述效果并不一定是限制性的,并且连同或代替这些效果,可以呈现需要在本说明书中被引入的任何效果或可以从本说明书中预期的其它效果。
附图说明
[图1]图1是示出根据本公开的实施方案的系统配置的实例的图解。
[图2]图2是示出根据本公开的实施方案的系统的示意性装置配置的方框图。
[图3]图3是示出本公开的实施方案中的处理部分的配置的示意性方框图。
[图4]图4是用于描述本公开的实施方案中的角视场的估计的图解。
[图5]图5是示出本公开的实施方案中的角视场的估计的过程的实例的流程图。
[图6]图6是用于描述本公开的实施方案中的组成的指定的图解。
[图7]图7是用于描述本公开的实施方案中的向导的显示的图解。
[图8]图8是示出本公开的实施方案中的组成的指定的过程的实例的流程图。
[图9]图9是示出本公开的实施方案中的为组成的指定显示的图片的实例的图解。
[图10]图10是示出本公开的实施方案中的构成处理部分的构成元件的示意性方框图。
[图11]图11是用于描述本公开的实施方案中的记录的控制的实例的图解。
[图12]图12是用于描述本公开的实施方案中的不同于分析片段的片段的图片再现的实例的图解。
[图13]图13是示出本公开的实施方案中的分析过程中的图片显示的第一实例的图解。
[图14]图14是示出本公开的实施方案中的分析过程中的屏幕显示的第二实例的图解。
[图15]图15是示出本公开的实施方案中的分析过程中的屏幕显示的第三实例的图解。
[图16]图16是示出根据本公开的实施方案的传感器装置的硬件配置的实例的图解。
[图17]图17是示出根据本公开的实施方案的分析装置的硬件配置的实例的图解。
具体实施方式
在下文中,将参照附图详细地描述本公开的一个或多个优选实施方案。在本说明书和附图中,具有大体上相同的功能和结构的元件用相同的参考符号来表示,并且省略了重复的解释。
将按下列顺序给出描述。
1、系统配置
2、处理部分的配置
2-1、角视场估计部分
2-2、组成指定信息输出部分
2-3、图片分析部分
3、构成处理部分的构成元件
3-1、使用传感器数据记录的控制
3-2、不同于分析片段的片段的图片再现
3-3、分析过程中的图片显示
3-4、分析结果的显示
4、硬件配置
5、补充
(1、系统配置)
图1是示出根据本公开的实施方案的系统配置的实例的图解。参照图1,系统10包括传感器装置100、智能手机200和服务器300。
传感器装置100安装在网球拍R上。例如,传感器装置100包括振动传感器,并且检测由于球与球拍R碰撞而在球拍R中产生的振动。例如,通过无线通信(诸如Bluetooth(注册商标))将由振动传感器获取的振动数据传输到智能手机200。此外,传感器装置100可以包括加速度传感器、角速度传感器、磁场传感器等(例如,九轴运动传感器),并且可以检测球拍R的加速度、角速度、倾斜度等。也可以通过无线通信将由这些传感器获取的数据传输到智能手机200。
智能手机200接收从传感器装置100传输的数据。智能手机200可以基于所接收的数据执行分析过程。在这种情况下,智能手机200可以将分析结果输出到用户,并且可以将分析数据上载到服务器300。或者,智能手机200可以将所接收的数据转发到服务器300。在这种情况下,智能手机200可以接收由服务器300执行的分析过程的结果,并且可以将这个结果输出到用户。
此外,在所示的实例中,智能手机200包括能够获取图片的相机,该图片包括作为拍摄对象的正在打网球的用户。如下文将描述的,在本实施方案中,当输出指定由相机获取的图片的组成的信息时,这个输出可以由智能手机200执行。例如,由相机捕获的图片可以在智能手机200的显示屏上显示为贯通图片,并且指定组成的信息可以叠加显示在贯通图片上。下文将描述这种信息的具体实例。应注意,智能手机200可以由包括成像功能和输出功能的另一装置(例如,平板终端、数码相机等)代替。智能手机200可以例如通过分析捕获的图片本身产生指定组成的信息,或可以向服务器300请求用于产生指定组成的信息的过程。
应注意,在单独的实例中,输出指定图片的组成的信息的终端装置(诸如智能手机200)和获取图片的成像装置可以在单独的装置中。例如,系统10可以包括与智能手机200分开的数码相机,并且可以经由智能手机200产生指定由数码相机获取的图片的组成的信息。在这种情况下,从数码相机获取的图片(例如,贯通图片)的数据被传输到智能手机200,并且智能手机200通过图片的分析产生指定组成的信息。或者,智能手机200另外将图片的数据传送到服务器300,并且请求产生指定组成的信息。所产生的信息由智能手机200输出,或从智能手机200传输到数码相机并且从数码相机输出。智能手机200本身可以由具有如上所述的信息处理功能的数码相机代替。
服务器300经由网络与智能手机200通信,并且接收在传感器装置100中获取的数据的分析结果或其数据。此外,服务器300可以接收从智能手机200捕获的图片的数据。服务器300保留从智能手机200上载的分析结果或从服务器300本身计算的分析结果,并且必要时将这个分析结果传输到由用户使用的终端装置(诸如智能手机200)。此外,服务器300可以将分析结果传输到由除了已提供分析结果或数据的用户以外的用户使用的终端装置,并且可以在用户之间实现分析结果的共享。
图2是示出根据本公开的实施方案的系统的示意性装置配置的方框图。参照图2,系统10包括传感器装置100、智能手机200和服务器300,并且另外,下文将描述实施每个装置的信息处理装置的硬件配置实例。
传感器装置100包括传感器110、处理部分120和传输部分130。例如,传感器110包括振动传感器、角速度传感器、角速度传感器和/或磁场传感器等(例如,九轴运动传感器)。例如,处理部分120由处理器(诸如CPU等)实施,并且处理由传感器110获取的数据。例如,由处理部分120的处理可以是预处理(诸如取样或噪声去除),或可以包括分析过程。传输部分130由通信装置实施,并且例如通过使用无线通信(诸如Bluetooth(注册商标))将数据传输到智能手机200。
智能手机200包括接收部分210、处理部分220、存储部分230、传输部分240、成像部分250、输入部分260和输出部分270。接收部分210由通信装置实施,并且从传感器装置100接收通过使用无线通信(诸如Bluetooth(注册商标))传输的数据。另外,接收部分210可以通过使用网络通信接收从服务器300传输的数据。处理部分220例如由处理器(诸如CPU)实施,并且处理所接收的数据。例如,处理部分220可以将所接收的数据暂时积累在存储部分230中,并且此后可以经由传输部分240将积累的数据传输到服务器300。此外,处理部分220可以执行对接收或获取的数据的分析。存储部分230例如由存储器或存储装置实施。传输部分240由通信装置实施,并且例如通过使用网络通信(诸如互联网)将音频数据(或分析后的数据)传输到服务器300。
成像部分250例如由组合透镜等的光学系统与成像传感器的相机模块实施,并且获取包括以在打网球的用户作为拍摄对象的图片。例如,在启动过程中成像部分250将捕获的图片不断提供到处理部分220。在执行静止图片或运动图片的成像的情况下,处理部分220使在输出部分270中包括的显示器将所提供的图片显示为贯通图片,并且将图片数据存储在存储部分230中。
输入部分260接受用户对智能手机200的操作输入。例如,输入部分260可以包括安装在显示器上的输入装置(诸如触控面板或硬件按钮),并且可以包括用于接受用户的音频作为操作输入的麦克风,或用于接受用户的手势作为操作输入的相机或传感器等。输出部分270将用户的各种类型的信息输出到智能手机200。例如,输出部分270包括显示器、扬声器等。输出部分270输出指定例如由成像部分250获取的图片的组成的信息。
服务器300包括接收部分310、处理部分320、存储部分330和传输部分340。接收部分310由通信装置实施,并且从智能手机200接收通过使用网络通信(诸如互联网)传输的数据。处理部分320例如由处理器(诸如CPU)实施,并且处理所接收的数据。例如,处理部分320执行对所接收的数据的过程的分析过程,并且可以另外将分析后的数据积累在存储部分330中,或可以经由传输部分340输出数据。或者,处理部分320可以只执行对积累的控制或对已经在智能手机200等中分析的数据的输出。
(2、处理部分的配置)
图3是示出本公开的实施方案中的处理部分的配置的示意性方框图。参照图3,根据本实施方案的处理部分包括角视场估计部分510和组成指定信息输出部分520。处理部分可以另外包括图片分析部分530。
此处,角视场估计部分510、组成指定信息输出部分520和图片分析部分530被实施在例如上文参照图2所述的系统10中、智能手机200的处理部分220、或服务器300的处理部分320中。整个处理部分可以被实施在单个装置中,或一个或多个构成元件可以通过分配给分别不同的装置来实施。
(2-1、角视场估计部分)
角视场估计部分510基于图片中的位置关系,通过在真实空间中的位置关系已知的至少两个点,估计由成像装置获取的图片的角视场。这点将通过参看图4和图5另外描述。
图4是用于描述本公开的实施方案中的角视场的估计的图解。在图4中示出智能手机200的成像部分250(成像装置)、以及由成像部分250获取的图片的两个角视场A1和A2。角视场A1和A2相互不同,并且角视场A1比角视场A2更宽。角视场的这种差异是由光学系统的布置引起的,该光学系统包括例如构成成像装置的成像传感器和透镜。此外,例如,即使成像装置相同,如果改变图片的分辨率、改变宽高比,或执行变焦操作,则角视场变化。
例如,尽管角视场估计部分510可以由相同的智能手机200中的成像部分250和处理部分220实施,但是,即使是在这种情况下,也不容易从内部从成像部分250获取诸如上面描述的所有设置信息。尤其是在实施有角视场估计部分510的装置和成像装置是分开的情况下,将不容易获取诸如上面描述的所有设置信息来规定角视场。
因此,在本实施方案中,角视场估计部分510基于网球场的边线与网之间的交点P1和P4、以及单打边线与网之间的交点P2和P3在图片内的位置,估计图片的角视场。由于这些点P1至P4是根据规则规定的网球场上的点,故这个位置关系是已知的。因此,例如,在规定位置处(例如,在网球场的底线的中心)布置成像装置(成像部分250)后,如果捕获到点P1至P4的方向的图片,则可以基于点P1至P4在图片中的位置估计图片的角视场。
更具体来说,例如,在点P1和P2在靠近捕获的图片的右边缘的部分被反射,并且点P3和P4在靠近左边缘的部分被反射的情况下,角视场估计部分510可以估计角视场靠近A1。此外,在点P2在靠近捕获的图片的右边缘的部分被反射,点P3在靠近左边缘的部分被反射,并且点P1和P4没有被反射在图片中的情况下,角视场估计部分510可以估计角视场靠近A2。如果至少点P2和点P3被包括在图片中,由于点P2与点P3之间的距离是已知的,故可以估计角视场。然而,使所有点P1至P4被包括在图片中将增加估计的准确性。
图5是示出本公开的实施方案中的角视场的估计的过程的实例的流程图。参照图5,首先,角视场估计部分510使被包括在智能手机200的输出部分270中的显示屏显示贯通图片(S101)。贯通图片为由成像部分250或另一成像装置获取的真实空间的图片。应注意,可能在S101之前已经显示贯通图片。接着,角视场估计部分510使用于角视场估计的标记叠加显示在被显示在显示屏上的贯通图片上(S103)。用于角视场估计的标记为例如对应于以上实例中的点P1至P4的图形(诸如圆圈或交叉线)。
此处,用户在规定位置处布置成像装置(S105)。如果在以上实例中,用户在网球场的底线的中心朝向网布置成像装置(包括成像部分250或另一成像装置的智能手机200)。另外,用户通过操作被包括在智能手机200的输入部分260中的显示屏上的触控面板使在S103中叠加显示的标记移动,并且使这些标记与贯通图片内的规定的点匹配(S107)。例如,如果在以上实例中点P1至P4的情况下,则用户使被显示在显示屏上的四个标记分别与边线和单打边线与网之间的四个交点匹配。
接着,角视场估计部分510决定规定的点在贯通图片中的位置和由用户移动的标记的位置是否匹配(S109)。此处,在角视场估计部分510不可以通过图片分析指定规定的点在贯通图片中的位置的情况下,可以基于用户经由输入部分260(诸如触控面板)的操作决定规定的点的位置和标记的位置匹配。此外,在角视场估计部分510可以通过图片分析指定规定的点在贯通图片中的位置的情况下,角视场估计部分510可以自动决定规定的点的位置和标记的位置匹配,并且在决定存在匹配的情况下,可以将确认是否可以决定角视场的对话等输出到用户。
或者,在角视场估计部分510可以通过图片分析指定规定的点在贯通图片中的位置的情况下,角视场估计部分510可以执行S107的用户的操作,并且可以使标记自动移动。在这种情况下,例如,在S105中在规定位置处布置用户的成像装置的时间点,经由输入部分260执行用于使角视场指定开始的用户操作,并且可以自动执行从S107起的所有步骤。或者,用户可以确认在S107中自动移动的标记的位置与规定的点在贯通图片中的位置之间的关系,并且在认识到这些位置匹配的情况下,可以执行显示在S109中位置匹配的用户操作。
在S109中,在决定规定的点在贯通图片中的位置和叠加显示的标记的位置匹配的情况下,角视场估计部分510计算图片的水平宽度的在真实空间中的距离(S111)。例如,如果在以上实例中点P1至P4的情况下,则通过比较每个点P1至P4之间的在真实空间中的距离与每个这些点在图片内的距离,可以计算在包括点P1至P4的表面上图片的真实空间的缩小比例尺比例。以这种方式,可以计算在这个表面上图片的水平宽度的在真实空间中的距离。这个计算结果可以例如表示为将图片中的一个像素转换成真实空间的距离单位(例如,米)的系数。
接着,角视场估计部分510基于从成像装置的位置到规定的点的距离估计角视场(S113)。在S105中,在规定位置处,更具体来说,例如,在网球场的底线的中心布置成像装置。因此,在包括点P1至P4的表面与成像装置之间的距离是已知的。因此,角视场估计部分510可以估计例如具有诸如图4中所示的角视场A1和A2的形状的图片的角视场。当估计角视场时,成像装置可以决定到真实空间中的什么范围可以包括在图片中。
在此之前,已描述角视场估计部分510估计图片的角视场的过程。在本实施方案中,以这种方式,角视场估计部分510基于图片中的位置,通过真实空间的位置关系已知的两个点,估计由成像装置获取的图片的角视场。角视场估计部分510可以基于包括至少两个点的第一平面或三维物体的图像(例如,在以上实例中包括网球场和网的图像)在图片中的位置,估计图片的角视场。此处,第一平面或三维物体可以包括规定球场、运动场或场地(例如,在以上实例中网球场)的线。
此外,作为另一实例,角视场估计部分510可以基于通过包括至少两个点的轨道落下的物体(例如,球)在图片中的位置变化,估计图片的角视场。如众所周知的,相同的重力加速度作用于下落的物体(包括被抛上去并且似乎上升的物体),而不管物体的质量或形状,因此如果具有相同的初始速度,则每个时间的位置变化将变得相同。因此,例如,如果物体的初始速度是已知的,则在下落过程中在两个时间点测量物体的位置在图片中的变化量,并且如果初始速度是未知的,则在下落过程中在三个时间点测量物体的位置在图片中的变化量,类似于以上实例,可以计算在包括物体的下降轨道的表面上图片的真实空间的缩小比例,并且可以基于从成像装置的位置到物体的下降轨道的距离另外估计图片的角视场。
另外,作为另一实例,角视场估计部分510可以通过从三个或更多个不同的位置捕获包括共同的至少两个点的图片估计由成像装置获取的图片的角视场。在以上实例中,通过从这些点之间的位置关系是已知的位置捕获包括位置关系已知的至少两个点的图片,已从单个图片估计角视场。与此相反,如果从三个或更多个不同的位置捕获通常包括这些点的图片,则即使位置关系在位置关系已知的至少两个点之间是未知的,可以通过三角测量的原理计算各自的成像位置的关系,并且可以另外估计图片的角视场。
(2-2、组成指定信息输出部分)
通过再次参看图3,组成指定信息输出部分520输出指定图片的组成的信息,使得满足根据由角视场估计部分510估计的角视场所规定的拍摄对象与成像装置之间的位置关系。这点将参看图6至图9另外描述。
图6是用于描述本公开的实施方案中的组成的指定的图解。在图6中示出智能手机200的成像部分250(成像装置),以及被包括在由成像部分250获取的图片的角视场A中的球员P和球B。在所示的实例中,由成像部分250获取的图片用于分析其中球员P击中球B(例如,网球的发球)的比赛。
组成指定信息输出部分520输出用于捕获具有诸如上面描述的用于分析的优化组成的图片的信息。在下文中,尽管将描述网球的发球的情况作为用于优化组成的实例,但是组成可以类似地被优化用于另一比赛、另一球类运动、或除了运动以外的另一操作。
例如,组成可以被优化,使得(1)被抛出的球被反射。更具体来说,球员P尽可能被布置在图片的下侧,并且图片的空间顶部变宽,使得由球员P抛出的球B未失焦。
此外,例如,组成可以被优化,使得(2)球的碰撞点被反射。更具体来说,其中假定球员P用球拍击中球B的球员P的附近被包含在图片中。
此外,例如,组成可以被优化,使得(3)碰撞后的球跨越一定程度的时间被反射。更具体来说,球员P被布置在图片的右侧(在诸如所示的实例中从右到左击球的情况下),使得碰撞后的球B在角视场内移动的距离(图6中所示的距离D)变得尽可能长,或成为规定的距离或更多。例如,在基于图片分析计算碰撞后的球B的速度等的情况下,将需要碰撞后的球跨越多个帧被反射到一定程度,因此从这个观点出发,优化将是重要的。
此外,例如,组成被优化,使得(4)相对于碰撞后的球的运动方向的角度接近直角。更具体来说,成像部分250相对于碰撞后的球的预测平道的角度接近直角。例如,帧间的球B的跟踪将变得更容易,并且速度的计算精度也将提高,这是因为相对于碰撞后的球B的运动方向的角度接近直角。
例如,诸如上面所述优化的组成可以根据图片的角视场而不同。例如,如果图片的角视场不同,即使组成指定信息输出部分520指定通过对贯通图片的叠加显示等将球员P布置在图片内的位置,优化并不一定限于诸如在上述(1)至(4)中实施的优化。例如,当在一定角视场的图片中实施上述(3)和(4)的组成像以前那样应用于具有不同的角视场的另一图片时,例如,具有较窄的水平宽度的图片,由于图片的水平宽度窄,故图6中所示的距离D变小,并且有(3)不被实施的可能性。在这种情况下,可以认为,在后一种情况下的图片中,例如,需要在设置(4)被牺牲到一定程度后(在允许形成相对于球的运动方向的角度后)实施(3)。
由于诸如上面所述的原因,在本实施方案中,组成指定信息输出部分520确定由根据角视场估计部分510所估计的角视场输出的信息所指定的组成。组成可以例如对于角视场的每个范围来预先准备(例如,根据图片的水平宽度的距离来设置),或可以根据估计的角视场来计算。组成例如通过在图片中球员P的站立位置、以及成像部分250相对于地面的角度来表示。
图7是用于描述本公开的实施方案中的向导的显示的图解。在图7中示出分别显示在贯通图片PIC1和PIC2中的向导。在所示的实例中,向导包括引导线G(G1、G2)、以及球员的站立位置PS(PS1、PS2)。
如上所述,引导线G和球员站立位置PS被叠加显示在例如贯通图片PIC上,贯通图片PIC被显示在包括在智能手机200的输出部分270中的显示屏上。通过让用户使智能手机移动,并且分别重叠球员P的脚上的站立位置PS和网球场的线上的引导线G,实施由组成指定信息输出部分520指定的组成。包括引导线G和球员站立位置PS的向导为指定由组成指定信息输出部分520输出的图片的组成的信息的实例。
此处,在所示的实例中,贯通图片PIC1和贯通图片PIC2为具有分别不同的角视场的图片。因此,如上所述,被实施在每个图片中的组成将是不同的。因此,显示在贯通图片PIC1中的引导线G1和站立位置PS 1,以及显示在贯通图片PIC2中的引导线G2和站立位置PS2将是相互不同的。更具体来说,基于站立位置PS1的图片左底边有坐标(100、400),并且相比之下,基于站立位置PS2的图片左底边有坐标(80、380)。此外,引导线G2比引导线G1相对于图片的水平方向倾斜更多。
以这种方式,通过具有显示的不同的向导,在球员P的站立位置和球场的线与向导匹配的情况下,在贯通图片PIC1和贯通图片PIC2的各自的情况下,成像部分250(成像装置)的位置和角度可以是不同的。以这种方式,在图片的角视场不同的各自的情况下,组成指定信息输出部分520可以实施比适合于各自的角视场更合适的组成。
图8是示出本公开的实施方案中的组成的指定的过程的实例的流程图。参照图8,首先,组成指定信息输出部分520根据由角视场估计部分510估计的图片的角视场确定组成(S201)。组成可以被优化,例如,从诸如上述(1)至(4)中的观点出发,可以从对于每个角视场预先准备的组成中选出,或可以根据角视场在这场合进行计算。接着,组成指定信息输出部分520基于角视场和组成计算叠加显示在贯通图片上的向导的坐标(S203)。
接着,组成指定信息输出部分520使包括在智能手机200的输出部分270中的显示屏显示贯通图片(S205)。贯通图片为由成像部分250或另一成像装置获取的真实空间的图片。应注意,可以在S205之前已经显示贯通图片。另外,组成指定信息输出部分520使根据在S203中计算的坐标的向导叠加显示在被显示在显示屏上的贯通图片上(S207)。例如,向导可以包括诸如在图7的以上实例中所示的球员的站立位置PS和引导线G。
此处,用户根据向导的显示在规定位置处布置成像装置(S209)。尽管如上所述合适的组成对于每个角视场将是不同的,但是被布置的成像装置和其位置将是相同的(例如,图6中所示的成像部分250的位置)。因此,如在所示的实例中,可以采用一种程序,其中首先用户在规定位置处布置成像装置,而不管角视场,然后,通过使用叠加显示在贯通图片上的向导来精细调整成像装置的位置和姿势(S211)。在图7的以上实例中,用户(摄影师)可以精细调整成像装置的位置和姿势,使得在站立在图6中所示的成像部分250的位置后,站立位置PS与在显示屏上球员的脚匹配,并且引导线G与球场的线重叠。
接着,组成指定信息输出部分520决定显示在贯通图片上的向导和对应于向导的物体是否重叠(S213)。此处,在组成指定信息输出部分520不可能通过图片分析指定贯通图片中物体的位置或形状的情况下,可以基于用户经由输入部分260(诸如触控面板)的操作决定向导和物体重叠。此外,在组成指定信息输出部分520可能通过图片分析指定贯通图片中物体的位置或形状的情况下,组成指定信息输出部分520可以自动决定向导和物体重叠,并且在决定有重叠的情况下,可以将确认是否可以决定组成的对话等输出到用户。在S213中,在决定向导和物体重叠的情况下,指定组成的过程完成,并且例如成像和图片分析的过程被启动。
图9是示出本公开的实施方案中的为组成的指定显示的图片的实例的图解。在图9中示出例如显示在被包括在智能手机200的输出部分270中的显示屏上的图片1100。在图片1100中,显示用于指定在网球场的哪一侧捕获击中发球的球员的用户界面。组成指定信息输出部分520例如基于经由这种用户界面输入的信息选择待被指定的组成和待被显示用于实施这个组成的信息。应注意,例如,在所示的实例中,在选择左侧(左侧)的情况下和在选择右侧(右侧)的情况下,由组成指定信息输出部分520显示的向导的左右可以被颠倒。
在此之前,已描述组成指定信息输出部分520输出指定图片的组成的信息的过程。在本实施方案中,以这种方式,组成指定信息输出部分520输出指定图片的组成的信息,使得满足根据图片的角视场所规定的拍摄对象与成像装置之间的位置关系。组成指定信息输出部分520可以输出用于显示向导的信息,其中指定的组成是通过在由成像装置(成像部分250)获取的贯通图片中视觉识别的第二平面或三维物体(例如,在以上实例中球员或球场的线)上重叠来实施。此处,第二平面或三维物体可以包括规定球场、运动场或场地(例如,在以上实例中网球场)的线,以及在规定位置处被布置在球场、运动场或场地上的拍摄对象(例如,在以上实例中球员)。
此外,组成指定信息输出部分520可以输出指定图片的组成的信息,使得在拍摄对象附近的至少三个点被布置在规定位置处。如在以上实例中,在指定成像装置(摄影师)的空间中的位置的情况下,如果在图片中规定位置处布置两个点,则可以指定图片的组成。此外,即使在未指定成像装置(摄影师)的空间中的位置的情况下,在指定成像装置(摄影师)的空间中的位置后,通过在图片中规定位置处布置三个点,可以指定图片的合适的组成。此外,拍摄对象可以包括被布置在网球场或运动场上的球员,或通过这个球员的比赛(例如,在以上实例中网球的发球)投掷的球(包括被击中的情况、被投掷的情况、被踢的情况等)。在这种情况下,组成指定信息输出部分520可以输出指定图片的组成的信息,使得球在这场比赛后的的规定时间被定位在图片的角视场内(例如,在以上实例的(3)中所示的组成的优化)。
此外,作为另一实例,组成指定信息输出部分520可以通过除了向显示屏显示以外的方法输出指定图片的组成的信息。例如,组成指定信息输出部分520可以通过语音输出指定图片的组成的信息。在这种情况下,例如,组成指定信息输出部分520通过图片分析指定贯通图片中物体的位置或形状,并且计算向导与物体之间的偏移量。另外,组成指定信息输出部分520可以例如基于偏移量使诸如“请向右移动一点”、“请稍稍挥动您的左手”等的指令通过来自被包括在智能手机200的输出部分270中的扬声器的语音来输出。此外,例如,在房间等内执行摄影的情况下,可以通过使用投影仪、激光指示器等将向导投影在真实空间上。
此外,作为另一额外的实例,在成像部分250(成像装置)不被固定和移动的情况下,组成指定信息输出部分520可以输出指定图片的组成的信息。例如,如果在例如网球的发球的情况下,用于分析球员的附近和高于此的所需的范围,以及球被击中的方向的空间可以被包括在图片中,以通过下文将描述的图片分析部分530进行分析,并且成像部分250可能不一定是固定的。在这种情况下,图片分析部分530可以例如基于球员的站立位置、网球场的线等计算成像部分250的空间位置或姿势的变化,并且可以校正基于这些获取的图片并使用此进行分析。在成像部分250移动的情况下,组成指定信息输出部分520可以通过包括规定的边缘来输出指定图片的组成的信息,使得即使成像部分250移动到一定程度,也可以获取所需的范围的图片。
(2-3、图片分析部分)
通过再次参看图3,图片分析部分530基于根据由组成指定信息输出部分520输出的信息所指定的组成获取的图片,执行图片分析。通过这个图片分析,例如,在拍摄对象包括飞行物体的情况下,可以估计物体的速度。此外,在拍摄对象包括旋转物体的情况下,可以估计物体的旋转速度。在拍摄对象包括抛物线运动物体的情况下,可以估计物体的位置变化量。这些实例中的物体可以是例如在运动的比赛中被投掷(击中、投掷或踢)的球。在球的情况下,上述估计可以被解释为球速度的估计、球旋转的估计以及球被抛出的高度的估计。
已知这种图片分析是可能的,例如,在所获取的图片的帧率或分辨率足够高的情况下。然而,例如,通过使用由数码相机或安装在智能手机中的相机获取的图片执行这种图片分析将是困难的。例如,在物体以相对于帧率很大的速度飞行的情况下,当使物体以低数量的帧离开屏幕时,将很难计算速度等。此外,当在这种轨道中飞行的物体是未知的时,有必要在整个图片中搜索物体,因此诸如在帧间跟踪等的过程将是困难的。
相比之下,在本实施方案中,根据优化组成获取的图片成为图片分析部分530中分析的目标,所述优化组成是通过组成指定信息输出部分520根据由角视场估计部分510估计的组成来指定。因此,例如,可能设置组成,使得通过球员的比赛投掷的物体(球)跨越的规定时间(规定数量的帧)被定位在图片的角视场内,并且可以防止离开屏幕,而没有由物体碰撞后的延迟。此外,通过具有预先指定的组成,可以预测图片中物体的轨道,因此搜索的范围可以缩小,并且诸如以高精度跟踪的过程例如是可能的。
在这种情况下,在本实施方案中,通过指定由成像装置获取的图片的组成,有可能例如通过使用由数码相机或安装在智能手机中的相机获取的图片来实施有效的分析。应注意,对于图片分析的特定技术,有可能应用通过设置具有足够高的帧率或分辨率的图片直到此处作为目标来实施的技术,因此此处将省略详细描述。
(3、构成处理部分的构成元件)
图10是示出本公开的实施方案中的构成处理部分的构成元件的示意性方框图。在本实施方案中的处理部分可以包括作为参照图3所述的构成元件的补充或代替这些构成元件的下列构成元件。参照图10,根据本实施方案的处理部分可以包括图片获取部分540、传感器数据获取部分550、记录控制部分560、存储部分565、分析部分570和显示控制部分580。
此处,图片获取部分540、传感器数据获取部分550、记录控制部分560、分析部分570和显示控制部分580被实施在例如上文参照图2所述的系统10中,智能手机200的处理部分220,或服务器300的处理部分320中。整个处理部分可以被实施在单个装置中,或一个或多个构成元件可以通过分配给分别不同的装置来实施。
图片获取部分540获取在智能手机200的成像部分250或另一成像装置中捕获的图片。所获取的图片可以是例如其中捕获球员的一系列比赛的运动图片。
传感器数据获取部分550获取从传感器装置100的传感器110输出的传感器数据。传感器数据显示例如在由球员使用的工具(例如,球拍R)中或球员本人中产生的振动或运动(加速度、角速度、方向等)。
记录控制部分560基于用户的操作和/或由传感器数据获取部分550获取的传感器数据控制由图片获取部分540获取的图片的存储部分565的记录。例如,记录控制部分560可以将由图片获取部分540获取的图片暂时记录在存储部分565中,并且可以指定成为分析部分570分析的目标的部分。此外,记录控制部分560可以将由图片获取部分540获取的图片暂时记录在存储部分565中,并且可以从这个图片中产生通过显示控制部分580显示在显示屏上的图片。
分析部分570基于由图片获取部分540获取的图片和/或由传感器数据获取部分550获取的传感器数据执行分析过程。分析部分570可以包括例如上文参照图3所述的图片分析部分530。分析部分570例如基于由传感器数据获取部分550获取的振动数据和预先测量的球拍R的特定振动特性来计算球击中球拍R的位置。此外,分析部分570可以另外基于在碰撞前球拍R的速度计算碰撞后的球的速度、旋转等。如例如对于图片分析部分530已经描述的,分析部分570也可能基于由图片获取部分540获取的图片计算球的速度、旋转、轨道等。
显示控制部分580例如通过使用由图片获取部分540获取的图片使被包括在智能手机200的输出部分270中的显示屏显示图片。例如,显示控制部分580可以使显示屏将由图片获取部分540实时获取的图片显示为贯通图片。此外,显示控制部分580可以再现通过记录控制部分560暂时或连续记录在存储部分565中的图片,并且使显示屏显示这个图片。此外,显示控制部分580可以使显示屏显示分析部分570的各种类型的分析结果。
(3-1、使用传感器数据记录的控制)
记录控制部分560例如基于由传感器数据获取部分550获取的传感器数据控制由图片获取部分540获取的图片的记录(存储部分565的连续记录)。在本实施方案中,例如,可能基于由传感器数据获取部分550获取的振动数据指定球拍R与球之间的碰撞的瞬间。因此,记录控制部分560可以例如在碰撞的瞬间或在的规定时间已从碰撞的瞬间过去后使记录停止。
此外,在本实施方案中,例如,也可能基于由传感器数据获取部分550获取的运动数据(加速度、角速度、方向等)指定特定比赛或比赛的预备操作已开始的定时。因此,记录控制部分560可以使记录开始,例如,在球员开始特定比赛的预备操作的情况下。另外,如上所述,如果在碰撞的瞬间或在的规定时间已从碰撞的瞬间过去后使记录停止,则记录的开始和结束都可以是自动的。
图11是用于描述本公开的实施方案中的记录的控制的实例的图解。在图11中所示的实例中,在(连续捕获的)运动图片的第5帧的时间点,基于由传感器数据获取部分550获取的运动数据,检测到发球的预备操作已经开始。因此,记录控制部分560从此处开始图片的记录。应注意,尽管图中示出了预备操作和记录的开始在相同的定时开始,因为这是示意图,但是时间实际上对运动数据的分析和记录控制的执行是必要的,因此记录可以在上述时间已从获取显示预备操作开始的运动数据时过去的时间点开始。
此外,在所示的实例中,在运动图片的第14帧的时间点,基于由传感器数据获取部分550获取的振动数据,检测到产生球拍与球之间的碰撞。因此,记录控制部分560结束记录直到运动图片的第17帧,其对应于在碰撞后一秒的时间点。通过这种记录的控制,例如,待被记录为图片的比赛的片段可以被记录下来而没有过剩或不足,并且可以节省在事后编辑用户的时间。此外,例如,以这种方式,如果例如提供指定的图片的片段作为要成为分析部分570分析的目标的分析片段,则用于搜索分析片段的范围可能会减小,并且处理负载可能会减少。
(3-2、不同于分析片段的片段的图片再现)
如上所述,记录控制部分560可以将由图片获取部分540获取的图片暂时记录在存储部分565中,并且可以从这个图片中产生通过显示控制部分580显示在显示屏上的图片。例如,这个图片可以是在记录控制的以上实例中所述的从其中用户的特定比赛的片段被切出的运动图片。此处,例如,尽管记录控制部分560可以提供与由显示控制部分580再现的片段相同的片段,但是在基于由传感器数据获取部分550获取的传感器数据,从由图片获取部分540获取的图片内指定要成为分析部分570分析的目标的分析片段的情况下,比这个片段长的片段可以设置为由显示控制部分580再现的片段。
图12是用于描述本公开的实施方案中的不同于分析片段的片段的图片再现的实例的图解。在图12中所示的实例中,记录控制部分560指定从(连续捕获的)运动图片的第5帧直到第17帧作为分析部分570的分析片段。另一方面,记录控制部分560指定从运动图片的第1帧直到第18帧作为在由显示控制部分580的分析过程中再现的片段。此时,在再现的图片中,可以基于分析部分570的分析结果显示球B的轨道。
应注意,在所示的实例中,由于在所示的范围之前和之后连续捕获运动图片,故这并不一定意味着第1帧和第18帧是运动图片的第一帧和最后一帧。例如,记录控制部分560可以通过仅在规定的长度之前和之后延伸被指定为分析片段的片段来指定再现片段。例如,可以根据从碰撞产生的时间点的时间距离,为分析片段的起点和终点中的每个确定延伸长度。
在图片分析运动图片的情况下,有必要处理构成运动图片的每个帧的图片,因此将有处理时间变长的倾向。因此,如在以上实例上,可以基于传感器数据设置运动图片的分析片段而没有过剩或不足,比分析片段长的片段可以被设置用于在分析的执行过程中再现的运动图片的再现片段,并且用户的感官分析过程的等待时间可能会减少。
(3-3、分析过程中的图片显示)
图13是示出本公开的实施方案中的分析过程中的图片显示的第一实例的图解。在图13中所示的实例中,在显示在被包括在智能手机200的输出部分270中的显示屏上的图片1300中,例如,球速度信息1301和分析过程中的显示1303叠加显示在从再现片段的图片提取的静止图片上。例如,基于分析部分570中的图片或传感器数据,通过使用分析过程的结果来显示球速度信息1301。此外,球速度信息1301可以与显示球的前进方向的箭头1301a和显示球的轨道的图形1301b一起显示。可以根据分析过程的进展按顺序指定球的前进方向、球的轨道和球的速度。因此,可以例如按从分析过程中指定的顺序逐渐显示构成球速度信息1301的元素。
图14是示出本公开的实施方案中的分析过程中的屏幕显示的第二实例的图解。在图14中所示的实例中,在显示在被包括在智能手机200的输出部分270中的显示屏上的图片1400中,例如,从再现片段的图片切出的矩形区域(包括球员)被布置并且与分析过程中的显示1401一起显示。例如,在的规定时间间隔从一系列的帧图片提取这些图片。尽管在所示的实例中布置四个图片,但是可以布置更大数量的图片。此外,例如,多个切出的图片可以通过自动滚动来显示,或图片可以根据由用户经由触控面板等执行的轻弹操作等通过滚动来显示。
例如,在由图片获取部分540获取的图片的组成是已知的情况下,通过组成指定信息输出部分520的上述功能,可以从图片中切出包括未对图片进行分析的规定的物体的区域,例如,包括球员的区域。因此,在分析过程开始后,上文在图14中所示的诸如图片1400的显示可以在较早的阶段实施。
图15是示出本公开的实施方案中的分析过程中的屏幕显示的第三实例的图解。在图15中所示的实例中,在显示在被包括在智能手机200的输出部分270中的显示屏上的图片1500中,例如,从再现片段的图片提取的球员的图片与分析过程中的显示1501一起被重叠显示背景。例如,在的规定时间间隔,通过从一系列的帧图片提取的图片中切出球员被反射的部分来获取球员的图片。尽管在所示的实例中五个图片重叠,但是更大数量的图片可以重叠。此外,诸如在上文参照图13所述的实例中,可以另外叠加显示球的位置或速度。
为了实施诸如上述图片1500的显示,图片分析对于指定球员在每个图片中被反射的区域是必要的。因此,图片1500的显示例如比图片1400的显示将需要更多的时间。然而,例如,在由图片获取部分540获取的图片的组成是已知的情况下,通过组成指定信息输出部分520的上述功能,通过图片分析来搜索球员的图片的范围将是有限的,因此可以缩短图片1500的显示需要的时间。
上述显示都使包括例如静止图片的图片被显示。因此,例如,相比于诸如通过重复的运动图片再现比赛的片段的情况,用户可能几乎感觉不到时间的流逝,并且可以缩短感官分析过程的等待时间。
(3-4、分析结果的显示)
此外,在本实施方案中,通过使用分析部分570的分析结果,例如,可能以更多的通用性表示比赛中的一系列运动及其实施结果。
例如,在显示控制部分580再现其中捕获比赛中的一系列运动的运动图片的情况下,通过使用基于传感器数据指定碰撞的瞬间的事实,再现速度可能在再现的中间改变。例如,显示控制部分580可以改变再现速度,诸如速度的一倍直到碰撞前一秒、从此处一半的速度直到碰撞的瞬间、从碰撞的瞬间十分之一的速度直到后来0.5秒、以及从此处开始一倍的速度。以这种方式,慢速再现被自动执行,例如,在诸如碰撞之前和之后的重要的片段中。
此外,例如,显示控制部分580可以同时输出图片分析的结果和传感器数据分析的结果。如上所述,可能让分析部分570基于由图片获取部分540获取的图片和由传感器数据获取部分550获取的传感器数据获得与比赛相关的各种信息。因此,例如,除了通过图片分析的结果获得的球的位置或速度之外,可以通过同时显示在显示屏等上输出通过传感器数据分析获得的射门力度、球拍的轨道、球的旋转量等。
此外,例如,记录控制部分560可以基于通过传感器数据分析指定的碰撞的瞬间产生其中捕获一系列运动的连续的照片。例如,记录控制部分560可以通过在接近碰撞时以较短的时间间隔并且在从碰撞离开时以较长的时间间隔提取运动图片的帧,产生连续的照片。
此外,例如,显示控制部分580可以输出由分析部分570从分析结果提取的统计指标。例如,显示控制部分580可以基于球员过去的比赛的分析结果,通过显示在显示屏等上输出统计指标,诸如抛球的稳定性或熟练程度。
此外,例如,显示控制部分580可以输出通过分析部分570与另一球员比较分析结果的信息。例如,显示控制部分580可以基于通过传感器数据分析指定的碰撞的瞬间使其中捕获球员比赛的多个图片被并行再现。多个图片的并行再现可以例如通过上下或左右布置图片被再现,或可以通过透明叠加图片被再现。以这种方式,例如,球员与另一球员(例如,专业人员)之间的比赛的差异可以被表示得更容易理解,并且也可能基于比较结果来设置建议。
此外,例如,显示控制部分580可以再现其中捕获比赛中的一系列运动的图片,并且可以基于传感器数据通过使用分析结果来应用效果。更具体来说,显示控制部分580可以将碰撞前、碰撞时和碰撞后的分别不同的效果应用于图片或图片的一部分(球员或球的区域)。此外,显示控制部分580可以基于传感器数据使效果的表示根据分析结果(例如,球拍或球的速度)改变。
(4、硬件配置)
接着,将参照图16和图17描述根据本公开的实施方案的用于实施传感器装置和分析装置(在上述实例中,智能手机或服务器)的硬件配置的实例。(传感器装置)
图16是示出根据本公开的实施方案的传感器装置的硬件配置的实例的图解。参照图16,传感器装置100可以包括传感器101、中央处理部分(CPU)103、只读存储器(ROM)105、随机存取存储器(RAM)107、用户界面109、外部存储装置111、通信装置113和输出装置115。这些元件通过例如总线相互连接。
例如,传感器101包括加速度传感器、角速度传感器、振动传感器、磁场传感器、温度传感器、压力传感器(包括压力开关)、全球定位系统(GPS)接收器等。传感器101可以包括相机(图像传感器)或麦克风(音频传感器)。
CPU 103、ROM 105和RAM 107通过读取和执行例如被记录在外部存储装置111中的程序指令,用软件实施各种类型的功能。在本公开的实施方案中,诸如整个传感器装置100的控制的功能可以例如由CPU 103、ROM 105和RAM 107来实施。
用户界面109为例如接收传感器装置100的用户操作的输入装置(诸如按钮或触控面板)。例如,用户操作可以指示从传感器装置传输传感器信息的开始或完成。
外部存储装置111存储与传感器装置100相关的各种类型的信息。例如,用于使功能由CPU 103、ROM 105和RAM 107中的软件实施的程序指令可以存储在外部存储装置111中,或由传感器101获取的数据可以暂时被缓存。当考虑到传感器装置100被安装在击球工具等中时,需要使用例如具有强冲击性的传感器装置(诸如半导体存储器)作为外部存储装置111。
通信装置113通过各种类型的有线或无线通信系统与下文将描述的分析装置600通信。此外,通信装置113可以通过设备间通信直接与分析装置600通信,或可以经由网络(诸如互联网)与分析装置600通信。
输出装置115由能够输出如光、音频或图片的信息的装置构成。例如,基于从分析装置600接收的分析结果或在传感器装置100中计算的分析结果,输出装置115可以在传感器装置100中输出通知时间或比赛事件的检测的信息,或可以向用户输出视觉或听觉通知。例如,输出装置115包括例如显示器(诸如LED等或LCD的灯)、扬声器、振动器等。
(分析装置)
图17是示出根据本公开的实施方案的分析装置的硬件配置的实例的图解。分析装置600可以实施例如根据本公开的实施方案的分析装置,或上面描述的智能手机200或服务器300。应注意,如上所述,分析装置可以由传感器装置100来实施。
分析装置600可以包括CPU 601、ROM 603、RAM 605、用户界面609、外部存储装置611、通信装置613和输出装置615。这些元件通过例如总线相互连接。
CPU 601、ROM 603和RAM 605通过读取和执行例如被记录在外部存储装置611中的程序指令,用软件实施各种类型的功能。在本公开的实施方案中,整个分析装置600的控制、上述功能配置中的处理部分的功能等可以例如由CPU 601、ROM 603和RAM 605来实施。
用户界面609为例如接收分析装置600的用户操作的输入装置(诸如按钮或触控面板)。
外部存储装置611存储与分析装置600相关的各种类型的信息。例如,用于使功能由CPU 601、ROM 603和RAM 605中的软件实施的程序指令可以存储在外部存储装置611中,或由通信装置613接收的传感器信息可以暂时被缓存。此外,分析结果的日志可以积累在外部存储装置611中。
输出装置615由能够视觉或听觉上向用户通知信息的装置构成。例如,输出装置615可以是显示设备(诸如液晶显示器(LCD)),或音频输出设备(诸如扬声器或耳机)。输出装置615输出通过分析装置600的过程获得的结果作为视频图片(诸如文本或图片),或输出这些结果作为音频(诸如语音或声音)。
在此之前,已示出传感器装置100和分析装置600的硬件配置的实例。每个上述构成元件可以通过使用通用部件构成,或可以由专门用于每个构成元件的功能的硬件构成。这种配置可以在实施时根据技术水平适当地改变。
(5、补充)
例如,本公开的实施方案可以包括如上所述的分析装置(信息处理终端,诸如智能手机、服务器或传感器装置)、系统、由分析装置或系统执行的信息处理方法、用于使分析装置运行的程序、以及在上面记录程序的非暂时性有形介质。
上文已参照附图描述本公开的优选实施方案,而本公开不限于以上实例。本公开所属技术领域中的本领域技术人员可能发现在所附权利要求的范围内的各种变化和修改,并且应理解这些变化和修改将自然地归入本公开的技术范围。
另外,在本说明书中所述的效果仅是说明性和示范性的,而不是限制性的。换句话说,根据本公开的技术可以连同基于本说明书的效果一起或替代基于本说明书的效果而呈现对本领域技术人员显而易见的其它效果。
此外,本技术也可以被配置如下。
(1)
一种信息处理装置,包括:
角视场估计部分,其被配置成基于在真实空间中的位置关系在图片中已知的至少两个点的位置,估计由成像装置获取的所述图片的角视场;以及
组成指定信息输出部分,其被配置成以满足根据所述角视场所规定的拍摄对象与所述成像装置之间的位置关系的方式输出指定所述图片的组成的信息。
(2)
根据(1)所述的信息处理装置,
其中,所述角视场估计部分基于包括所述至少两个点的第一平面或三维物体的图像在所述图片中的位置,估计所述图片的角视场。
(3)
根据(2)所述的信息处理装置,
其中,所述第一平面或三维物体包括规定球场、运动场或场地的线。
(4)
根据(1)至(3)中任一项所述的信息处理装置,
其中,所述组成指定信息输出部分输出用于显示向导的信息,其中,所述指定的组成是通过在由所述成像装置获取的贯通图片中视觉识别的第二平面或三维物体上重叠来实施。
(5)
根据(4)所述的信息处理装置,
其中,所述第二平面或三维物体包括规定球场、运动场或场地的线,以及在规定位置处被布置在所述网球场、所述运动场或所述场地上的所述拍摄对象。
(6)
根据(1)至(5)中任一项所述的信息处理装置,
其中,所述组成指定信息输出部分以所述拍摄对象附近的至少三个点被布置在所述图片中规定位置处的方式输出指定所述图片的所述组成的信息。
(7)
根据(1)至(6)中任一项所述的信息处理装置,
其中,所述拍摄对象包括被布置在网球场或运动场上的球员、以及通过所述球员的比赛投掷的球。
(8)
根据(7)所述的信息处理装置,
其中,所述组成指定信息输出部分以所述球在所述比赛后的规定时间被定位在所述图片的所述角视场内的方式输出指定所述图片的所述组成的信息。
(9)
根据(1)或(2)所述的信息处理装置,
其中,所述角视场估计部分基于通过包括所述至少两个点的轨道落下的物体在所述图片中的位置变化,估计所述图片的所述角视场。
(10)
根据(1)至(9)中任一项所述的信息处理装置,
其中,所述拍摄对象包括飞行物体,以及
其中,所述信息处理装置进一步包括图片分析部分,其被配置成基于根据所述组成获取的图片估计所述飞行物体的速度。
(11)
根据(1)至(10)中任一项所述的信息处理装置,
其中,所述拍摄对象包括旋转物体,以及
其中,所述信息处理装置进一步包括图片分析部分,其被配置成基于根据所述组成获取的图片估计所述物体的旋转速度。
(12)
根据(1)至(11)中任一项所述的信息处理装置,
其中,所述拍摄对象包括抛物线运动物体,以及
其中,所述信息处理装置进一步包括图片处理部分,其被配置成基于根据所述组成获取的图片估计所述抛物线运动物体的位置变化量。
(13)
一种存储有程序的记录介质,所述程序使计算机实施:
基于在真实空间中的位置关系在图片中已知的至少两个点的位置,估计由成像装置获取的所述图片的角视场的功能;以及
以满足根据所述角视场所规定的拍摄对象与所述成像装置之间的位置关系的方式输出指定所述图片的组成的信息的功能。
(14)
一种信息处理方法,包括:
通过处理器,基于在真实空间中的位置关系在图片中已知的至少两个点的位置,估计由成像装置获取的所述图片的角视场;以及
以满足根据所述角视场所规定的拍摄对象与所述成像装置之间的位置关系的方式输出指定所述图片的组成的信息。
参考符号列表
10 系统
100 传感器装置
200 智能手机
300 服务器
310 接收部分
510 角视场估计部分
520 组成指定信息输出部分
530 图片分析部分
540 图片获取部分
550 传感器数据获取部分
560 记录控制部分
565 存储部分
570 分析部分
580 显示控制部分

Claims (14)

1.一种信息处理装置,包括:
角视场估计部分,其被配置成基于在真实空间中的位置关系在由成像装置获取的图片中已知的至少两个点的位置,估计所述图片的角视场;以及
组成指定信息输出部分,其被配置成以满足根据所述角视场所规定的拍摄对象与所述成像装置之间的位置关系的方式输出指定所述图片的组成的信息。
2.根据权利要求1所述的信息处理装置,
其中,所述角视场估计部分基于包括所述至少两个点的第一平面或三维物体的图像在所述图片中的位置,估计所述图片的角视场。
3.根据权利要求2所述的信息处理装置,
其中,所述第一平面或三维物体包括规定球场、运动场或场地的线。
4.根据权利要求1所述的信息处理装置,
其中,所述组成指定信息输出部分输出用于显示向导的信息,其中,所述指定的组成是通过在由所述成像装置获取的贯通图片中视觉识别的第二平面或三维物体上重叠来实施。
5.根据权利要求4所述的信息处理装置,
其中,所述第二平面或三维物体包括规定球场、运动场或场地的线,以及被布置在所述网球场、所述运动场或所述场地上的规定位置处的所述拍摄对象。
6.根据权利要求1所述的信息处理装置,
其中,所述组成指定信息输出部分以所述拍摄对象附近的至少三个点被布置在所述图片中规定位置处的方式输出指定所述图片的所述组成的信息。
7.根据权利要求1所述的信息处理装置,
其中,所述拍摄对象包括被布置在网球场或运动场上的球员、以及通过所述球员的比赛投掷的球。
8.根据权利要求7所述的信息处理装置,
其中,所述组成指定信息输出部分以所述球在所述比赛后的规定时间被定位在所述图片的所述角视场内的方式输出指定所述图片的所述组成的信息。
9.根据权利要求1所述的信息处理装置,
其中,所述角视场估计部分基于通过包括所述至少两个点的轨道落下的物体在所述图片中的位置变化,估计所述图片的所述角视场。
10.根据权利要求1所述的信息处理装置,
其中,所述拍摄对象包括飞行物体,以及
其中,所述信息处理装置进一步包括:图片分析部分,其被配置成基于根据所述组成获取的图片估计所述物体的速度。
11.根据权利要求1所述的信息处理装置,
其中,所述拍摄对象包括旋转物体,以及
其中,所述信息处理装置进一步包括:图片分析部分,其被配置成基于根据所述组成获取的图片估计所述物体的旋转速度。
12.根据权利要求1所述的信息处理装置,
其中,所述拍摄对象包括抛物线运动物体,以及
其中,所述信息处理装置进一步包括:图片处理部分,其被配置成基于根据所述组成获取的图片估计所述抛物线运动物体的位置变化量。
13.一种存储有程序的记录介质,所述程序使计算机实施:
基于在真实空间中的位置关系在由成像装置获取的图片中已知的至少两个点的位置,估计所述图片的角视场的功能;以及
以满足根据所述角视场所规定的拍摄对象与所述成像装置之间的位置关系的方式输出指定所述图片的组成的信息的功能。
14.一种信息处理方法,包括:
通过处理器,基于在真实空间中的位置关系在由成像装置获取的图片中已知的至少两个点的位置,估计所述图片的角视场;以及
以满足根据所述角视场所规定的拍摄对象与所述成像装置之间的位置关系的方式输出指定所述图片的组成的信息。
CN201480068702.1A 2013-12-24 2014-10-16 信息处理装置、记录介质和信息处理方法 Expired - Fee Related CN105850109B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-265271 2013-12-24
JP2013265271 2013-12-24
PCT/JP2014/077593 WO2015098251A1 (ja) 2013-12-24 2014-10-16 情報処理装置、記録媒体および情報処理方法

Publications (2)

Publication Number Publication Date
CN105850109A true CN105850109A (zh) 2016-08-10
CN105850109B CN105850109B (zh) 2019-10-29

Family

ID=53478130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480068702.1A Expired - Fee Related CN105850109B (zh) 2013-12-24 2014-10-16 信息处理装置、记录介质和信息处理方法

Country Status (5)

Country Link
US (1) US10083519B2 (zh)
EP (1) EP3089441B1 (zh)
JP (1) JP6447515B2 (zh)
CN (1) CN105850109B (zh)
WO (1) WO2015098251A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9848129B2 (en) * 2015-07-08 2017-12-19 Chengdu Sioeye Technology Co., Ltd. Systems and methods for real-time integrating information into videos
JP6643162B2 (ja) * 2016-03-30 2020-02-12 キヤノン株式会社 制御装置、制御方法、撮像システム及びプログラム
CN105999666A (zh) * 2016-06-28 2016-10-12 任有恒 网络智能球拍
WO2018048838A1 (en) * 2016-09-06 2018-03-15 Apple Inc. Still image stabilization/optical image stabilization synchronization in multi-camera image capture
JP7420377B2 (ja) 2020-01-31 2024-01-23 真一 原 テニス技術上達支援データベースの作成方法、および、テニス技術上達支援システム
JP7283852B2 (ja) * 2020-02-17 2023-05-30 Kddi株式会社 マルチモーダル行動認識方法、装置およびプログラム
JP7473449B2 (ja) 2020-10-28 2024-04-23 Kddi株式会社 歪曲収差補正装置、方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050213817A1 (en) * 2002-07-26 2005-09-29 Hisashi Miyamori Image recognition apparatus and image recognition program
CN102509309A (zh) * 2011-11-04 2012-06-20 大连海事大学 一种基于图像匹配的目标点定位系统
US20130120581A1 (en) * 2011-11-11 2013-05-16 Sony Europe Limited Apparatus, method and system
WO2013136712A1 (en) * 2012-03-15 2013-09-19 Sony Corporation Information processing device, information processing system, and program

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59194761A (ja) 1983-04-20 1984-11-05 松下電工株式会社 打撃用具
US5266985A (en) * 1990-07-16 1993-11-30 Nikon Corporation Camera with optimum composition determinator
JPH0473731A (ja) * 1990-07-16 1992-03-09 Nikon Corp 構図の変更を指示するカメラ
JP2002126147A (ja) 2000-10-23 2002-05-08 Sumitomo Rubber Ind Ltd テニス挙動測定方法
JP5200780B2 (ja) 2008-09-08 2013-06-05 ソニー株式会社 撮影装置および方法、並びにプログラム
JP2010109567A (ja) * 2008-10-29 2010-05-13 Hitachi Ltd 情報処理装置および情報処理方法
GB2473059A (en) * 2009-08-28 2011-03-02 Sony Corp A method and apparatus for forming a composite image
JP2011151709A (ja) * 2010-01-25 2011-08-04 Olympus Corp 撮像装置
JP2013042250A (ja) * 2011-08-12 2013-02-28 Sony Corp 撮像装置および撮像方法
JP2013074376A (ja) * 2011-09-27 2013-04-22 Sony Corp 撮像ガイド装置、撮像装置、撮像ガイド方法、プログラム
JP2013213872A (ja) * 2012-03-30 2013-10-17 Sony Corp 情報処理装置、情報処理方法、及びプログラム
US9385324B2 (en) * 2012-05-07 2016-07-05 Samsung Electronics Co., Ltd. Electronic system with augmented reality mechanism and method of operation thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050213817A1 (en) * 2002-07-26 2005-09-29 Hisashi Miyamori Image recognition apparatus and image recognition program
CN102509309A (zh) * 2011-11-04 2012-06-20 大连海事大学 一种基于图像匹配的目标点定位系统
US20130120581A1 (en) * 2011-11-11 2013-05-16 Sony Europe Limited Apparatus, method and system
WO2013136712A1 (en) * 2012-03-15 2013-09-19 Sony Corporation Information processing device, information processing system, and program

Also Published As

Publication number Publication date
JPWO2015098251A1 (ja) 2017-03-23
EP3089441A1 (en) 2016-11-02
US20160321822A1 (en) 2016-11-03
WO2015098251A1 (ja) 2015-07-02
CN105850109B (zh) 2019-10-29
JP6447515B2 (ja) 2019-01-09
EP3089441A4 (en) 2017-08-02
EP3089441B1 (en) 2020-01-22
US10083519B2 (en) 2018-09-25

Similar Documents

Publication Publication Date Title
CN105850109A (zh) 信息处理装置、记录介质和信息处理方法
US11783721B2 (en) Virtual team sport trainer
KR101385326B1 (ko) 카메라로 운동하는 피사체를 촬영하고 그 촬영 이미지에 기초하여 피사체의 실제의 운동 궤적을 획득하기 위한 방법 및 시스템
EP3323240B1 (en) Integrated sensor and video motion analysis method
JP6082101B2 (ja) 身体動作採点装置、ダンス採点装置、カラオケ装置及びゲーム装置
US10217228B2 (en) Method, system and non-transitory computer-readable recording medium for measuring ball spin
CN102075682B (zh) 图像捕获装置、图像处理装置、及其控制方法
CN109074629A (zh) 使用联网照相机对关注的区域进行视频摄像
CN105745695B (zh) 用于对锻炼运动的进展自动进行评估的方法、分析器和系统
CN106573168A (zh) 运动分析方法、运动分析装置、运动分析系统以及程序
US11850498B2 (en) Kinematic analysis of user form
TWI681798B (zh) 運動課程評分方法與系統、電腦程式產品
CN108079547A (zh) 图像处理装置、分析系统、图像处理方法以及记录介质
JP6898415B2 (ja) ボールの回転を測定するための方法、システムおよびコンピュータプログラム
JP5572853B2 (ja) 運動するオブジェクトに対するセンシング装置、センシング処理方法及びそれを用いた仮想ゴルフシミュレーション装置
CN106687181A (zh) 拍摄控制方法、拍摄控制装置、拍摄控制系统以及程序
CN107710732A (zh) 拍摄高尔夫运动的摄像机、方法及系统
US10776929B2 (en) Method, system and non-transitory computer-readable recording medium for determining region of interest for photographing ball images
KR20210026483A (ko) 골프 공 타격을 감지하는 방법 및 이를 이용한 골프 스윙 모션 분석 장치
KR20160139634A (ko) 골프공 스핀 계산 방법 및 장치
JP6710961B2 (ja) ゴルフスイングの解析方法
TW202305664A (zh) 用於感測移動的球的影像分析方法及利用該方法的感測裝置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191029

CF01 Termination of patent right due to non-payment of annual fee