CN110226324B - 信息处理设备和信息处理方法 - Google Patents

信息处理设备和信息处理方法 Download PDF

Info

Publication number
CN110226324B
CN110226324B CN201780084762.6A CN201780084762A CN110226324B CN 110226324 B CN110226324 B CN 110226324B CN 201780084762 A CN201780084762 A CN 201780084762A CN 110226324 B CN110226324 B CN 110226324B
Authority
CN
China
Prior art keywords
information processing
capture
capture device
processing apparatus
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780084762.6A
Other languages
English (en)
Other versions
CN110226324A (zh
Inventor
池田伸穗
池田广志
佐藤秀幸
中尾优太
稻叶靖二郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110226324A publication Critical patent/CN110226324A/zh
Application granted granted Critical
Publication of CN110226324B publication Critical patent/CN110226324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Alarm Systems (AREA)

Abstract

提供了一种信息处理装置,该信息处理装置设置有处理单元,用于基于限定将由成像装置成像的区域的区域信息和与所布置的成像装置相关的信息,发出与所述区域和所述成像装置之间的关系相关的通知。

Description

信息处理设备和信息处理方法
技术领域
本公开涉及信息处理设备和信息处理方法。
背景技术
正在开发发出关于捕捉设备的倾斜的通知的技术。例如,作为执行适合于设置在捕捉设备中的模式的倾斜引导显示的技术,可以列举下述专利文献1中描述的技术。
引用列表
专利文献
专利文献1:日本专利申请公开No.2008-17036
发明内容
本发明要解决的技术问题
当以运动为例时,由捕捉设备捕捉进行诸如网球、篮球、排球、足球或乒乓球的运动的区域(三维空间)以广播该运动。
现在,通过上述运动,球员的位置和球的位置有时会大大地移出网球场、篮球场、排球场、足球场、放置乒乓球桌的地方等。此外,如上所述的用于捕捉运动的捕捉设备在许多情况下被在不存在球员和球的状态下布置。
因此,难以通过使得在正在进行运动时捕捉球员和球的方式布置捕捉设备,或者换句话说,难以通过使得捕捉进行如上所述的运动的区域的方式布置捕捉设备。此外,在不熟悉捕捉目标运动的人要布置捕捉设备的情况下,布置变得更加困难。
本公开提出了一种能够辅助布置捕捉设备的新颖且改进的信息处理设备和信息处理方法。
问题的解决方案
根据本公开,提供了一种信息处理设备,包括:处理单元,用于基于指定捕捉设备要捕捉的区域的区域信息和关于所布置的捕捉设备的信息,发出关于所述区域与所述捕捉设备之间的关系的通知。
此外,根据本公开,提供了一种由信息处理设备执行的信息处理方法,该方法包括基于指定捕捉设备要捕捉的区域的区域信息和关于所布置的捕捉设备的信息,发出关于所述区域与所述捕捉设备之间的关系的通知的步骤。
发明效果
根据本公开,能够辅助布置捕捉设备。
另外,上述效果不一定是限制性的,并且本说明书中描述的效果中的任何一个或者可以从本说明书中理解的其他效果可以与上述效果一起或代替上述效果来实现。
附图说明
图1是示出应用了根据本实施例的信息处理方法的信息处理系统的示例的说明图。
图2是示出根据本实施例的信息处理设备的配置的示例的框图。
图3是示出根据本实施例的信息处理设备的硬件配置的示例的说明图。
图4是示出其中布置了形成根据本实施例的信息处理系统的捕捉设备的三维空间的示例的说明图。
图5是示出根据本实施例的信息处理方法的处理的示例的流程图。
图6是用于描述根据本实施例的区域信息的示例的说明图。
图7是用于描述通过根据本实施例的信息处理方法的处理的示例的说明图。
图8是用于描述通过根据本实施例的信息处理方法的处理的示例的说明图。
图9是用于描述通过根据本实施例的信息处理方法的处理的示例的说明图。
图10是用于描述通过根据本实施例的信息处理方法的处理的示例的说明图。
图11是用于描述通过根据本实施例的信息处理方法的处理的示例的说明图。
图12是用于描述通过根据本实施例的信息处理方法的处理的示例的说明图。
具体实施方式
在下文中,将参考附图详细描述本公开的优选实施例。另外,在本说明书和附图中,具有基本相同的功能配置的结构元件将由相同的附图标记表示,并且将省略多余的描述。
此外,在下文中,将按以下顺序给出描述。
1.根据本实施例的信息处理方法
2.根据本实施例的程序
(根据本实施例的信息处理方法)
在下文中,将列举根据本实施例的信息处理设备执行通过根据本实施例的信息处理方法的处理的情况作为示例。将与通过根据本实施例的信息处理方法的处理的示例一起描述根据本实施例的信息处理设备的配置的示例。
此外,在下文中,将主要描述根据本实施例的信息处理方法被应用于通过捕捉设备捕捉进行诸如网球、篮球、打排球或乒乓球的运动的区域的情况的示例。
另外,应用根据本实施例的信息处理方法的示例不限于通过捕捉设备捕捉进行运动的区域的示例。例如,根据本实施例的信息处理方法可应用于通过捕捉设备捕捉任何预定区域(三维空间)的情况,诸如通过捕捉设备捕捉作为预防犯罪的目标的区域的情况。
[1]根据本实施例的信息处理方法的概述
如上所述,难以通过使得当正在进行运动时捕捉球员和球的方式布置捕捉设备。
因此,根据本实施例的信息处理设备关于所布置的捕捉设备发布关于捕捉设备要捕捉的区域与捕捉设备之间的关系的通知。
例如,关于由根据本实施例的捕捉设备捕捉的区域与所述捕捉设备之间的关系的通知是用于辅助要布置捕捉设备的人布置捕捉设备的通知,如在后面给出的示例所述。在下文中,关于由根据本实施例的捕捉设备捕捉的区域与所述捕捉设备之间的关系的通知有时将被称为“关于与捕捉设备的关系的通知”或简称为“关于关系的通知”。
例如,根据本实施例的信息处理设备基于区域信息和关于所布置的捕捉设备的信息发出关于与捕捉设备的关系的通知。
根据本实施例的区域信息是指定要由捕捉设备捕捉的区域的数据。根据本实施例的信息处理设备基于区域信息识别捕捉设备要捕捉的区域。
例如,如上所述的进行运动的区域被列举为捕捉设备要捕捉的区域。另外,例如,如上所述,捕捉设备要捕捉的区域不限于如上所述的进行运动的区域,并且可以是作为犯罪预防的目标的区域。
在由捕捉设备捕捉的区域是进行运动的区域的情况下,为每项运动指定由区域信息指定的区域。也就是说,例如,由区域信息指定的区域包括根据运动类型的区域。此外,例如,在捕捉设备要捕捉的区域是作为犯罪预防的目标的区域的情况下,基于指示地图的地图信息等来指定该区域。
在存在多条区域信息的情况下,如在为每项运动指定由区域信息指定的区域的情况下,根据本实施例的信息处理设备基于由多条区域信息中设定的区域信息指定的区域发出关于与捕捉设备的关系的通知。
更具体地,例如,根据本实施例的信息处理设备设置与检测到的预定设置操作相对应的区域信息,并且基于由设置的区域信息指定的区域发出关于与捕捉设备的关系的通知。作为根据本实施例的预定设置操作,例如,可以列举使用操作单元(稍后描述)的操作、使用诸如遥控器的外部操作装置的操作、通过手势的操作、通过语音的操作中的一个或两个或更多个等。
在为每项运动指定由区域信息指定的区域的情况下,要布置捕捉设备的人通过使用操作单元(稍后描述)等的操作来设置运动。例如,要布置捕捉设备的人通过执行选择显示在显示屏上的运动的类型的操作来设置运动。例如,根据本实施例的信息处理设备通过从诸如存储单元(未示出)的记录介质读取与通过如上所述的设置操作设置的运动相对应的区域信息来设置与运动相对应的区域信息。然后,根据本实施例的信息处理设备基于由设置的区域信息指定的区域发出关于与捕捉设备的关系的通知。在下文中,由与通过如上所述的设置操作设置的运动相对应的区域信息所指定的区域有时被称为“与被设置的运动相对应的区域”。
如上所述,通过基于与所设置的运动相对应的区域发出关于与捕捉设备的关系的通知,可以辅助与所设置的运动相对应的捕捉设备的布置。
稍后将描述根据本实施例的区域信息的示例,以及使用该区域信息的处理的示例。
此外,例如,关于根据本实施例的捕捉设备的信息是指示所布置的捕捉设备的布置状态的数据。例如,关于根据本实施例的捕捉设备的信息指示捕捉设备的位置、捕捉设备的姿势和捕捉设备的参数。例如,作为捕捉设备的参数,可以列举指示捕捉设备的内部状态的参数,诸如镜头光轴方向上的畸变或焦距。
例如,根据本实施例的信息处理设备基于由捕捉设备捕捉的捕捉图像来估计捕捉设备的位置、捕捉设备的姿势和捕捉设备的参数中的每个。然后,根据本实施例的信息处理设备基于指示估计的捕捉设备的位置、估计的捕捉设备的姿势、以及估计的捕捉设备的参数中的每个的关于捕捉设备的信息,发出关于与捕捉设备的关系的通知。关于捕捉设备的信息可以是指示捕捉设备的位置、捕捉设备的姿势和捕捉设备的参数的数据,或者可以是包括指示捕捉设备的位置的数据、指示捕捉设备的姿势的数据、以及指示捕捉设备的参数的数据的数据组。
另外,根据本实施例的信息处理设备可以基于指示由根据本实施例的信息处理设备的外部装置估计的捕捉设备的位置、捕捉设备的姿势、以及捕捉设备的参数的关于捕捉设备的信息,发出关于与捕捉设备的关系的通知。
稍后将描述使用关于捕捉设备的信息的处理的示例。
例如,根据本实施例的信息处理设备通过在显示屏上显示通知内容的可视方法通知、使得诸如扬声器的音频输出装置输出指示通知内容的听觉通知、或其组合发出关于与捕捉设备的关系的通知。
例如,作为关于根据本实施例的关系的通知,可以列举稍后描述的(a)中描述的通知和稍后描述的(b)中描述的通知中的一个或两个。
(a)关于关系的通知的第一示例
根据本实施例的信息处理设备发出捕捉设备相对于捕捉设备要捕捉的区域(诸如如上所述将进行运动的区域)的状态的通知,作为关于关系的通知。
基于区域信息识别捕捉设备这里要捕捉的区域。
此外,例如,捕捉设备相对于根据本实施例的区域的状态由捕捉设备相对于捕捉设备要捕捉的区域的捕捉范围表示。也就是说,根据本实施例的信息处理设备发出关于捕捉设备相对于捕捉设备要捕捉的地区的捕捉范围的通知,作为关于捕捉设备相对于所述区域的状态的通知。
另外,上述“由捕捉设备相对于捕捉设备要捕捉的区域的捕捉范围所表示的捕捉设备相对于所述区域的状态”可以被重新描述为“捕捉设备相对于捕捉设备要捕捉的区域的布置状态”。也就是说,根据本实施例的信息处理设备发出关于捕捉设备相对于捕捉设备要捕捉的区域的布置的通知,作为关于捕捉设备相对于所述区域的状态的通知。
由于发出根据第一示例的关于关系的通知,因此要布置捕捉设备的人可以掌握捕捉设备要捕捉的区域与捕捉设备的捕捉范围之间的关系。因此,要布置捕捉设备的人可以更容易地将捕捉设备的布置改变为更合适的布置。
因此,由于发出关于根据第一示例的关系的通知,因此可以辅助将要布置捕捉设备的人对捕捉设备的布置。稍后将给出关于根据第一示例的关系的通知的具体示例。
(b)关于关系的通知的第二示例
根据本实施例的信息处理设备发出用于辅助改变捕捉设备的布置的通知,作为关于关系的通知。
作为这里用于辅助改变根据本实施例的捕捉设备的布置的通知,可以列举用于改变捕捉设备的布置使得捕捉设备要捕捉的区域包括在捕捉设备的捕捉范围中的通知。
此外,在根据本实施例的信息处理设备将多个捕捉设备作为处理目标的情况下,或者换句话说,在根据本实施例的信息处理设备针对多个捕捉设备中的每个发出关于关系的通知的情况下,根据本实施例的信息处理设备还发出用于改变捕捉设备的布置,使得所述多个捕捉设备的捕捉范围在捕捉设备要捕捉的区域中的重叠区域增加的通知。作为“用于改变捕捉设备的布置,使得多个捕捉设备的捕捉范围的重叠区域增加的通知”的示例,可以列举稍后描述的“用于辅助改变捕捉设备的布置,使得聚合关于多个捕捉设备的信息的结果满足预定状态的通知”。为了增加上述多个捕捉设备的捕捉范围的重叠区域对应于关于对改变捕捉设备的布置的第一限制的条件。
此外,在根据本实施例的信息处理设备针对多个捕捉设备中的每个发出关于关系的通知的情况下,根据本实施例的信息处理设备还可以发出用于改变捕捉设备的布置,使得满足所述多个捕捉设备的有效捕捉距离的通知。例如,作为根据本实施例的捕捉设备的有效捕捉距离,可以列举“捕捉设备可以正常捕捉被摄体的到被摄体的距离,诸如捕捉设备可以将聚焦调整到被摄体来捕捉被摄体的到被摄体的距离”。此外,例如,根据本实施例的捕捉设备的有效捕捉距离可以是“可以执行捕捉,使得使由捕捉设备捕捉的捕捉图像中包括的被摄体的大小为使得能够通过诸如图像识别的预定图像处理识别被摄体的到被摄体的限制距离”。例如,根据捕捉设备的参数估计根据本实施例的捕捉设备的有效捕捉距离。也就是说,作为由于根据本实施例的信息处理设备的通知而导致的捕捉设备的布置的改变的结果,使得多个捕捉设备中的每个都能够捕捉存在于捕捉设备要捕捉的区域中的被摄体,同时实现足够的性能。这里,满足上述多个捕捉设备的有效捕捉距离对应于关于对改变捕捉设备的布置的第二限制的条件。
例如,根据本实施例的信息处理设备发出用于改变捕捉设备的布置,使得满足关于第一限制的条件或关于第二限制的条件之一的通知。此外,例如,根据本实施例的信息处理设备可以发出用于在满足关于第一限制的条件和关于第二限制的条件的范围内改变捕捉设备的布置的通知。例如,根据本实施例的信息处理设备基于预定的评估函数(诸如采用重叠有效捕捉距离的区域的大小作为参数的评估函数)计算实现最大评估值的布置(即,优化的布置),并且发出用于改变捕捉设备的布置,使得实现所计算的布置的通知。
另外,关于对改变根据本实施例的捕捉设备的布置的限制的条件不限于上述关于第一限制的条件和上述关于第二限制的条件。例如,根据本实施例的信息处理设备可以通过设置预定的评估函数来优化捕捉设备的布置,所述预定的评估函数采用彼此处于折衷关系的两个或更多个限制(诸如,将捕捉设备移开的方向和将捕捉设备移得更近的方向)作为目标。
更具体地,根据本实施例的信息处理设备发出用于改变捕捉设备的视角、取向和位置中的一个或两个或更多个的通知,作为用于辅助改变捕捉设备的布置的通知。
例如,根据本实施例的信息处理设备基于由关于捕捉设备的信息指示的捕捉设备的位置,识别捕捉设备相对于捕捉设备要捕捉的区域的位置。此外,例如,根据本实施例的信息处理设备基于由关于捕捉设备的信息指示的捕捉设备的姿势识别捕捉设备相对于捕捉设备要捕捉的区域的取向(即,捕捉设备相对于所述区域的姿势)。此外,例如,根据本实施例的信息处理设备基于由关于捕捉设备的信息指示的捕捉设备的参数来识别捕捉设备的视角。然后,例如,根据本实施例的信息处理设备发出“用于改变捕捉设备的所识别的视角、所识别的取向和所识别的位置中的一个或两个或更多个,以适合对捕捉设备要捕捉的区域的捕捉的通知”。例如,作为用于执行改变以适合对根据本实施例的捕捉设备要捕捉的区域的捕捉的通知的示例,可以列举稍后描述的“用于辅助改变捕捉设备的布置,使得聚合关于多个捕捉设备的信息的结果满足预定状态的通知”。
这里,例如,根据本实施例的信息处理设备以设定顺序发出关于改变捕捉设备的视角、取向和位置的方式的通知。例如,根据本实施例的信息处理设备以视角、取向和位置的顺序发出关于改变各个项目的方式的通知。例如,根据本实施例的信息处理设备每隔设定的时间段依次发出关于改变各个项目的方式的通知。
此外,根据本实施例的信息处理设备可以同时发出关于改变捕捉设备的视角、取向和位置中两个或更多个的方式的通知。在不同时发布关于捕捉设备的视角、取向和位置的所有通知的情况下,根据本实施例的信息处理设备以与上述以设定顺序发出通知的情况类似的方式每隔设定的时间段依次发出通知。
由于发出根据第二示例的关于关系的通知,因此要布置捕捉设备的人可以根据通知内容改变捕捉设备的布置。因此,要布置捕捉设备的人可以更容易地将捕捉设备的布置改变为更合适的布置。
因此,由于发出根据第二示例的关于关系的通知,因此可以辅助要布置捕捉设备的人对捕捉设备的布置。稍后将给出根据第二示例的关于关系的通知的具体示例。
例如,作为关于该关系的通知,根据本实施例的信息处理设备执行上述(a)中描述的根据第一示例的关于关系的通知,以及上述(b)中描述的根据第二示例的关于关系的通知中的一个或两个。
因此,根据本实施例的信息处理设备可以辅助布置捕捉设备。
另外,根据本实施例的关于关系的通知不限于上述(a)中描述的根据第一示例的关于关系的通知,以及上述(b)中描述的根据第二示例的关于关系的通知。例如,作为根据本实施例的关于关系的通知的另一示例,可以列举稍后描述的“指示完成捕捉设备的布置的通知”。
[2]通过根据本实施例的信息处理方法的处理的示例
接下来,将在列举应用根据本实施例的信息处理方法的信息处理系统的示例的同时,描述通过根据本实施例的信息处理方法的处理的示例。
[2-1]根据本实施例的信息处理系统的配置示例
图1是示出应用了根据本实施例的信息处理方法的信息处理系统1000的示例的说明图。例如,信息处理系统1000包括信息处理设备100和捕捉设备200A、200B、200C。在下文中,捕捉设备200A、200B、200C之一或捕捉设备200A、200B、200C中的全部可以被称为“捕捉设备200(一个或多个)”。此外,在下文中,捕捉设备可以被称为“相机”。
例如,信息处理设备100和捕捉设备200通过网络300无线地或通过线缆连接,并且通过网络300的通信执行通信。例如,作为根据本实施例的网络300,可以列举诸如局域网(LAN)或广域网(WAN)的有线网络、诸如无线局域网(WLAN)的无线网络或使用诸如传输控制协议/因特网协议(TCP/IP)的通信协议的因特网等。另外,在根据本实施例的信息处理系统中,信息处理设备100和捕捉设备200还可以在不使用网络300的情况下直接执行通信。
另外,根据本实施例的信息处理系统的配置不限于图1中所示的示例。
例如,图1示出了包括三个捕捉设备200的配置,但是根据本实施例的信息处理系统可以包括一个捕捉设备200、两个捕捉设备或四个或更多个捕捉设备200。也就是说,根据本实施例的信息处理系统可以包括一个或两个或更多个捕捉设备200。
此外,根据本实施例的信息处理系统还可以包括用于中继信息处理设备100和捕捉设备200之间的通信的中继装置(未示出)。此外,例如,根据本实施例的信息处理系统中的中继装置(未示出)可以用作数据聚合/分发装置,其包括聚合诸如图像数据的各种数据的功能,以及分发各条数据的功能。例如,作为中继装置(未示出),可以列举路由器等。
[2-1-1]信息处理设备100
信息处理设备100是执行通过上述根据本实施例的信息处理方法的处理的设备。
图2是示出根据本实施例的信息处理设备100的配置的示例的框图。例如,信息处理设备100包括通信单元102和控制单元104。
此外,例如,信息处理设备100可以包括只读存储器(ROM;未示出)、随机存取存储器(RAM;未示出)、存储单元(未示出)、可以由信息处理设备100的用户操作的操作单元(未示出)、用于在显示屏上显示各种画面的显示单元(未示出)等。例如,信息处理设备100通过用作数据传输线的总线在上述每个结构元件之间连接。
ROM(未示出)存储控制单元104要使用的控制数据,诸如程序、操作参数等。RAM(未示出)临时存储要由控制单元104执行的程序等。
例如,存储单元(未示出)是设置在信息处理设备100中的存储装置,并且存储各条数据,诸如与根据本实施例的信息处理方法有关的数据,诸如区域信息、各种应用程序等。这里,例如,作为存储单元(未示出),可以列举诸如硬盘的磁记录介质、诸如闪存的非易失性存储器等。此外,存储单元(未示出)可以从信息处理设备100拆卸。
作为操作单元(未示出),可以列举稍后描述的操作输入装置。此外,作为显示单元(未示出),可以列举稍后描述的显示装置。
[信息处理设备100的示例硬件配置]
图3是示出根据本实施例的信息处理设备100的硬件配置的示例的说明图。例如,信息处理设备100包括MPU 150、ROM 152、RAM 154、记录介质156、输入/输出接口158、操作输入装置160、显示装置162和通信接口164。此外,例如,信息处理设备100通过用作数据传输线的总线166在每个结构元件之间连接。此外,信息处理设备100由从信息处理设备100中设置的内部电源(诸如电池)供应的电力、从连接的外部电源供应的电力等驱动。
例如,MPU 150包括包含诸如微处理单元(MPU)的操作电路、各种处理电路等的一个或两个或更多个处理器,并且起用于控制整个信息处理设备100的控制单元104的作用。此外,例如,在信息处理设备100中,MPU 150用作稍后描述的处理单元110的角色。另外,处理单元110可以由专用(或通用)电路(例如,与MPU 150分开的处理器)配置。
ROM 152存储MPU 150要使用的诸如程序和操作参数的控制数据等。例如,RAM 154临时存储要由MPU 150执行的程序等。
例如,记录介质156起存储单元(未示出)的作用,并且存储各种数据,诸如与根据本实施例的信息处理方法有关的数据(诸如区域信息)、各种应用程序等。这里,例如,作为记录介质156,可以列举诸如硬盘的磁记录介质和诸如闪存的非易失性存储器。此外,记录介质156可以从信息处理设备100拆卸。
例如,输入/输出接口158连接操作输入装置160和显示装置162。操作输入装置160起操作单元(未示出)的作用,并且此外,显示装置162起显示单元(未示出)的作用。这里,例如,作为输入/输出接口158,可以列举通用串行总线(USB)端子、数字视频接口(DVI)端子、高清晰度多媒体接口(HDMI;注册商标)端子、各种处理电路等。
此外,操作输入装置160例如设置在信息处理设备100上,并且在信息处理设备100内部连接到输入/输出接口158。例如,作为操作输入装置160,可以列举按钮、方向键、诸如微动拨盘的旋转选择器、它们的组合等。
此外,显示装置162例如设置在信息处理设备100上,并且在信息处理设备100内部连接到输入/输出接口158。例如,作为显示装置162,可以列举液晶显示器、有机电致发光显示器(有机EL显示器;也称为有机发光二极管(OLED)显示器)等。
另外,不用说,输入/输出接口158可以连接到信息处理设备100外部的诸如操作输入装置(诸如键盘或鼠标)的外部装置、外部显示装置等。此外,例如,显示装置162可以是可以通过其执行显示和用户操作的装置,诸如触摸板。
通信接口164是在信息处理设备100中设置的通信装置,并且起用于通过网络300(或直接)无线地或通过线缆与诸如捕捉设备200的外部装置进行通信的通信单元102的作用。这里,例如,作为通信接口164,可以列举通信天线和射频(RF)电路(无线通信)、IEEE802.15.1端口和发送/接收电路(无线通信)、IEEE 802.11端口和发送/接收电路(无线通信)、局域网(LAN)端子和发送/接收电路(有线通信)等。此外,通信接口164可以具有与网络300兼容的任何配置。
例如,信息处理设备100通过图3所示的配置执行通过根据本实施例的信息处理方法的处理。另外,根据本实施例的信息处理设备100的硬件配置不限于图3所示的配置。
例如,在通过连接的外部通信装置与外部装置等进行通信的情况下,信息处理设备100不必包括通信接口164。此外,通信接口164可以能够通过多种通信方案与一个或两个或更多个外部装置等执行通信。
此外,例如,信息处理设备100还可以包括捕捉装置。在信息处理设备100包括捕捉装置的情况下,捕捉设备起用于通过执行捕捉来生成捕捉图像(运动图像或静止图像)的捕捉单元(未示出)的作用。
此外,例如,信息处理设备100还可以包括音频输出装置,诸如扬声器。
此外,例如,信息处理设备100可以采用不包括记录介质156、操作输入装置160和显示装置162的配置。
此外,例如,信息处理设备100可以采用根据稍后描述的信息处理设备100的示例应用的配置。
此外,例如,图3中所示的配置(或根据修改的配置)的一部分或全部可以由一个或两个或更多个集成电路(IC)实现。
返回参考图2,将描述信息处理设备100的配置的示例。通信单元102是设置在信息处理设备100中的通信装置,并且通过网络300(或直接)无线地或通过线缆与诸如捕捉设备200的外部装置进行通信。此外,例如,通信单元102的通信由控制单元104控制。
这里,例如,可以列举通信天线和RF电路、或LAN端子和发送/接收电路等作为通信单元102,但是通信单元102的配置不限于此。例如,通信单元102可以采用根据允许执行通信的任何标准的配置,(诸如USB端子和发送/接收电路),或者能够通过网络300与外部装置执行通信的任何配置。此外,通信单元102可以能够通过多种通信方案与一个或两个或更多个外部装置等进行通信。
例如,控制单元104由MPU等构成,并且用于控制整个信息处理设备100。此外,控制单元104例如包括处理单元110,并且用作通过根据本实施例的信息处理方法的处理的主要参与者。
处理单元110用作通过根据本实施例的信息处理方法的处理的主要参与者。例如,处理单元110基于区域信息和关于捕捉设备的信息发出关于与捕捉设备的关系的通知。例如,作为关于关系的通知,处理单元110执行上述(a)中描述的根据第一示例的关于关系的通知以及上述(b)中描述的根据第二示例的关于关系的通知中的一个或两个。
例如,信息处理设备100通过图2所示的配置来执行通过根据本实施例的信息处理方法的处理。因此,例如,信息处理设备100可以通过图2所示的配置辅助布置捕捉设备。
此外,信息处理设备100例如可以通过图2所示的配置实现通过执行根据本实施例的信息处理方法的处理而实现的效果。
另外,根据本实施例的信息处理设备的配置不限于图2中所示的配置。
例如,根据本实施例的信息处理设备可以与控制单元104分开地包括图2所示的处理单元110(即,例如,处理单元110可以由另一处理电路实现)。
此外,用于实现通过根据本实施例的信息处理方法的处理的配置不限于图2中所示的配置,并且可以根据划分通过根据本实施例的信息处理方法的处理的方式来采用配置。
此外,例如,在通过具有与通信单元102类似的功能和配置的外部通信装置与外部装置进行通信的情况下,根据本实施例的信息处理设备不必包括通信单元102。
[2-1-2]捕捉设备200
捕捉设备200是被布置为捕捉例如进行运动的区域,并且通过执行捕捉来生成捕捉图像(运动图像或静止图像)的捕捉设备。
例如,捕捉设备200包括透镜/成像装置和信号处理电路。例如,透镜/成像装置由光学透镜和使用包括互补金属氧化物半导体(CMOS)等的多个成像装置的图像传感器构成。例如,信号处理电路包括自动增益控制(AGC)电路和模数转换器(ADC),并将由成像装置生成的模拟信号转换为数字信号(图像数据)。此外,例如,信号处理电路执行与RAW开发相关的各种处理。此外,信号处理电路可以执行各种类型的信号处理,诸如白平衡校正处理、色调校正处理、伽马校正处理、YCbCr转换处理和边缘增强处理。此外,捕捉设备200可以通过使用信号处理电路的操作资源来执行任何图像处理。
此外,例如,捕捉设备200包括通信装置,或者连接到外部通信装置。捕捉设备200通过所设置的通信装置或通过连接的外部通信装置通过网络300(或直接)无线地或通过线缆与诸如信息处理设备100的外部装置通信。
此外,捕捉设备200可以包括显示装置,或者可以连接到外部显示装置。
另外,捕捉设备200的配置不限于上述示例,并且可以采用根据稍后描述的捕捉设备200的示例应用的配置。
[2-2]根据本实施例的信息处理方法的处理示例
将以图1所示的信息处理系统1000为示例描述根据本实施例的信息处理方法的处理的示例。
图4是示出其中布置形成根据本实施例的信息处理系统1000的捕捉设备200的三维空间的示例的说明图。图4示出了其中布置有捕捉设备200的三维空间是包括排球场的体育馆的示例。
此外,在下文中,描述了通过根据本实施例的信息处理方法的处理的示例,列举为将捕捉设备200布置在图4所示的体育馆中的情况,或者换句话说,将根据本实施例的信息处理方法应用于捕捉进行运动的区域的情况的示例。
如上所述,在许多情况下,用于捕捉运动的捕捉设备的布置在不存在球员和球的状态下执行。更具体地,例如,沿着“设备的准备”、“捕捉设备的布置”、“通过布置的捕捉设备的测试捕捉”、“通过布置的捕捉设备的主捕捉”和“设备移除”的流程执行通过捕捉设备对运动的捕捉。例如,在上述流程中的“捕捉设备的布置”阶段应用根据本实施例的信息处理方法。
图5是示出根据本实施例的信息处理方法的处理的示例的流程图。图5示出了在捕捉设备200的临时布置之后直到完成布置的处理的示例。
信息处理设备100设置与运动相对应的区域信息(S100)。例如,在将捕捉设备200布置在图4所示的体育馆中的情况下,在步骤S100中设置与排球(运动的示例)对应的区域信息。
例如,信息处理设备100通过从诸如存储单元(未示出)的记录介质读取与检测到的设置操作相对应的区域信息来设置与运动相对应的区域信息。此外,信息处理设备100将从记录介质读取的区域信息发送到每个捕捉设备200。
另外,区域信息可以存储在形成信息处理系统1000的一个或一些或全部捕捉设备200中的每个中,或者可以分发并存储在形成信息处理系统1000的一个或一些或所有设备中。
图6是用于描述根据本实施例的区域信息的示例的说明图。图6示出了记录每项运动的区域信息的表(或数据库)的示例。
图6中的A指示的“球场”是指定进行相应运动的场地或球场的区域的数据。此外,图6中的B指示的“球员范围”是指定每项运动的球员可能移动的区域的数据。此外,图6中的C指示的“球范围”是指定每项运动中使用的球可能移动的区域的数据。
以球场或场地中设定的预定位置作为原点,通过距离(分别在水平方向、垂直方向和深度方向上的距离)表示图6中的A指示的“球场”、图6中由B指示的“球员范围”和图6中的C指示的“球范围”中的每个所指示的区域。图6中的A指示的“球场”、图6中的B指示的“球员范围”和图6中的C指示的“球范围”中的每个示出了以球场或场地的某个角落的位置为原点,并且以米为单位表示距离的示例。另外,上述预定位置不限于球场或场地的角落的位置。例如,上述预定位置可以是球场或场地的中心位置。在预定位置是中心位置的情况下,可以通过假设球场或场地是对称的执行处理来识别图6中的A指示的“球场”、图6中的B指示的“球员范围”和图6中的C指示的“球范围”中的每个所指示的区域。
这里,由图6中的A指示的“球场”、图6中的B指示的“球员范围”和图6中的C指示的“球范围”中的每个所指示的数据对应于区域信息的示例。
此外,例如,如图6中的D和图6中的E所示,记录每项运动的区域信息的表可以包括指示捕捉目标运动的区域所需的最小数量的相机的“最小数量的相机”和指示所使用的捕捉设备的有效捕捉距离的“有效相机距离”。这里,例如,图6中的D指示的“最小数量的相机”和图6中的E指示的“有效相机距离”中的每个都根据捕捉设备的焦距、图像大小等而变化。这里,上述“有效相机距离”对应于上述捕捉设备的有效捕捉距离。
返回参考图5,将描述根据本实施例的信息处理方法的处理的示例。信息处理设备100获取球员/球范围(S102)。这里,在步骤S102中获取的球员/球范围对应于由根据本实施例的捕捉设备捕捉的区域的示例。
例如,信息处理设备100通过基于在步骤S100中设置的区域信息执行确定球员/球范围的计算来获取球员/球范围。例如,作为确定球员/球范围的计算,可以列举确定包括图6中的A指示的“球场”所指示的区域、图6中的B指示的“球员范围”所指示的区域、图6中的C指示的“球范围”所指示的区域的最小区域的计算。
另外,通过信息处理设备100获取球员/球范围的方法不限于上述示例。例如,信息处理设备100还可以通过通信从捕捉设备200获取由捕捉设备200执行的确定球员/球范围的计算结果来获取球员/球范围。
图7是用于描述通过根据本实施例的信息处理方法的处理的示例的说明图,并且示出了在图5中的步骤S102中获取的球员/球范围的示例。
例如,在将捕捉设备200布置在图4所示的体育馆中的情况下,在步骤S100中设置球员/球范围,如图7中的附图标记R所示。在下文中,在图5中的步骤S102中获取的球员/球范围(诸如图7中的附图标记R所示的范围)将被称为“球员/球范围R”。
返回参考图5,将描述根据本实施例的信息处理方法的处理的示例。信息处理设备100获取捕捉设备200的位置、取向和参数(S104)。
例如,信息处理设备100通过将从每个捕捉设备200获取的捕捉图像检测到的特征量与由设置的运动特有的信息指定的特征量相关联来获取每个捕捉设备200的位置和取向。例如,作为由运动特有的信息指定的特征量,可以列举“球场中具有已知位置关系的多个预定位置”。例如,作为在运动是排球的情况下、球场中的多个预定位置的具体示例,可以列举球场的四个角的位置、线的交叉位置、网的位置、支撑网的杆的位置等。
例如,信息处理设备100通过执行检测捕捉图像中的预定位置的图像处理从捕捉图像获取特征量。然后,例如,信息处理设备100执行从捕捉图像检测到的特征量与由运动特有的信息指定的特征量之间的模式匹配。例如,通过执行如上所述的模式匹配,信息处理设备100可以估计捕捉设备200相对于由运动特有的信息指示的球场的位置。此外,通过执行如上所述的模式匹配,例如,信息处理设备100可以估计捕捉设备200相对于由运动特有的信息指示的球场的姿势,并且可以估计捕捉设备200相对于球场的取向。
另外,基于捕捉图像估计捕捉设备200的位置和取向的方法不限于上述示例。信息处理设备100可以执行使得能够基于捕捉图像估计捕捉设备200的位置和取向的任何处理,诸如使用来自运动的结构的方法。
此外,例如,信息处理设备100基于从捕捉图像检测到的特征量和由运动特有的信息指定的特征量来估计捕捉设备200的参数。信息处理设备100可以通过使用称为相机校准的技术来估计捕捉设备200的参数。例如,信息处理设备100通过使用由作为图像处理库的OpenCV提供的校准相机来估计捕捉设备200的参数。
例如,指示在步骤S104中估计的捕捉设备200的位置、捕捉设备200的取向和捕捉设备200的参数中的每个的数据对应于关于捕捉设备的信息的示例。
返回参考图5,将描述根据本实施例的信息处理方法的处理的示例。信息处理设备100将在步骤S102中获取的球员/球范围R投影到每个捕捉设备200的捕捉图像(S106)。
图8是用于描述通过根据本实施例的信息处理方法的处理的示例的说明图,并且示出了通过在图5中的步骤S106中将球员/球范围R投影到某一捕捉设备200的捕捉图像而获得的捕捉图像的示例。
例如,信息处理设备100在显示屏上显示如图8所示的球员/球范围R被投影的捕捉图像。例如,作为显示球员/球范围R被投影的拍摄图像的显示屏,可以列举设置在捕捉设备200处的捕捉投影之前的捕捉图像的显示装置(或与其连接的外部显示装置)。此外,显示球员/球范围R被投影的捕捉图像的显示屏可以是可由要布置捕捉设备200的人检查的任何显示装置的显示屏,诸如在信息处理设备100处设置的显示单元(未示出)的显示屏。
如上所述,由于球员/球范围R被投影的捕捉图像显示在显示屏上,因此要布置捕捉设备200的人可以在视觉上掌握球员/球范围R(捕捉设备200要捕捉的区域的示例)和捕捉设备200的捕捉范围之间的关系。也就是说,通过信息处理设备100在显示屏上显示球员/球范围R被投影的捕捉图像对应于上述(a)中描述的根据第一示例的关于关系的通知的示例。
返回参考图5,将描述通过根据本实施例的信息处理方法的处理的示例。信息处理设备100确定是否已经对作为布置目标的所有捕捉设备200执行了处理(S108)。例如,作为布置目标的所有捕捉设备200,可以列举形成信息处理系统1000的所有捕捉设备200。
例如,在估计作为布置目标的所有捕捉设备200的位置的情况下,信息处理设备100确定已经对所有捕捉设备200执行了处理。
在步骤S108中未确定已经对所有捕捉设备200执行了处理的情况下,信息处理设备100重复从步骤S104开始的处理。
此外,在步骤S108中确定已经对所有捕捉设备200执行了处理的情况下,信息处理设备100聚合关于多个捕捉设备200的信息(S110)。
图9是用于描述通过根据本实施例的信息处理方法的处理的示例的说明图,并且示出了在图9的步骤S110中聚合关于捕捉设备200A、200B、200C的信息的结果的示例。这里,为了增加可见度,例如,球员/球范围R表示为图9中平面。另外,不用说,即使球员/球范围R被表示为三维空间,也可以以与图9中类似的方式执行聚合。
在图9中,“0Cam”指示球员/球范围R中未被捕捉设备200A、200B、200C中的任何捕捉设备200捕捉的区域。此外,在图9中,“1Cam”指示球员/球范围R中仅由捕捉设备200A、200B、200C中的一个捕捉设备200捕捉的区域。此外,在图9中,“2Cam”指示球员/球范围R中由捕捉设备200A、200B、200C中的两个捕捉设备200捕捉的区域。此外,在图9中,“3Cam”指示球员/球范围R中由所有捕捉设备200A、200B、200C捕捉的区域。也就是说,图9中所示的示例示出了根据捕捉设备200的捕捉范围的重叠状态将球员/球范围R分类为四个区域的示例。
另外,聚合关于多个捕捉设备200的信息的结果不限于图9中所示的示例。例如,可以根据捕捉设备200的捕捉范围的重叠状态将球员/球范围R分类为期望区域和非期望区域(不良区域)两种类型。例如,图9中所示的区域“2Cam”和“3Cam”被分类为期望区域,并且区域“0Cam”和“1Cam”被分类为非期望区域。
此外,在步骤S110中,信息处理设备100可以在显示屏上显示如图9所示的指示聚合关于多个捕捉设备200的信息的结果的图像。在指示聚合关于多个捕捉设备200的信息的结果的图像在显示屏上显示的情况下,例如,以每个区域为基础对球员/球范围R的分类区域进行颜色编码,以便在视觉上识别为不同区域。
例如,作为显示指示聚合关于多个捕捉设备200的信息的结果的图像的显示屏,可以列举设置在捕捉设备200处的捕捉投影之前的捕捉图像的显示装置(或与其连接的外部显示装置)。此外,显示指示聚合关于多个捕捉设备200的信息的结果的图像的显示屏可以是可以由要布置捕捉设备200的人检查的任何显示装置的显示屏,诸如设置在信息处理设备100处的显示单元(未示出)的显示屏。
由于如上所述指示聚合关于多个捕捉设备200的信息的结果的图像在显示屏上显示,因此要布置捕捉设备200的人可以在视觉上掌握球员/球范围R(捕捉设备200要捕捉的区域的示例)和捕捉设备200的捕捉范围之间的关系。也就是说,通过信息处理设备100在显示屏上显示指示聚合关于多个捕捉设备200的信息的结果的图像对应于上述(a)中描述的根据第一示例的关于关系的通知的示例。
另外,指示聚合关于多个捕捉设备200的信息的结果的图像不限于图9中所示的示例。
例如,信息处理设备100可以在显示屏上显示其上叠加了如图9所示的通过对球员/球范围R进行分类而获得的区域的捕捉图像。例如,信息处理设备100通过投影变换将通过对球员/球范围R进行分类而获得的区域叠加在由每个捕捉设备200捕捉的捕捉图像上。
图10是用于描述通过根据本实施例的信息处理方法的处理的示例的说明图,并且示出了指示聚合关于多个捕捉设备200的信息的结果的图像的另一示例。
如图10所示,信息处理设备100还可以以每个捕捉设备200为基础在显示屏上显示指示捕捉设备200相对于球员/球范围R的捕捉范围的图像。
例如,通过“在显示屏上显示其上叠加了通过对球员/球范围进行分类而获得的区域的捕捉图像”或“在显示屏上显示如图10所示的指示捕捉设备200相对于球员/球范围R的捕捉范围的图像”来实现允许以每个捕捉设备200为基础检查聚合关于多个捕捉设备200的信息的结果的机制。
返回参考图5,将描述通过根据本实施例的信息处理方法的处理的示例。信息处理设备100呈现捕捉设备200的建议布置(S112)。例如,信息处理设备100通过发出上述(b)中描述的根据第二示例的关于关系的通知来呈现捕捉设备200的建议布置。
图11是用于描述通过根据本实施例的信息处理方法的处理的示例的说明图,并且示出了相对于如图9所示的指示聚合关于多个捕捉设备200的信息的结果的图像的建议布置的示例。
如图11所示,信息处理设备100发出用于改变捕捉设备200的视角、角度和位置中的一个或两个或更多个的通知。图11中所示的捕捉设备200的角度的改变对应于捕捉设备200的取向的改变。
这里,如图9所示的指示聚合关于多个捕捉设备200的信息的结果的图像是将球员/球范围R表示为平面的示例。因此,图11示出了“信息处理设备100发出用于在平面方向上改变捕捉设备200的角度(取向)的通知,并且还发出用于在平面方向上改变捕捉设备200的位置的通知的示例”。另外,在球员/球范围R被表示为指示聚合关于多个捕捉设备200的信息的结果的图像中的三维空间的情况下,信息处理设备100可以使平面方向上的角度和垂直方向上的角度中的一个或两个改变。此外,在球员/球范围R被表示为三维空间的情况下,信息处理设备100可以使平面方向上的位置和垂直方向上的位置中的一个或两个改变。
如上所述,例如,信息处理设备100以设定顺序发出关于改变捕捉设备200的视角、角度(取向)和位置的方式的通知。此外,例如,信息处理设备100可以同时发出关于改变捕捉设备200的视角、角度(取向)和位置中两个或更多个的方式的通知。
另外,图11示出了针对一个捕捉设备200呈现建议布置的状态,但是信息处理设备100针对作为布置目标的所有捕捉设备200中的每个,或者针对作为布置目标的捕捉设备200中的一个或多个捕捉设备200呈现建议布置。
如上所述,由于建议布置被呈现给作为布置目标的捕捉设备200,因此要布置捕捉设备200的人可以根据所呈现的建议布置(通知内容)来改变捕捉设备200的布置。因此,要布置捕捉设备200的人可以更容易地将捕捉设备200的布置改变为更合适的布置。
返回参考图5,将描述通过根据本实施例的信息处理方法的处理的示例。信息处理设备100确定作为布置目标的捕捉设备200的布置是否完成(S114)。
例如,信息处理设备100确定聚合关于多个捕捉设备200的信息的结果是否满足设置的预定状态。然后,在确定聚合关于多个捕捉设备200的信息的结果满足上述预定状态的情况下,信息处理设备100确定捕捉设备200的布置完成。
图12是用于描述通过根据本实施例的信息处理方法的处理的示例的说明图,并且示出了聚合关于多个捕捉设备200的信息的结果满足上述预定状态的情况的示例。
例如,作为设定的预定状态,可以列举图12所示的通过作为布置目标的所有捕捉设备200捕捉整个球员/球范围R的状态(也就是说,整个球员/球范围R是对应于“3Cam”的区域的状态)。
另外,根据本实施例的预定状态的示例不限于上述示例。例如,预定状态可以是整个球员/球范围R是上述期望区域的状态。也就是说,作为根据本实施例的预定状态,设置如下状态,其中整个球员/球范围R包括在捕捉设备200的捕捉范围中,并且多个捕捉设备200的捕捉范围的重叠区域增加。
由于整个球员/球范围R包括在捕捉设备200的捕捉范围中并且多个捕捉设备200的捕捉范围的重叠区域增加的状态被以上述方式设置为预定状态,因此可以通过所布置的捕捉设备200稳定且准确地跟踪球员和球。
此外,预定状态可以是预先设置的固定状态,或者可以是可以基于信息处理设备100的用户操作等而改变的可变状态。
返回参考图5,将描述通过根据本实施例的信息处理方法的处理的示例。在步骤S114中未确定捕捉设备200的布置完成的情况下,信息处理设备100重复从步骤S104开始的处理。
此外,在步骤S114中确定捕捉设备200的布置完成的情况下,信息处理设备100结束图5中所示的处理。
另外,在确定捕捉设备200的布置完成的情况下,信息处理设备100可以向布置捕捉设备200的人发出指示捕捉设备200的布置完成的通知。作为指示捕捉设备200的布置完成的通知,可以列举在显示屏上显示指示布置完成的图像、文本等的视觉通知、从音频输出装置输出指示布置完成的音频的听觉通知、其组合等。
由于信息处理设备100发出如上所述指示捕捉设备200的布置完成的通知,布置捕捉设备200的人可以通过通知掌握作为布置目标的捕捉设备200的布置完成。因此,通过发出如上所述指示捕捉设备200的布置完成的通知,可以辅助要布置捕捉设备200的人对捕捉设备200的布置。也就是说,如上所述指示捕捉设备200的布置完成的通知对应于根据本实施例的关于与捕捉设备的关系的通知的示例。
例如,通过执行图5所示的处理来实现图4所示的体育馆中的捕捉设备200的布置。
这里,例如,通过参考图5描述的处理,通过“在显示屏上显示球员/球范围R被投影的捕捉图像”、“在显示屏上显示指示聚合关于多个捕捉设备200的信息的结果的图像”以及“呈现捕捉设备200的建议布置”发出关于关系的通知。
因此,例如,可以通过执行图5所示的处理来辅助将要布置捕捉设备200的人对捕捉设备200的布置。
此外,信息处理设备100发出用于辅助改变捕捉设备200的布置,使得聚合关于多个捕捉设备200的信息的结果满足预定状态的通知。
这里,例如,作为预定状态,设置多个捕捉设备200的捕捉范围的重叠区域增加的状态,诸如“通过作为布置目标的所有捕捉设备200捕捉整个球员/球范围R的状态”或“整个球员/球范围R是上述期望区域的状态”。
因此,要布置捕捉设备200的人可以布置作为布置目标的捕捉设备200,使得可以通过所布置的捕捉设备200稳定且准确地跟踪球员和球。
另外,不用说,通过根据本实施例的信息处理方法的处理的示例不限于图5中所示的示例。
[3]形成根据本实施例的信息处理系统的每个装置的示例应用
到目前为止,给出了列举信息处理设备作为根据本实施例的信息处理系统的结构元件的描述,但是本实施例不限于这种模式。例如,本实施例可以应用于能够执行通过根据本实施例的信息处理方法的处理的各种装置,诸如“诸如个人计算机(PC)和服务器的计算机”、“平板装置”、“游戏机”、以及“诸如数码相机和数码摄像机的相机”。此外,例如,本实施例可以应用于可以嵌入上述装置中的处理IC。
此外,例如,根据本实施例的信息处理设备可以应用于基于连接到网络(或者装置之间的通信)的前提的处理系统,诸如云计算。例如,作为执行通过根据本实施例的信息处理方法的处理的处理系统的示例,可以列举“形成处理系统的一个装置执行通过根据本实施例的信息处理方法的处理的一部分,而形成处理系统的另一装置执行通过根据本实施例的信息处理方法的处理中除了所述处理的一部分之外的处理的系统”。
此外,给出了列举捕捉设备作为根据本实施例的信息处理系统的结构元件的描述,但是本实施例不限于这种模式。关于本实施例,可以列举包括捕捉功能的任何装置,诸如“诸如数码相机和数码摄像机的相机”、“能够执行捕捉的通信装置,诸如智能电话和移动电话”、“能够执行捕捉的平板装置”以及“能够执行捕捉的游戏机”。此外,如上所述,在根据本实施例的信息处理系统中,根据本实施例的信息处理设备可以用作捕捉设备。
(根据本实施例的程序)
可以通过计算机系统中的处理器等执行用于使计算机系统起根据本实施例的信息处理设备的作用的程序(诸如使得能够执行通过根据本实施例的信息处理方法的处理的程序)来辅助捕捉设备的布置。这里,可以列举单个计算机或多个计算机作为根据本实施例的计算机系统。通过根据本实施例的计算机系统执行通过根据本实施例的信息处理方法的一系列处理。
此外,可以通过计算机系统中的处理器等执行用于使计算机系统起根据本实施例的信息处理设备的作用的程序来实现上述通过根据本实施例的信息处理方法的处理实现的效果。
虽然已经参考附图在上面详细描述了本公开的优选实施例,但是本公开的技术范围不限于这样的示例。本公开所属领域的技术人员可以在随附权利要求中描述的技术构思的范围内找到各种变更和修改,并且应当理解,它们自然落入本公开的技术范围内。
例如,上面描述了提供用于使计算机系统起根据本实施例的信息处理设备的作用的程序(计算机程序),但是本实施例还可以提供存储该程序的记录介质。
上述配置是本实施例的示例,并且它自然落入本实施例的技术范围内。
此外,本说明书中描述的效果仅仅是说明性的或示例性的效果,并不是限制性的。也就是说,根据本公开的技术可以与上述效果一起或代替上述效果,实现从本说明书的描述中对本领域技术人员清楚的其他效果。
另外,以下配置也落入本公开的技术范围内。
(1)一种信息处理设备,包括:处理单元,用于基于指定将由所布置的捕捉设备捕捉的区域的区域信息和关于所述捕捉设备的信息,发出关于所述区域与所述捕捉设备之间的关系的通知。
(2)根据(1)所述的信息处理设备,其中,所述处理单元发出关于所述捕捉设备相对于所述区域的状态的通知,作为关于所述关系的通知。
(3)根据(2)所述的信息处理设备,其中,所述处理单元发出关于所述捕捉设备相对于所述区域的捕捉范围的通知,作为关于所述捕捉设备相对于所述区域的状态的通知。
(4)根据(2)所述的信息处理设备,其中,所述处理单元发出关于所述捕捉设备相对于所述区域的布置的通知,作为关于所述捕捉设备相对于所述区域的状态的通知。
(5)根据(1)至(4)中任一项所述的信息处理设备,其中,所述处理单元发出用于辅助改变所述捕捉设备的布置的通知,作为关于所述关系的通知。
(6)根据(5)所述的信息处理设备,其中,所述处理单元发出用于改变所述捕捉设备的布置从而使得所述区域包括在所述捕捉设备的捕捉范围中的通知,作为用于辅助改变所述捕捉设备的布置的通知。
(7)根据(6)所述的信息处理设备,其中,所述处理单元还发出用于改变所述捕捉设备的布置从而使得多个所述捕捉设备的捕捉范围在所述区域中的重叠区域增加的通知。
(8)根据(7)所述的信息处理设备,其中,所述处理单元还发出用于改变所述捕捉设备的布置从而使得满足多个所述捕捉设备的有效捕捉距离的通知。
(9)根据(5)至(8)中任一项所述的信息处理设备,其中,所述处理单元发出用于改变所述捕捉设备的视角、取向和位置中的一个或两个或更多个的通知,作为辅助改变所述捕捉设备的布置的通知。
(10)根据(9)所述的信息处理设备,其中,所述处理单元以设定顺序发出关于改变所述视角、所述定位和所述位置的方式的通知。
(11)根据(9)所述的信息处理设备,其中,所述处理单元同时发出关于改变所述视角、所述方位和所述位置中两个或更多个的方式的通知。
(12)根据(1)至(11)中任一项所述的信息处理设备,其中,所述处理单元基于由从多条区域信息中设置的区域信息指定的区域,发出关于与所述捕捉设备的关系的通知。
(13)根据(12)所述的信息处理设备,其中,所述处理单元与检测到的预定设置操作相对应地设置所述区域信息。
(14)根据(1)至(13)中任一项所述的信息处理设备,其中,由所述区域信息指定的所述区域包括根据运动类型的区域。
(15)根据(1)至(14)中任一项所述的信息处理设备,其中,关于所述捕捉设备的信息指示所述捕捉设备的位置、所述捕捉设备的姿势和所述捕捉设备的参数。
(16)根据(15)所述的信息处理设备,其中,所述处理单元
基于由所述捕捉设备捕捉的捕捉图像,估计所述捕捉设备的位置、所述捕捉设备的姿势和捕捉设备的参数,以及
基于指示估计的所述捕捉设备的位置、估计的所述捕捉设备的姿势和估计的所述捕捉设备的参数的关于所述捕捉设备的信息,发出关于与所述捕捉设备的关系的通知。
(17)一种由信息处理设备执行的信息处理方法,所述方法包括以下步骤:基于指定将由所布置的捕捉设备捕捉的区域的区域信息和关于所述捕捉设备的信息,发出关于所述区域与所述捕捉设备之间的关系的通知。
(18)根据(17)所述的信息处理方法,其中,在发出通知的步骤中,发出关于所述捕捉设备相对于所述区域的状态的通知,作为关于关系的所述通知。
(19)根据(17)或(18)所述的信息处理方法,其中,在发出通知的步骤中,发出用于辅助改变所述捕捉设备的布置的通知,作为关于关系的所述通知。
(20)根据(17)至(19)中任一项所述的信息处理方法,其中,
所述区域信息指定多个区域,以及
在发出通知的步骤中,基于从所述多个区域中设置的区域发出关于与所述捕捉设备的关系的通知。
附图标记列表
100 信息处理设备
102 通信单元
104 控制单元
110 处理单元
200、200A、200B、200C 捕捉设备
300 网络
1000 信息处理系统

Claims (17)

1.一种信息处理设备,包括:
处理单元,用于
根据与要在三维空间中实施的事件相对应的区域信息确定三维空间中的目标区域;
获得由捕捉设备捕捉的三维空间的捕捉图像;
将通过将所述目标区域投影到所述捕捉图像而获得的输出图像输出到显示屏;
识别基于三维空间中的所述目标区域和所述捕捉设备的布置而确定的改变所述捕捉设备的布置的方式;以及
将指示改变所述捕捉设备的布置的方式的一个或多个通知输出到显示屏和/或音频装置。
2.根据权利要求1所述的信息处理设备,其中,所述处理单元输出所述一个或多个通知中的指示所述捕捉设备相对于所述目标区域的状态的一个通知。
3.根据权利要求2所述的信息处理设备,其中,所述处理单元输出所述一个或多个通知中的指示所述捕捉设备相对于所述目标区域的捕捉范围的一个通知。
4.根据权利要求2所述的信息处理设备,其中,所述处理单元输出所述一个或多个通知中的指示所述捕捉设备相对于所述目标区域的布置的一个通知。
5.根据权利要求1所述的信息处理设备,其中,所述处理单元将改变所述捕捉设备的布置的方式确定为与使所述捕捉设备与至少另一捕捉设备的捕捉范围的重叠区域增加对应的目标布置。
6.根据权利要求1所述的信息处理设备,其中,所述处理单元将改变所述捕捉设备的布置的方式确定为与满足所述捕捉设备与至少另一捕捉设备的有效捕捉距离对应的目标布置。
7.根据权利要求1所述的信息处理设备,其中,所述方式对应于改变所述捕捉设备的视角、取向和位置中的一个或多个。
8.根据权利要求7所述的信息处理设备,其中,所述处理单元以设定顺序输出分别指示改变所述视角、所述取向和所述位置的方式的多个通知。
9.根据权利要求7所述的信息处理设备,其中,所述处理单元同时输出分别指示改变所述视角、所述取向和所述位置中两个或更多个的方式的多个通知。
10.根据权利要求1所述的信息处理设备,其中
所述区域信息指定与各个事件类型相对应的多条候选信息,以及
所述处理单元根据所述多条候选信息中所选择的一条候选信息确定所述目标区域。
11.根据权利要求10所述的信息处理设备,其中,所述处理单元响应于用于选择所述多条候选信息中所选择的一条候选信息的预定设置操作来确定所述目标区域。
12.根据权利要求1所述的信息处理设备,其中,根据与运动类型相对应的所述区域信息来确定所述目标区域。
13.根据权利要求1所述的信息处理设备,其中,所述捕捉设备的布置包括所述捕捉设备的位置、所述捕捉设备的姿势和所述捕捉设备的参数。
14.根据权利要求13所述的信息处理设备,其中,所述处理单元
基于由所述捕捉设备捕捉的捕捉图像,估计所述捕捉设备的位置、所述捕捉设备的姿势和所述捕捉设备的参数,以及
输出还指示估计的所述捕捉设备的位置、估计的所述捕捉设备的姿势和估计的所述捕捉设备的参数的所述一个或多个通知。
15.一种由信息处理设备执行的信息处理方法,所述方法包括以下步骤:
根据与要在三维空间中实施的事件相对应的区域信息确定三维空间中的目标区域;
获得由捕捉设备捕捉的三维空间的捕捉图像;
将通过将目标区域投影到捕捉图像而获得的输出图像输出到显示屏;
识别基于三维空间中的目标区域和所述捕捉设备的布置而确定的改变所述捕捉设备的布置的方式;以及
将指示改变所述捕捉设备的布置的方式的一个或多个通知输出到显示屏和/或音频装置。
16.根据权利要求15所述的信息处理方法,其中,输出所述一个或多个通知的步骤包括输出所述一个或多个通知中的指示所述捕捉设备相对于所述目标区域的状态的一个通知。
17.根据权利要求15所述的信息处理方法,其中,
所述区域信息指定与各个事件类型相对应的多条候选信息,以及
所述方法还包括根据所述多条候选信息中所选择的一条候选信息确定所述目标区域。
CN201780084762.6A 2017-02-02 2017-11-07 信息处理设备和信息处理方法 Active CN110226324B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-017480 2017-02-02
JP2017017480 2017-02-02
PCT/JP2017/040128 WO2018142705A1 (ja) 2017-02-02 2017-11-07 情報処理装置、および情報処理方法

Publications (2)

Publication Number Publication Date
CN110226324A CN110226324A (zh) 2019-09-10
CN110226324B true CN110226324B (zh) 2021-12-14

Family

ID=63040421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780084762.6A Active CN110226324B (zh) 2017-02-02 2017-11-07 信息处理设备和信息处理方法

Country Status (5)

Country Link
US (1) US20190387179A1 (zh)
EP (1) EP3579547B1 (zh)
JP (1) JP7215173B2 (zh)
CN (1) CN110226324B (zh)
WO (1) WO2018142705A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021002889A (ja) * 2020-10-09 2021-01-07 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011205345A (ja) * 2010-03-25 2011-10-13 Nec Casio Mobile Communications Ltd 撮像装置及びプログラム
CN103546679A (zh) * 2012-07-12 2014-01-29 洪奇麟 减少被摄像物体发生脱离拍摄窗口的装置及方法
CN104123732A (zh) * 2014-07-14 2014-10-29 中国科学院信息工程研究所 一种基于多摄像头的在线目标跟踪方法及系统
CN104796612A (zh) * 2015-04-20 2015-07-22 河南弘金电子科技有限公司 高清雷达联动跟踪控制摄像系统及联动跟踪方法
JP2016123004A (ja) * 2014-12-25 2016-07-07 三菱電機株式会社 撮像装置の設置支援装置、撮像装置の設置支援方法および映像記録再生装置
JPWO2014027567A1 (ja) * 2012-08-15 2016-07-25 日本電気株式会社 画像処理システム、画像処理方法、及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135765A (ja) * 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP4557929B2 (ja) 2006-07-04 2010-10-06 キヤノン株式会社 撮像装置、撮像装置の制御方法、及びコンピュータプログラム
JP4663700B2 (ja) * 2007-09-28 2011-04-06 富士フイルム株式会社 撮影装置、及び撮影方法
JP5428210B2 (ja) * 2008-06-11 2014-02-26 ソニー株式会社 情報処理装置、撮像システム、録画制御方法及びプログラム
KR101208427B1 (ko) * 2008-12-22 2012-12-05 한국전자통신연구원 동기화된 다중 영상 취득을 위한 다중 카메라 제어 및 영상저장 장치 및 방법
US9731714B2 (en) * 2014-06-25 2017-08-15 Fujitsu Ten Limited Vehicle apparatus
JP6299492B2 (ja) * 2014-07-03 2018-03-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
EP3176756A4 (en) * 2014-07-28 2017-08-09 Panasonic Intellectual Property Management Co., Ltd. Augmented reality display system, terminal device and augmented reality display method
EP3293960A4 (en) * 2015-04-28 2018-12-05 Sony Corporation Information processing device, information processing method, and program
US10129483B2 (en) * 2015-06-23 2018-11-13 Light Labs Inc. Methods and apparatus for implementing zoom using one or more moveable camera modules

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011205345A (ja) * 2010-03-25 2011-10-13 Nec Casio Mobile Communications Ltd 撮像装置及びプログラム
CN103546679A (zh) * 2012-07-12 2014-01-29 洪奇麟 减少被摄像物体发生脱离拍摄窗口的装置及方法
JPWO2014027567A1 (ja) * 2012-08-15 2016-07-25 日本電気株式会社 画像処理システム、画像処理方法、及びプログラム
CN104123732A (zh) * 2014-07-14 2014-10-29 中国科学院信息工程研究所 一种基于多摄像头的在线目标跟踪方法及系统
JP2016123004A (ja) * 2014-12-25 2016-07-07 三菱電機株式会社 撮像装置の設置支援装置、撮像装置の設置支援方法および映像記録再生装置
CN104796612A (zh) * 2015-04-20 2015-07-22 河南弘金电子科技有限公司 高清雷达联动跟踪控制摄像系统及联动跟踪方法

Also Published As

Publication number Publication date
US20190387179A1 (en) 2019-12-19
JP7215173B2 (ja) 2023-01-31
CN110226324A (zh) 2019-09-10
JPWO2018142705A1 (ja) 2019-11-21
EP3579547A4 (en) 2020-12-02
EP3579547B1 (en) 2024-06-26
EP3579547A1 (en) 2019-12-11
WO2018142705A1 (ja) 2018-08-09

Similar Documents

Publication Publication Date Title
JP6299492B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP4214291B1 (ja) 接地点推定装置、接地点推定方法、動線表示システムおよびサーバ
WO2012081319A1 (ja) 映像監視装置
KR102466526B1 (ko) 경기 영상에 대한 이벤트의 태깅을 위한 전자 장치 및 그의 동작 방법
CN108370412B (zh) 控制装置、控制方法和记录介质
CN112070795A (zh) 运动员跟踪方法及系统
JP6593922B2 (ja) 画像監視システム
CN110226324B (zh) 信息处理设备和信息处理方法
CN114037923A (zh) 一种目标活动热点图绘制方法、系统、设备及存储介质
JP2018169735A (ja) 映像検索プログラム、映像検索方法および映像情報処理装置
JP2020173628A (ja) 情報処理装置、映像生成装置、画像処理システム、それらの制御方法及びプログラム
JP5821699B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5914992B2 (ja) 表示制御装置、表示制御方法、およびプログラム
WO2018135095A1 (ja) 情報処理装置、情報処理方法、および情報処理システム
US11837262B2 (en) Electronic device for tagging event in sports play video and operating method thereof
WO2017056356A1 (en) Information processing apparatus, information processing method, and program
WO2016129154A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11749309B2 (en) Information processor, information processing method, and program
CN110800313B (zh) 信息处理设备和信息处理方法
JP2021002152A (ja) 画像処理装置、制御方法及び制御プログラム
US20200045234A1 (en) Image display method, image display system and virtual window
CN116433767B (zh) 目标对象检测方法、装置、电子设备以及存储介质
Kraft Real time baseball augmented reality
CN102968611A (zh) 信息处理器和信息处理方法
JP7304747B2 (ja) 画像処理装置、制御方法及び制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant