CN113302906A - 图像处理设备、图像处理方法、计算机程序和存储介质 - Google Patents

Abstract

当专业摄影师或一般观众获取视频时，及时显示与密码相对应的特定对象的位置信息。图像处理设备包括：显示部件，用于显示图像；选择部件，用于从所述显示部件上显示的图像中选择特定对象；指定信息生成部件，用于生成关于由所述选择部件选择的所述特定对象的指定信息；发送部件，用于向服务器发送预定密码以及由所述指定信息生成部件生成的所述指定信息；获取部件，用于从所述服务器获取由所述服务器基于所述指定信息和所述密码而生成的所述特定对象的位置信息；以及控制部件，用于将基于由所述获取部件获取的所述特定对象的位置信息的附加信息显示在所述显示部件上。

Description

图像处理设备、图像处理方法、计算机程序和存储介质

技术领域

本发明涉及用于摄像或视频监视的图像处理设备等。

背景技术

近年来，随着国际化的推进，许多游客开始访问日本。在竞技运动中，对各国运动员的摄影机会也在显着增加。

然而，例如，在竞技运动场景中，无论是专业摄影师还是一般拍照者，都很难在众多运动员中找到特定的运动员。尤其是在竞技运动的比赛期间，经常会出现多个运动员快速移动并相互交叉因而看不到运动员所位于的位置的情况。这不仅适用于竞技运动，也适用于对人群中的特定人员进行摄像或监视。

专利文献1公开了从多个方向对被摄体进行摄像的多个照相机、以及从由多个照相机中的对应照相机获得的拍摄图像中提取预定区域的多个图像处理设备。专利文献1还公开了一种图像生成设备，其基于由多个图像处理设备从由多个照相机获得的拍摄图像中提取的预定区域的图像数据，来生成虚拟视点图像。

专利文献2公开了一种自动焦点检测器，其基于从拍摄图像获取的AF评价值来驱动调焦透镜，并进行自动焦点检测控制。

引用列表

专利文献

专利文献1：日本特开2017-211828

专利文献2：日本特许5322629

发明内容

技术问题

然而，如果许多运动员聚集在一起，诸如在运动场景中，运动员可能会重叠并且可能看不到运动员。因为运动员可能在视野外，所以可能难以在适当的时间对该运动员进行摄像。

特别是专业摄影师需要立即将拍摄的照片发送到报社等，但是存在如下缺点：如果确定结果未知，则需要时间来识别确定。即使找到期望摄像的运动员，摄影师也必须在聚焦于期望摄像的运动员后追踪该运动员。缺点在于，在快速移动的运动中追踪非常困难，并且如果摄影师专注于这种追踪，则摄影师可能无法拍出好照片。

服务器侧可以从全方位视频中掌握有关比赛或比赛场地的各种信息，并且因此可以从运动场内外获取各种有价值的信息，但是存在如下问题：现有技术的系统没有充分利用服务器。

类似地，在体育场或家庭终端中监视比赛的一般用户经常会看不到特定运动员或失去对比赛状况的跟踪。类似地，在赛车、飞机竞赛、赛马等中，可能会看不到诸如特定车辆、飞机或马的对象。即使在街角跟踪特定人员，该特定人员有时也会埋没在人群中。如果专注于对关注的特定对象的视觉追踪，可能会出现如下问题：可能无法顺利地对对象进行摄像或聚焦，或者可能无法顺利地调整对对象的曝光。

本发明的目的在于解决上述问题，并提供一种能够根据密码及时显示对摄像者或观察者有价值的信息的图像处理设备。

解决问题的技术手段

一种图像处理设备，其包括：

显示部件，用于显示图像；

选择部件，用于从所述显示部件上显示的图像中选择特定对象；

指定信息生成部件，用于生成关于所述选择部件所选择的所述特定对象的指定信息；

发送部件，用于向服务器发送预定密码和所述指定信息生成部件所生成的所述指定信息；

获取部件，用于从所述服务器获取由所述服务器基于所述指定信息和所述密码而生成的所述特定对象的位置信息；以及

控制部件，用于将基于所述获取部件所获取的所述特定对象的位置信息的附加信息显示在所述显示部件上。

本发明的有利效果

根据本发明，当指定特定对象并且还输入密码时，可以容易地获取指示特定对象在画面中的位置的信息，并且因此可以例如在用户对特定对象进行监视或摄像的情况下，提供非常方便的服务。

附图说明

图1是包括示例的图像处理设备的整个系统的框图。

图2是服务器侧的详细框图。

图3是终端侧的详细框图。

图4是终端侧的详细框图。

图5是示出关注运动员显示开始序列的示例的图。

图6是示出关注运动员显示跟踪序列的示例的图。

图7是示出照相机侧的关注运动员显示跟踪控制流程的图。

图8是示出照相机侧的关注运动员显示跟踪控制流程的另一示例的图。

图9是示出数字照相机的跟踪单元371的功能配置示例的框图。

图10是示出服务器侧的关注运动员检测控制流程的图。

图11是示出服务器侧的用于检测运动员的制服号码的流程的图。

图12是示出关注运动员检测控制流程的示例的图。

图13是示出对场地内关注运动员的检测控制流程的示例的图。

图14是示出对场地内关注运动员的检测控制流程的示例的图。

图15是示出对场地内关注运动员的检测控制流程的示例的图。

图16是示出对场地内关注运动员的检测控制流程的示例的图。

图17是示出对场地外关注运动员的检测控制流程的示例的图。

图18是示出绝对位置和相对位置的控制序列的示例的图。

图19是示出绝对位置和相对位置的控制序列的示例的图。

图20是示出关注运动员显示控制流程的示例的图。

图21是示出关注运动员显示控制流程的示例的图。

图22是示出关注运动员显示控制流程的示例的图。

图23是示出关注运动员显示控制流程的示例的图。

具体实施方式

以下将使用示例来描述本发明的实施例。

首先，将参照图1来描述使用用于支持摄像或视频监视的图像处理设备的整个系统图像。

在图1中，具有用于服务器的多个照相机(例如，固定照相机或使用无人机的移动照相机)的服务器(图像处理服务器)侧，实时掌握体育场的整个场地中的关注运动员(特定对象)的位置或比赛的最新状况。将描述如下示例，其中，服务器例如在照相机摄像或图像监视期间，及时向各个观众拥有的终端提供必要的信息。

通常，专业摄影师或一般摄影者无法以照相机正进行摄像的角度或视野看到或跟随的地方有很多。对于在体育场外和未进行摄像的观众而言，也是如此。另一方面，服务器侧的系统可以基于来自用于服务器的多个照相机的视频，预先掌握和映射全方位视频和关于比赛的整个场地的信息(场地坐标信息等)。

因此，通过服务器掌握和分配各个用户难以理解且无法看到的信息，可以极大地改善对观众的服务。

换句话说，用于服务器的多个照相机(固定照相机或移动照相机)可以跟踪各个运动员的位置、得分和犯规、裁判员的判决以及其他最新状况。这些信息也可以由服务器基于大屏幕上显示的信息进行分析。因此，可以准确地识别整体状况并将其及时地发送到专业摄影师或观众所拥有的照相机终端等、或者诸如智能电话或平板电脑的终端。因此，观众可以及时掌握比赛的最新状况。特别是专业摄影师需要立即将拍摄的照片发送到新闻编辑室等，但是因为仅通过观看照相机画面视野狭窄，所以难以准确地掌握比赛的整体状况。然而，如果使用本示例中的配置，则可以快速掌握比赛状况，从而可以快速选择要发送到新闻编辑室等的照片。

作为专业摄影师或观众使用的终端(图像处理设备)，可以使用数字照相机、智能电话、照相机和智能电话连接的配置、平板PC、TV等。由于可以向正在家中通过互联网或电视广播上的诸如PC和TV的终端(图像处理设备)观看比赛的观众提供相同的服务，因此可以更准确地掌握比赛情况，从而更好地享受比赛。

在图1中，附图标记101至103指示用于服务器的照相机，并且附图标记101(固定照相机1)、附图标记102(固定照相机2)、附图标记103(固定照相机3)、附图标记104(大屏幕)、附图标记110(服务器)、附图标记111(输入部件)和附图标记112(基站)获取视频或获取声音，以向一般的专业摄影师或观众提供信息。在本实施例中，用于服务器的照相机是诸如附图标记101至103的三个照相机，但可以是一个或多个。这种用于服务器的照相机可以是例如安装在无人机等上的照相机，以代替固定照相机。除了视频获取和声音获取以外，还可以从输入部件并入除视频以外的输入信息(例如，声音)以扩展对一般的专业摄影师或观众的服务。

附图标记105指示基于有线/无线通信的LAN或互联网，并且附图标记106指示用于将从输入部件111输出的信息输入到服务器110的连接线。附图标记107指示用于向/从基站112发送/接收信号的连接线，并且附图标记108指示用于执行基站的无线通信的天线部。

换言之，上述附图标记为100系列的块是用于支持专业摄影师、一般观众等的视频拍摄的块。

另一方面，在图1中，附图标记401(终端1)、附图标记402(终端2)和附图标记403(终端3)是终端，并且例如是用于专业摄影师或一般观众例如进行摄像或监视的视频显示终端设备(诸如照相机、智能电话、平板PC或TV)。在此，附图标记404(天线)、附图标记405(天线)和附图标记406(天线)是分别用于附图标记401(终端1)、附图标记202(终端2)和附图标记203(终端3)的无线通信的天线。

当服务器检测到关注运动员的位置时，例如终端向服务器侧发送关注运动员的ID信息等，并且服务器侧向终端发送关于该运动员各种信息(诸如位置信息)。由于运动员正在移动并且比赛状况也在改变，因此需要在短时间内检测关注运动员的处理。因此，例如使用5G作为这里的无线通信。

附图标记401(终端1)、附图标记402(终端2)和附图标记403(终端3)可以通过连接和组合例如照相机和智能电话来配置。在图1的右下部分，附图标记301指示通常控制与服务器的通信的智能电话。应用软件安装在智能电话中，从而实现各种视频获取服务。附图标记300指示(数字)照相机，其是通常用于专业摄影师或观众拍摄或监视图像的图像处理设备。这里，照相机300经由USB或蓝牙(注册商标)连接到智能电话301。附图标记320指示用于智能电话301与基站112进行无线通信的天线。

如果终端是智能电话等，则以无线方式执行与服务器的视频和控制信号的交换，但是可以通过适应性地使用无线通信和有线通信，来进行用于与终端执行通信的连接。例如，可以进行控制，使得如果无线通信环境为5G，则以无线方式进行通信，而如果无线通信环境为LTE，则以有线方式发送具有大量数据的信息，并且以无线方式发送具有少量数据的控制信号。根据用于无线通信的线路的拥塞程度，可以将无线通信切换为有线通信。

接下来，参照图2，将描述服务器侧的详细块配置。在图2中，与图1相同的附图标记指示相同的构成要素，并将不再重复其描述。

附图标记201指示以太网(注册商标)控制器，并且附图标记204指示检测与运动员的角色(所谓的位置)对应的比赛位置的检测单元。这里，预先通过登记来设置运动员的角色(位置)。例如，作为橄榄球的情况下的角色(位置)，1和3称为支柱前锋，2称为钩球队员，4和5称为后卫，6和7称为侧翼前锋，8称为8号，9称为传锋，并且10称为接锋。11和14称为边锋，12和13称为正锋，并且15称为最后卫。

作为运动员所位于的位置，在很多情况下，诸如在固定配合进攻期间，前锋在进攻争球的前面，而后卫在进攻争球的后面。

换句话说，由于运动员所位于的位置是根据运动员的角色(位置)粗略确定的，因此最好在理解运动员的以上角色(位置)之后追踪关注运动员，从而可以更有效、更准确地追踪运动员。

通常，通过制服号码来识别运动员的角色。但是，在某些情况下，10号运动员可能会受伤，15号运动员可以扮演接锋的角色(进入10号的位置)，并且替补运动员可以占据15号的位置。这里，替补运动员的制服号码是16号到23号。但是，位置并不仅仅由制服号码来固定。因此，由附图标记204指示的检测单元检测与运动员的预设角色相对应的比赛位置，并且由服务器110的CPU 211接收关于检测到的比赛位置的信息，但是预设角色可能由于在比赛期间的换人而改变。

附图标记205指示轮廓信息检测单元，并且例如当专业摄影师或观众在监视终端上的视频的同时以照相机的根据其位置和角度的倍率进行摄像时，服务器110将关注运动员所位于的位置通知给终端401至403中的各个。服务器110将正被摄像的关注运动员的轮廓信息通知给终端401至403中的各个，因此终端401至403中的各个能够更可靠地识别关注运动员。CPU 211接收由附图标记205指示的块所检测到的轮廓信息。

附图标记206指示运动员的面部识别单元，其基于预先登记的关注运动员的面部照片信息，通过使用AI，特别是诸如深度学习的图像识别技术，从视频中找到运动员。CPU211还接收关于由面部识别单元206检测到的面部识别结果的信息。

附图标记207指示体格识别单元，其基于预先登记的关注运动员的体格照片信息，通过使用图像识别技术来找到运动员。

附图标记208指示制服号码检测单元，其基于预先登记的关注运动员的号码(制服号码等)通过使用图像识别技术来找到运动员。不用说，当检测到运动员的号码时，不仅可以检测到号码布背面的号码，还可以检测到写在其正面的号码。附图标记209指示位置信息创建单元，其基于使用照相机101、102和103等的GPS等的位置信息、以及关于照相机的朝向和视角的信息，来识别各照相机的位置、方向和视角。基于来自各个照相机的视频，根据三角测量法来获取运动员所位于的运动场上的绝对位置信息。位置信息创建单元209还可以基于视频，预先获取作为用于检测预先安装在体育场中的基准位置的基准指标的杆、或比赛场地的线(例如，边线或底线)在画面上的位置。可以以获取的位置作为基准坐标来获取体育场中的关注运动员相对于场地的绝对位置。

附图标记210指示照相机位置信息/方向检测单元，其基于从终端401至403中的各个发送的各终端的位置信息、方向信息以及视角信息，来检测各终端的位置、终端中的照相机面向的方向以及照相机的视角。

附图标记211指示作为计算机的中央处理单元(CPU)，其是基于存储在作为存储介质的程序存储器712中的用于控制的计算机程序来执行以下示例中描述的控制的中央计算处理装置。CPU 211还用作显示控制部件并且控制在稍后描述的显示单元214上要显示的信息。附图标记213是存储由CPU 211参照的各种数据的数据存储器。数据存储器213存储过去的比赛信息、过去的运动员信息、关于今天的比赛(比赛)的信息、诸如天气的信息、关于观众数量的信息、关于关注运动员的信息以及运动员的当前状况。关于关注运动员的信息还包括关于面部、制服号码和体格的信息。

附图标记1101指示服务器110中的数据总线。

接下来，将参照图3和图4描述作为图像处理设备的终端侧的细节。图3和图4是示出终端的配置示例的框图，并且通过使用两个附图示出了作为终端示例的(数字)照相机500的整体配置。

图3和图4中所示的数字照相机可以拍摄运动图像和静止图像，并且可以记录摄像信息。在图3和图4中，重复示出了中央处理单元(CPU)318、程序存储器319和数据存储器320，但是各构成要素是相同的块，并且各构建的构成要素的数量为1。

在图3中，附图标记301指示以太网(注册商标)控制器。附图标记302指示以预定格式存储由数字照相机拍摄的运动图像和静止图像的存储介质。

附图标记303指示作为摄像元件(诸如CCD或CMOS)的图像传感器，其将光学图像从光信号转换为电信号，并将信息从模拟信息转换为数字数据，然后输出。附图标记304指示信号处理单元，其对从图像传感器303输出的数字数据进行诸如白平衡校正或伽马校正的各种校正并输出数字数据。附图标记305指示传感器驱动单元，其控制用于从图像传感器303读取信息的水平/垂直线驱动、图像传感器303输出数字数据的定时等。

附图标记306指示操作单元输入部件。响应于用于选择和设置当由数字照相机进行摄像时的各种条件或进行摄像的触发操作、使用闪光灯的选择操作、更换电池的操作等时，来进行输入。操作单元输入部件306可以选择/设置是否基于来自服务器的位置信息来进行关注运动员的自动聚焦(AF)。从操作单元输入部件306向总线370输出关于是否进行关注运动员的自动聚焦(AF)的选择/设置信息。

操作单元输入部件306可以选择/设置是否基于来自服务器的位置信息来进行关注运动员的自动跟踪。由作为选择部件的操作单元输入部件306生成关于哪个运动员被指定为关注运动员(特定对象)或者是否基于来自服务器的位置信息来进行关注运动员的自动跟踪的信息。换言之，操作单元输入部件306用作用于生成关于特定对象的指定信息的指定信息生成部件。

附图标记307指示无线通信单元，其用作发送/接收部件，并且用于专业摄影师、一般观众等拥有的照相机终端以无线方式与服务器侧进行通信。附图标记308指示检测数字照相机的摄像倍率的倍率检测单元。附图标记309指示操作单元输出部件，其在显示由数字照相机等拍摄的图像信息的图像显示单元380上显示诸如菜单或设置信息的UI信息。附图标记310指示压缩/解压缩电路。来自图像传感器303的数字数据(RAW数据)经过信号处理单元304的显像处理，然后由压缩/解压缩电路310压缩以生成为JPEG图像文件或HEIF图像文件，或者，RAW数据在未经任何处理的情况下被压缩并生成为RAW图像文件。另一方面，如果RAW图像文件在照相机中经过显像处理以生成为JPEG图像文件或HEIF图像文件，则进行将压缩信息解压缩并返回到RAW数据的处理。

附图标记311指示面部识别单元，其通过使用AI(特别是诸如深度学习的技术)的图像识别，通过参照针对关注运动员预先登记在服务器中的面部照片信息，来从视频中找到关注运动员。CPU 318经由总线370接收关于由面部识别单元311检测到的面部识别结果的信息。

附图标记312指示体格识别单元，其通过参照针对关注运动员预先登记在服务器中的体格照片信息，通过上述图像识别技术从视频中找到关注运动员。

附图标记313指示运动员的制服号码检测单元，其基于运动员的制服号码(可以使用正面的号码)通过使用上述图像识别技术来找到关注运动员。附图标记314指示检测终端的镜头面向的方向的方向检测单元。附图标记315指示通过使用例如GPS来检测终端的位置信息的位置检测单元。

附图标记316指示电源管理单元，其检测终端的电源状态，并且当在电源开关处于OFF状态的状态下检测到按下电源按钮时，向整个终端供电。附图标记318指示作为计算机的CPU，其基于存储在作为存储介质的程序存储器319中的用于控制的计算机程序，来执行以下示例中描述的控制。CPU 318还用作显示控制部件并且控制要在显示单元380上显示的图像信息。图像显示单元380是利用液晶、有机EL等的显示单元。

数据存储器320存储数字照相机的设置条件，或者存储拍摄的静止图像和运动图像、以及静止图像和运动图像的属性信息。

在图4中，附图标记350指示摄像镜头单元，其具有第一固定组透镜351、变焦透镜352、光圈355、第三固定组透镜358、调焦透镜359、变焦马达353、光圈马达356和调焦马达360。第一固定组透镜351、变焦透镜352、光圈355、第三固定组透镜358和调焦透镜359构成了摄像光学系统。为方便起见，透镜351、352、358和359中的各个被示为单个透镜，但也可以由多个透镜配置。摄像镜头单元350可以被配置为可拆卸地附装到数字照相机的更换镜头单元。

变焦控制单元354控制变焦马达353的操作以改变摄像镜头单元350的焦距(视角)。光圈控制单元357控制光圈马达356的操作以改变光圈355的开口直径。

调焦控制单元361基于从图像传感器303获得的一对焦点检测信号(A图像和B图像)之间的相位差，来计算摄像镜头单元350的散焦量和散焦方向。调焦控制单元361将散焦量和散焦方向转换为调焦马达360的驱动量和驱动方向。调焦控制单元361基于驱动量和驱动方向来控制调焦马达360的操作，以驱动调焦透镜359，并因此控制摄像镜头单元350的聚焦(焦点调整)。如上所述，调焦控制单元361进行相位差检测类型的自动聚焦(AF)。调焦控制单元361可以执行搜索从图像传感器303获得的图像信号的对比度峰值的对比度检测类型的AF。

附图标记371指示在数字照相机中跟踪关注运动员的跟踪单元。这里所说的跟踪例如是在画面上移动围绕关注运动员的框显示，聚焦于由框跟踪的关注运动员，并调整曝光。

接下来，参照图5，将描述关注运动员显示开始序列的示例。该序列由服务器110和照相机500进行。图5的(A)示出了服务器110侧回答来自照相机500侧的问题(请求)的序列。服务器110侧向照相机500侧提供关于关注运动员的绝对位置的信息。

照相机500向服务器110通知关注运动员指定信息(ID信息，诸如制服号码或运动员姓名)。在这种情况下，用户可以在终端的画面上触摸关注运动员的位置，并且可以在用手指触摸画面的状态下用手指围绕关注运动员的外围。另选地，可以通过画面上的菜单显示多个运动员的列表并且可以触摸这些运动员中的关注运动员，或者可以在画面上显示文本输入画面并且可以输入运动员姓名或运动员的制服号码。在这种情况下，当在画面上触摸关注运动员的面部位置时，可以对面部或制服号码进行图像识别，然后发送运动员姓名或制服号码。另选地，可以在不进行图像识别的情况下将面部图像发送至服务器，并且服务器侧可以进行图像识别。在这种情况下，如果存在预定义的密码，则将密码也发送到服务器。在服务器侧，支持视频拍摄的块基于关注运动员指定信息(诸如制服号码或运动员姓名的ID信息)发送关于运动员所位于的绝对值位置的信息。当密码也从照相机发送时，根据密码来改变要发送到照相机的信息的细节。

在图5的(A)中，照相机还向服务器发送如下信息，诸如专业摄影师或观众使用的正在进行摄像的照相机的位置信息、照相机的方向、以及照相机的倍率。服务器侧在照相机正在观察的位置和方向上创建自由视点视频，并基于照相机的倍率识别照相机实际看到的视频。指示照相机实际看到的视频中的运动员的位置的位置信息、运动员的轮廓信息等被发送到照相机。照相机在照相机的显示单元的画面上更准确、更明显地显示关注运动员，并基于从服务器发送的位置信息、轮廓信息等对关注运动员进行AF和AE。

已经简要描述了找到关注运动员的关注运动员显示开始序列的示例，但是存在很多想要继续追踪运动员的情况。因此，接下来将参照图5的(B)描述用于继续跟踪关注运动员的序列。在图5的(B)中，作为终端的照相机500例如周期性地多次向服务器110进行询问(请求)，并且连续地识别运动员的位置。在图5的(B)中，关注运动员显示开始序列(A1，B1，…)周期性地从照相机发送到服务器，并且关注运动员显示开始序列(A2，B2，…)周期性地从服务器发送。识别关注运动员的位置的操作被重复很多次。

图6示出了照相机自动跟踪关注运动员的方法。照相机500向服务器110发送关注运动员的ID信息，并从服务器临时获取关注运动员的位置信息。照相机500通过参照获取的位置信息来缩小关注运动员的位置，然后通过图像识别继续跟踪关注运动员。在图6中的关注运动员显示跟踪序列中，照相机500通过使用图像识别技术来跟踪关注运动员，但是，当在中途看不到关注运动员时(当跟踪失败时)，照相机侧再次向服务器请求关注运动员的位置信息。具体来说，当照相机看不到关注运动员时，照相机再次向服务器发送关注运动员显示开始序列(A1)，并从服务器接收关注运动员显示开始序列(B2)，以在画面上显示关注运动员的位置。此后，照相机再次通过图像识别跟踪关注运动员。

在本示例中，描述了用于辅助专业摄影师或观众摄像的服务的示例，但是该服务可以用于远程照相机控制。这样的信息可以从服务器发送，因此安装在自动云台上的远程照相机可以跟踪运动员并对决定性的时刻进行摄像。

虽然使用摄像辅助的示例描述了本示例，但是终端可以是家用TV。当观看TV的观众指定关注运动员时，服务器可以将关注运动员的位置信息发送到TV，并通过显示框等明显地显示关注运动员。除了框以外，还可以通过光标(例如箭头)来指示关注运动员，或者关注运动员位置的区域的颜色或亮度可以与其他部分不同。如果关注运动员在终端的画面外，则可以通过箭头或字符显示运动员偏离终端的画面的方向。如果关注运动员在终端的显示画面外，则可以使用箭头的长度或粗细度、数字、标度(scale)等来显示终端离当前视角多远(终端偏离多少)，或者终端要旋转多少关注运动员才能进入显示画面。

如果关注运动员在画面内，则用户可以进行控制，以在画面上显示附加信息，而如果关注运动员移出画面，则用户可以选择不利用箭头等显示运动员在画面外。

另选地，可以自动确定比赛状况，并且如果关注运动员走到替补席，即使关注运动员移出画面，也可以不利用箭头等显示运动员在画面外的事实。如果用户可以选择自动关闭附加信息的显示的模式和不关闭附加信息的模式，则进一步提高了可用性。

将参照图7的(A)和(B)描述图6中的照相机侧的控制序列的示例。图7的(A)和(B)示出了照相机侧的关注运动员显示跟踪控制流程。

在图7的(A)中，附图标记S101指示初始化。在S102中确定是否选择了照片拍摄。如果选择了照片拍摄，则流程进行到S103，如果没有选择照片拍摄，则流程进行到S101。在S103中，获取照相机设置信息。在S104中，确定是否选择了关注运动员的摄像(指定)，并且当选择了关注运动员的摄像时，流程进入S105。当没有选择关注运动员的摄像时，流程进行到S110并且进行其他处理。在S105中，如果存在关注运动员信息(例如关注运动员的ID信息)和密码，则从照相机向服务器发送信息和密码。因此，服务器侧检测关注运动员的位置信息并将该位置信息发送到照相机。在S106中，从服务器接收关注运动员的位置信息等。

在S107中，照相机在参照从服务器发送的位置信息的同时跟踪关注运动员。这里，照相机进行例如关注运动员的图像识别，并且跟踪关注运动员。在这种情况下，基于运动员的制服号码、运动员的面部信息和运动员的体格中的任一个或其组合的识别结果来跟踪运动员。即，对关注运动员的一部分或全部的形状进行图像识别，从而跟踪关注运动员。然而，由于可能看不到关注运动员，因此，如果用户的摄像位置不好，则照相机的视野狭窄，或者关注运动员根据摄像角度而隐藏在其他被摄体后面，并且如果看不到关注运动员，则再次向服务器发送对位置信息的请求。在S107-2中，示出了作为关注运动员的附加信息的标记显示的示例。换言之，作为附加信息，显示指示关注运动员的光标，在关注运动员的位置显示框，关注运动员位置的颜色或亮度改变为明显，或者显示其组合。除了标记以外，还可以显示字符。在来自图像传感器的实时取景图像显示在图像显示单元上的状态下，指示位置的附加信息被叠加在关注运动员上。

图7的(B)示出了稍后将详细描述的与显示标记的S107-2相关的流程的示例。如上所述的S107中的跟踪操作可以由用户利用选择开关来可选择地进行，以使跟踪操作被跳过并且不被执行。另选地，可以设置如下模式，其中，当关注运动员在画面内时执行跟踪操作，但如果关注运动员移出画面则不执行跟踪操作，并且可以选择该模式。可以自动确定比赛状况，例如，如果关注运动员进入替补席，则可以控制自动停止对画面外的关注运动员的跟踪操作(显示诸如箭头的附加信息)。另选地，无论关注运动员在画面内还是画面外，当服务器知道关注运动员已经进入替补席时，可以控制停止在画面上对关注运动员位置的显示、对关注运动员的自动聚焦、以及对关注运动员的自动曝光调整。

在S108中，确定对关注运动员的继续跟踪是否OK(成功)，如果对关注运动员的继续跟踪成功，则进入S107，并且照相机继续跟踪关注运动员。如果对关注运动员的继续跟踪不成功，则流程进行到S109。

在S109中，确定关注运动员的摄像是否结束，如果关注运动员的摄像结束，则流程进入S101。如果继续对关注运动员进行摄像，则流程进行到S105，再次向服务器发送关于关注运动员的信息，在S106中从服务器接收关于关注运动员的信息，并再次识别关注运动员的位置，并继续对关注运动员进行摄像。即，如果跟踪失败，则在S108中确定结果为“否”，并且在这种情况下，如果继续跟踪，则流程返回S105，向服务器发送位置信息的请求。

图7的(B)示出了照相机侧的S107-2中的关注运动员标记显示的流程的示例。在S120中，基于从服务器接收到的位置信息，计算并获得关注运动员在显示单元中的相对位置。在S121中，在来自图像传感器的实时取景图像显示在图像显示单元上的状态下，指示位置的标记等被叠加在关注运动员上。

在上述示例中，例如，服务器110读取整个比赛场地的视频并获取坐标，并且因此可以从专业摄影师或观众拍摄的视频中掌握拍摄比赛场地的位置。即，服务器从用于服务器的多个照相机(固定照相机或移动照相机)中预先掌握整个比赛场地的视频。因此，可以将关注运动员在场地中的绝对位置信息映射到专业摄影师或观众在终端或数字照相机上看到的视频。

当专业摄影师或观众的终端(诸如照相机)从服务器接收到运动员的绝对位置信息时，可以将绝对位置信息映射到当前正在拍摄或监视的视频中。例如，来自服务器的关注运动员在场地中的绝对位置信息由(X，Y)指示。需要根据各个照相机的位置信息，将绝对位置信息转换为从照相机观看时的相对位置信息(X'，Y')。上述从绝对位置信息到相对位置信息的转换可以如S120在照相机侧进行，或者可以在服务器侧进行转换之后，将相对位置信息发送到各个终端(照相机等)。

如果上述转换在诸如照相机的终端中执行，则使用各照相机的GPS等，根据位置信息将从服务器发送的绝对位置信息(X,Y)转换为相对位置信息(X',Y')。相对位置信息用作照相机侧的显示画面中的位置信息。

另一方面，如果服务器执行上述转换，则服务器使用各照相机的GPS等，根据位置信息将从服务器发送的绝对位置信息(X,Y)转换为相对位置信息(X',Y')。服务器向各个照相机发送相对位置信息，并且接收到相对位置信息的照相机将该相对位置信息用作照相机侧的显示画面中的位置信息。

如上所述，专业摄影师或观众的诸如照相机的终端不太可能看不到关注运动员，因此可以在不错过时机的情况下拍摄关注运动员的良好照片。

图8示出了诸如照相机的终端侧的关注运动员显示跟踪控制的流程的另一示例。在图8中，S101、S102、S103、S104、S105、S106、S107、S107-2和S110中的控制与图7中的相同，不再重复其描述。

在图8的S131中，确定对关注运动员的继续跟踪是否OK(成功)，如果对关注运动员的继续跟踪成功，则流程进入S134。如果对关注运动员的继续跟踪不成功，则流程进行到S132。在S132中，确定关注运动员的摄像是否结束，并且如果关注运动员的摄像结束，则流程进入S133。如果继续对关注运动员进行摄像，则流程进行到S105，再次向服务器发送关于关注运动员的信息，在S106中从服务器接收关于关注运动员的信息，并再次识别关注运动员的位置，并继续对关注运动员进行摄像。在S133中，确定是否检测到来自服务器的关注运动员的位置，并且如果检测到来自服务器的关注运动员的位置，则流程进行到S106，并且如果未检测到来自服务器的关注运动员的位置，则流程进行到S101。在S134中，确定是否检测到来自服务器的关注运动员的位置，并且如果检测到来自服务器的关注运动员的位置，则流程进行到S106，如果未检测到来自服务器的关注运动员的位置，则流程进入S107。

接下来，将参照图9描述数字照相机的跟踪单元371。

图9是示出数字照相机的跟踪单元371的功能配置示例的框图。跟踪单元371包括对照部3710、特征提取部3711和距离图生成部3712。特征提取部3711基于从服务器发送的位置信息来指定要跟踪的图像区域(被摄体区域)。从被摄体区域的图像中提取特征数据。另一方面，对照部3710参照提取的特征数据，在连续提供的帧的拍摄图像中搜索与先前帧的被摄体区域具有高相似度的区域作为被摄体区域。距离图生成部3712可以从来自图像传感器的一对视差图像(A图像和B图像)中获取到被摄体的距离信息，并提高在对照部3710中指定被摄体区域的精度。然而，可以省略距离图生成部3712。

当对照部3710基于从特征提取部3711提供的图像中的被摄体区域的特征数据搜索与被摄体区域具有高度相似度的区域作为被摄体区域时，例如，使用模板匹配或直方图匹配。

接下来，将参照图10和图11描述服务器侧的关注运动员检测控制流程。

服务器基于从诸如照相机的终端发送的关注运动员的ID信息，识别关注运动员的图像。服务器基于来自用于服务器的多个照相机(固定照相机、移动照相机等)的视频来检测运动员的位置信息，并将运动员的位置信息发送到专业摄影师或观众的照相机终端等。特别是在专业摄影师或观众进行摄像时，如果存在来自服务器的关注运动员的位置信息，则能够可靠地对关注运动员进行摄像而不会出错。当在用照相机跟踪关注运动员的情况下由于盲点而看不到运动员时，来自服务器的信息也很重要。在服务器侧，基于来自用于服务器的多个照相机的视频连续检测运动员的位置信息。

图10示出了服务器侧的关注运动员检测控制的主要流程。

在图10中，首先，在S201中进行初始化。接下来，在S202中，确定在照相机中是否选择了照片拍摄，并且当选择了照片拍摄时，流程进入S203，并获取照相机设置信息。在这种情况下，如果照相机设置信息中存在密码，则也获取密码。如果没有选择照片拍摄，则流程进行到S201。在S204中，确定是否选择了关注运动员的摄像(指定)，并且如果选择了关注运动员的摄像，则流程进入S205，并且服务器从照相机接收关注运动员的ID信息(例如，运动员姓名或制服号码)。如果在S204中没有选择关注运动员的摄像，则流程进行到S210并且进行其他处理。

在S206中，服务器基于关注运动员的ID信息，通过基于来自多个照相机(固定照相机、移动照相机等)的视频的图像识别，找到画面上的关注运动员。在S207中，服务器基于自多个照相机的图像跟踪关注运动员。在S208中，确定对关注运动员的继续跟踪是否OK(成功)，并且如果对关注运动员的继续跟踪成功，则流程返回S207，并且基于来自多个照相机的信息继续跟踪关注运动员。如果在S208中对关注运动员的继续跟踪不成功，则流程进行到S209。

在S209中，确定关注运动员的摄像是否结束，并且如果关注运动员的摄像结束，则流程返回S201。如果在S209中继续对关注运动员进行摄像，则流程返回到S206。服务器再次基于关注运动员的ID信息搜索来自用于服务器的多个照相机(固定照相机或移动照相机)的信息，找到关注运动员，并在S207中基于来自多个照相机的视频继续跟踪关注运动员。

接下来，将参照图11描述在S206中找到关注运动员并在S207中跟踪关注运动员的方法的示例。

图11示出了使用制服号码信息的关注运动员检测控制流程。在图11中，在S401中，服务器基于关注运动员的ID信息从数据存储器213中获取制服号码，通过图像识别从用于服务器的多个照相机的视频信息中搜索该制服号码，并获取具有该制服号码的运动员的位置信息。在S402中，通过进一步整合从来自用于服务器的多个照相机的图像中获取的位置信息，来获取关注运动员的绝对位置信息。由此整合来自用于服务器的多个照相机的信息，并因此提高了具有特定制服号码的运动员的绝对位置信息的精度。在S403中，将S402中检测到的关注运动员的绝对位置发送给专业摄影师或观众所拥有的诸如照相机的终端。在S404中，确定是否继续跟踪关注运动员，并且如果继续跟踪关注运动员，则流程返回S401。如果不继续跟踪关注运动员，则图11中的流程结束。

可以使用来自用于服务器的多个照相机中的至少一个照相机的视频，来找到关注运动员的制服号码，并且可以通过输入诸如观看的制服号码的尺寸和角度、以及背景(比赛场地)的信息，来获取关注运动员的位置信息。可以以同样的方式使用来自用于服务器的多个照相机的视频来找到关注运动员的制服号码，并且通过输入诸如观看的制服号码的尺寸和角度、以及背景(场地)的信息，可以提高关注运动员的位置信息的精度。

接下来，图12是示出服务器侧的关注运动员检测控制流程的另一示例的图，并且示出了对例如观众无法看到的场地外(诸如更衣室)的关注运动员的跟踪控制的示例。由于具有与图10中相同的附图标记的步骤指示相同的步骤，因此不再重复其描述。

在图12中，在S2011中，确定关注运动员是否在场地内，并且如果关注运动员在场地内，则流程进入S2012。如果关注运动员不在场地内，则流程进行到S2013。附图标记S2012指示对场地内的关注运动员的跟踪。将参照图13至图16描述对场地内的关注运动员的跟踪控制的示例。将参照图17的(A)至(D)来描述图12的S2013中对场地外的关注运动员的跟踪控制的示例。

根据图13和图17的(A)的对、图14和图17的(B)的对、图15和图17的(C)的对以及图16和图17的(D)的对，来控制S2012中对场地内的关注运动员的跟踪和S2013中对场地外的关注运动员的跟踪。

首先，图13示出了在服务器侧使用位置传感器信息在S2012中对场地内的关注运动员的检测控制流程，并且图17的(A)示出了在服务器侧使用位置传感器信息在S2013中对场地外的关注运动员的检测控制流程。

在该示例中，假设运动员在诸如制服的衣服中内置了位置传感器，或者运动员通过使用带等在其手臂、腰部、腿等上穿戴位置传感器。来自该位置传感器的信息通过通信部件发送，因此服务器识别来自运动员的位置传感器的信号，并生成位置信息。服务器将位置信息通知给专业摄影师或观众所拥有的诸如照相机的终端。

这里，由于场地内的信息可以被一般观众看到而无需密码，因此当运动员在场地内时，即使没有设置密码，也可以发送运动员的位置信息。但是，如果没有设置密码，则不发送场地外的位置或视频，例如指示运动员在更衣室的位置信息和更衣室内的视频。如果没有设置密码，则假设关注运动员只会通知照相机关注运动员在场地外。

密码基于契约等预先获取，利用专业摄影师或观众拥有的诸如照相机的终端输入，并与关注运动员的指定信息一起从照相机终端发送至服务器。服务器根据从照相机终端对密码的输入，改变发送到照相机终端的详细信息。

在图13中，在S2101中，服务器从用于服务器的多个照相机获取关注运动员的位置传感器信息。位置传感器信息包括来自位置传感器的无线电波的方向和接收到的无线电波的强度级别。在S2102中，基于用于服务器的多个照相机的位置传感器信息来检测关注运动员的绝对位置。在S2103中，将关注运动员的绝对位置发送到专业摄影师或观众所拥有的诸如照相机的终端。在S2104中，确定关注运动员是否在场地内，如果关注运动员在场地内，则流程进入S2101。如果关注运动员不在场地内，则图13中的控制结束。

在该示例的情况下，用于服务器的多个照相机(固定照相机或移动照相机)中的至少一个具有检测器，该检测器除了获取图像和声音以外还检测来自运动员拥有的位置传感器的信息。用于服务器的多个照相机中的各照相机可以从运动员的位置传感器接收信息并识别接收到的无线电波的方向和接收到的无线电波的级别。然而，在本示例中，运动员的位置传感器信息可以由用于服务器的多个照相机中的各个照相机识别。整合来自用于服务器的多个照相机的位置传感器信息，从而更准确地分析运动员的位置信息。

接下来，图17的(A)是示出在服务器侧使用位置传感器信息对场地外的关注运动员的具体检测控制流程的图。在图17的(A)中，在S2501中，服务器利用更衣室内的一个或多个照相机获取关注运动员的位置传感器信息。在S2502中，基于来自更衣室内的多个照相机的位置传感器信息，检测关注运动员的绝对位置。在S2503中，确定是否已经从专业摄影师或观众的照相机输入了密码。如果已经从专业摄影师或观众的照相机输入了密码，则流程进行到S2505，并且如果没有从专业摄影师或观众的照相机输入密码，则流程进行到S2504。在S2504中，关注运动员向照相机发送指示关注运动员在场地外的信息。在S2505中，将关注运动员的绝对位置(例如，在更衣室中)发送到照相机。在S2506中，例如，将关注运动员在更衣室内的模糊的或填充了马赛克的视频发送至照相机。这里，描述了发送关注运动员的视频作为除了关注运动员的位置信息以外的信息的示例，但是可以代替视频或与视频一起发送简介信息和来自解说员的评论信息。在S2507中，确定关注运动员是否在更衣室，并且如果关注运动员在更衣室，则流程进入S2501。如果关注运动员不在更衣室，则本控制结束。

接下来，图14示出了在服务器侧使用关注运动员的制服号码信息(包括号码布正面的号码)对场地内的关注运动员的检测控制流程。

图17的(B)示出了在服务器侧使用制服号码信息对场地外的关注运动员的检测控制流程。

服务器具有用于基于来自用于服务器的多个照相机(固定照相机或移动照相机)的视频来检测运动员的制服号码的部件。服务器将制服号码与运动员的位置信息相关联的信息，通知给专业摄影师或观众所拥有的诸如照相机的终端。

在图14中，在S2201中，服务器基于关注运动员的ID信息从数据存储器213中获取制服号码。基于来自用于服务器的多个照相机(固定照相机或移动照相机)的视频，通过图像识别获取具有制服号码的运动员的位置信息。在S2202中，基于在S2201中获取的具有制服号码的运动员的位置信息(该位置信息基于来自多个照相机的视频)，来检测关注运动员的绝对位置。在S2203中，将S2202中检测到的关注运动员的绝对位置发送给专业摄影师或观众所拥有的诸如照相机的终端。在S2204中，确定关注运动员是否在场地内，并且如果关注运动员在场地内，则流程进入S2201。如果关注运动员不在场地内，则图14中的控制结束。

另一方面，图17的(B)是将图17的(A)中的S2501替换为S2601的图。即，在S2601中，服务器基于关注运动员的ID信息从数据存储器213中获取关注运动员的制服号码，并通过使用来自更衣室中的多个照相机的视频来获取具有制服号码的运动员的位置信息。此后，流程进行到S2502。

接下来，图15示出了在服务器侧使用面部识别信息对场地内的关注运动员的检测控制流程。图17的(C)示出了在服务器侧使用面部识别信息对场地外的关注运动员的检测控制流程。

服务器的数据存储器213存储在比赛中登记为队员的所有运动员的过去拍摄的多个面部信息。服务器具有用于基于来自用于服务器的多个照相机的视频来检测运动员的面部信息的部件。然后，服务器通过使用例如AI将从用于服务器的多个照相机检测到的面部信息与在比赛中登记为队员的运动员的过去拍摄的多个面部图像进行比较，来检测运动员。

在图15中，在S2301中，服务器基于关注运动员的ID信息从数据存储器213中获取关注运动员的面部信息，并使用来自用于服务器的多个照相机的视频信息来获取与面部信息对应的运动员的位置信息。如果通过使用来自用于服务器的多个照相机中的一个照相机的视频找到与关注运动员的面部信息对应的运动员，则可以通过输入诸如观看的运动员的尺寸和角度以及背景(场地)的信息，来获取关注运动员的位置信息。类似地，可以利用用于服务器的多个照相机找到与关注运动员的面部信息对应的运动员，并通过输入诸如观看的运动员的尺寸和角度以及背景(场地)的信息，可以更准确地获取关注运动员的位置信息。在S2302中，基于在S2301中获取的关注运动员的位置信息，检测关注运动员的绝对位置。在S2303中，将S2302中检测到的关注运动员的绝对位置发送到专业摄影师或观众所拥有的诸如照相机的终端。在S2304中，确定关注运动员是否在场地内，如果关注运动员在场地内，则流程进入S2301。如果关注运动员不在场地内，则本控制结束。

图17的(C)是将图17的(A)中的S2501替换为S2701的图。在S2701中，服务器基于关注运动员的ID信息从数据存储器213中获取关注运动员的面部信息，并通过使用来自更衣室中的多个照相机的视频，来获取与该面部信息对应的运动员的位置信息。此后，流程进行到S2502。

接下来，图16示出了在服务器侧使用体格识别信息对场地内的关注运动员的检测控制流程。图17的(D)示出了在服务器侧使用体格识别信息对场地外的关注运动员的检测控制流程。

服务器的数据存储器213存储在比赛中登记为队员的运动员的过去拍摄的多个体格图像信息。此外，服务器具有用于基于来自用于服务器的多个照相机的视频来检测运动员的体格信息的部件。服务器通过使用例如AI将从用于服务器的多个照相机检测到的体格信息与在比赛中登记为队员的运动员的过去拍摄的多个体格图像信息进行比较，来检测运动员。

在图16中，在S2401中，服务器基于关注运动员的ID信息从数据存储器213中获取体格图像信息，并通过使用来自用于服务器的多个照相机的视频信息，来获取具有该体格的运动员的位置信息。如果通过使用来自用于服务器的多个照相机中的一个照相机的视频而找到与关注运动员的体格图像对应的运动员，则可以通过获取诸如观看的运动员的尺寸和角度以及背景(场地)的信息，来获取关注运动员的位置信息。类似地，如果可以从来自用于服务器的多个照相机的视频中找到与关注运动员的体格图像对应的运动员，则可以通过获取诸如观看的运动员的尺寸和角度以及背景(场地)的信息，来更准确地获取关注运动员的位置信息。在S2402中，基于在S2401中获取的与体格信息对应的运动员的位置信息，检测关注运动员的绝对位置。

在S2403中，将在S2402中检测到的关注运动员的绝对位置发送到专业摄影师或观众所拥有的诸如照相机的终端。在S2404中，确定关注运动员是否在场地内，并且如果关注运动员在场地内，则流程进入S2401。如果关注运动员不在场地内，则本控制结束。

图17的(D)是将图17的(A)中的S2501替换为S2801的图。在S2801中，服务器基于关注运动员的ID信息从数据存储器213中获取关注运动员的体格图像信息，并通过使用来自更衣室中的多个照相机的视频来输入具有该体格的运动员的位置信息。此后，流程进行到S2502。

在上述实施例中，使用更衣室作为示例，但当然也可以使用例如替补席、其他休息室、训练室、医务室和大厅。如果在这样的地方存在关注运动员，则例如在图17的(A)的S2506中，关注运动员的模糊图像被发送到诸如照相机的终端，但是可以发送各种其他信息(例如，关注运动员的简介或解说员的评论)来代替发送图像。

在上面的描述中，根据密码预先设置服务器。已经描述了如下示例，其中如果输入密码，则在不输入密码的情况下在照相机终端等上无法看到的信息(例如，指示关注运动员在休息室或更衣室中的信息)被发送到照相机终端。在这种情况下，已经描述了如下示例，其中在休息室或更衣室中的关注运动员的视频被模糊或被打马赛克，并且被发送到输入了密码的诸如照相机的终端。然而，不仅可以设置密码的存在或不存在，而且可以设置多个级别的密码，并且可以根据输入的密码的级别来改变由照相机终端等接收的信息的细节。

在以上描述中，已经描述了服务器侧对输入了密码的照相机终端的控制，接下来将描述照相机终端侧的控制。

作为位置信息通知服务，当关注运动员不在场地内时，将关注运动员位于场地外的位置通知给输入了密码的照相机终端。例如，诸如“***运动员现在在更衣室”或“***运动员现在从更衣室移动到场地”的信息从服务器发送到诸如照相机的终端，并且显示在诸如输入了密码的照相机的终端上。

更衣室中的关注运动员的模糊或马赛克视频以画中画的形式显示在照相机的一部分上。

因此，即使关注运动员不在场地内，具有密码的专业摄影师或一些观众也可以知道该运动员在哪里，并且也可以看到该运动员的视频。因此，专业摄影师等更有可能能够在不错过摄影机会的情况下拍出好照片。

例如，即使同时在场地内进行多项比赛(诸如在奥运会中)，也可以容易地知道不在场地内的关注运动员现在在哪，因此可以提供用于及时拍摄好照片差异化服务。

除了更衣室，在输入了密码的专业摄影师的照相机终端上，还可以显示诸如“运动员正乘巴士前往比赛地”的信息，这是非常方便的服务。

在本示例中，可以通过例如专业摄影师或观众观看的视频中的箭头或字符来提供在诸如照相机的终端的画面内或外的关注运动员的位置的通知，不会看不到关注运动员，因此很难错过宝贵的摄影机会。

如果通过广播来从服务器向多个照相机终端发送位置信息，则该位置信息被发送作为绝对位置信息，但由服务器检测到的信息的通知仅提供给特定摄影师或特定观众所拥有的诸如照相机的终端。该信息可以被发送到各个照相机终端，也可以被发送到体育场的特定区域内的摄影师或观众所拥有的诸如照相机的终端。在这种情况下，服务器可以将相对位置信息发送给那些照相机终端。

图18和图19示出了场地内的绝对位置信息和相对位置信息的转换序列的示例。

如果服务器通过广播来发送绝对位置信息，则各个专业摄影师或各个观众所拥有的诸如照相机的终端进行从绝对位置信息到相对位置信息的转换。

图18示出了在诸如照相机的终端侧将比赛场地中的绝对位置转换为相对位置的序列。在图18中，服务器1801基于来自用于服务器的多个照相机(固定照相机和移动照相机)的信息来检测关注运动员的绝对位置。服务器将关注运动员的绝对位置信息发送到例如观众的照相机终端1802。观众的照相机终端1802根据观众的诸如照相机的终端的位置信息，将从服务器发送的绝对位置信息转换为在照相机终端的显示单元上观看时的相对位置信息，并基于该信息将关注运动员的位置信息显示在显示单元上。

接下来，参照图19，描述如下示例，其中，当服务器侧接收到各个特定照相机终端的位置信息时，在服务器侧，服务器侧将绝对位置信息转换为相对位置信息，然后将相对位置信息发送到各照相机终端。

图19示出了在服务器中将绝对位置转换为相对位置的流程。在图19中，服务器1801从来自用于服务器的多个照相机的视频等中获取各关注运动员的位置信息，并检测各关注运动员的绝对位置。各特定的照相机终端通过使用GPS等检测照相机终端的位置信息，并将各照相机终端1803的位置信息从照相机终端1803发送到服务器1801。服务器1801基于从各照相机终端1803指定的各关注运动员的绝对位置信息和各照相机终端的位置信息，进行计算以转换为当在各照相机终端位置观看时的相对位置信息，并将相对位置信息发送到各照相机终端。各照相机终端1803基于从服务器1801接收到的在照相机终端观看时的相对位置信息，在各照相机终端的显示单元上显示关注运动员的位置。

存在照相机终端的位置固定和照相机终端移动的情况。例如，在从观众席观看比赛时，照相机终端的位置几乎是固定的。因此，由于确定了从某个观众席看到的视频，用于根据由服务器检测到的关注运动员的绝对位置信息创建从观众拥有的诸如照相机的终端看到的相对位置信息的服务是非常有价值的。

为了在照相机终端侧将绝对位置信息转换为相对位置信息，期望预先下载能够在从观众席看到的视频与场地的绝对位置之间转换的软件。获取照相机终端的GPS位置信息，或者获取并匹配来自观众席的视频以创建相对位置信息。

图20和图21示出了在照相机终端侧通过将绝对位置信息转换为相对位置信息来显示和跟踪关注运动员的流程的示例。

在图20中，附图标记S2901指示初始化。在S2902中确定是否选择了照片拍摄。如果选择了照片拍摄，则流程进行到S2903，如果没有选择照片拍摄，则流程进行到S2901。在S2903中，获取照相机设置信息。在S2904中，从观众席摄像的信息被发送到服务器。服务器基于该信息对转换软件进行优化。在S2905中，从服务器下载用于从观众席观看的视频与场地的绝对位置之间的转换的上述软件。在S2906中，将S2905中下载的软件安装到照相机终端中。在S2907中，接收从服务器发送的特定运动员的默认绝对位置信息，并由软件转换为相对位置信息。在S2908中，基于检测到的相对位置信息，在特定运动员的位置处显示诸如框或箭头的标记。此时，来自图像传感器的实时取景图像显示在图像显示单元上，并且上述标记被叠加并显示在实时取景图像上。

接下来，在图21的S2909中，确定是否选择了由照相机终端指定的关注运动员的摄像。如果选择了关注运动员的摄像，则流程进行到S2911，并且如果没有选择关注运动员的摄像，则流程进行到S2910，进行其他处理，然后流程进行到S2901。在S2911中，关于关注运动员的信息从照相机发送到服务器。在S2912中，从服务器接收关注运动员的绝对位置信息。在S2913中，软件将从服务器接收到的关注运动员的绝对位置信息转换为相对应照相机终端座位位置的相对位置信息，并利用诸如框或箭头的标记将相对位置信息显示在照相机终端的显示单元上。即，可以依次显示关注运动员的位置。在S2914中，确定关注运动员的摄像(或监视)是否结束，并且如果关注运动员的摄像(或监视)结束，则流程进入S2901。如果在S2914中继续对关注运动员进行摄像(或监视)，则流程进行到S2911，再次将关注运动员的信息发送到服务器。在S2912中，从服务器接收关注运动员的绝对位置信息，并继续对关注运动员进行摄像。

接下来，图22示出了在照相机终端侧通过将绝对位置信息转换为相对位置信息来显示和跟踪关注运动员的流程的另一示例。在图22中，使用观众的座位信息将绝对位置转换为相对位置。在图22中，由于具有与图20和图21中相同的附图标记的步骤指示相同的步骤，因此将不再重复其描述。

在图22中，在S3000中，输入观众当前就座的观众席的座位信息。作为这里的输入方法，可以通过观众的照相机读取赋予座位的座位号、QR码(注册商标)等，或者可以用触摸面板或键来输入座位信息。在S3001中，将S3004中输入的观众席的座位信息发送给服务器。服务器侧基于座位位置信息，优化用于将绝对位置转换为相对位置的软件。在S3002中，从服务器下载基于观众席的座位信息而优化的转换软件。

接下来，图23示出了照相机侧的关注运动员显示跟踪控制流程的另一示例。在图23中，由观众所拥有的诸如照相机的终端对比赛场地等进行摄像，并将摄像的信息发送到服务器。服务器基于摄像的信息，将场地内的关注运动员的绝对位置信息转换为观众拥有的照相机终端的显示画面上的相对位置，然后将相对位置发送给照相机。因此，在照相机终端中，在不下载软件的情况下，基于来自服务器的相对位置信息，将指示位置的标记(诸如框或箭头)叠加在显示单元上的图像上。因此，具有在照相机终端侧能够容易地识别运动员所位于的位置的优点。

在图23中，由于具有与图20和图21中相同的附图标记的步骤指示相同的步骤，因此将不再重复其描述。在图23中，在S3100中，将从观众当前就座的观众席摄像的信息发送到服务器。服务器利用用于服务器的多个照相机识别特定运动员的默认绝对位置。接收观众拍摄的视频，并基于接收到的视频，将特定运动员的绝对位置信息转换为用于在观众席上的观众所拥有的诸如照相机的终端上观看运动员的相对位置信息。在S3101中，接收从服务器发送的特定运动员的相对位置信息，并基于特定运动员的相对位置信息，在诸如照相机的终端上显示特定运动员的位置。此后，流程进行到图21中的步骤S2909。

如上所述，由于可以在诸如照相机的终端侧及时显示关注运动员的位置，因此观众或专业摄影师不会看不到关注运动员，并且能够可靠地对重要的时刻进行摄像。

尽管利用一个关注运动员的示例进行了描述，但是关注运动员的数量可以是多个。关注运动员可以在中途切换。参与比赛的所有运动员都可以是关注运动员。视频或图像不仅包括运动图像，还包括静止图像。该描述着重于追踪和跟踪关注运动员。然而，代替仅追踪关注运动员，可以将关于持球或接球的运动员的信息发送给专业摄影师或观众以进行显示。在上述示例中，已经描述了跟踪运动员的示例，但是不用说，本发明可以应用于通过使用多个监视照相机来跟踪诸如罪犯的人物的系统。另选地，本发明不仅适用于人，也适用于在赛车等中跟踪特定汽车的系统或在赛马等中跟踪马的系统。在示例中，已经描述了通过照相机终端等指定关注运动员的示例，但是服务器侧可以指定关注运动员。

在国际比赛中，经常将特权赋予一些观众、赞助商等，但是，在本示例中，根据这样的特权或契约级别，可以改变从服务器向诸如照相机的终端添加的价值的级别。可以通过输入密码等来实现这种特定级别的控制，因此具有特殊契约的专业摄影师可以通过输入密码获取运动场内外的高价值视频或各种信息，从而拍摄出具有更高商业价值的照片。

尽管以上描述了本发明的优选示例，但是本发明不限于该示例，并且可以在本发明的精神的范围内进行各种变型和改变。

可以经由网络或各种存储介质，将实现本发明中的一些或全部类型的控制作为上述示例的功能的计算机程序提供给图像处理设备等。然后，图像处理设备等中的计算机(或CPU、MPU等)可以读取并执行该程序。在这种情况下，程序和存储程序的存储介质落入本发明。

(相关申请的交叉引用)

本申请要求2018年11月7日提交的日本专利申请2018-209518的优先权，该申请的全部内容通过引用并入本文。

附图标记列表

101、102、103 (用于服务器的)照相机

401、402、403 终端

110 服务器

371 跟踪单元

380 图像显示单元

Claims (24)

1.一种图像处理设备，其包括：

显示部件，用于显示图像；

选择部件，用于从所述显示部件上显示的图像中选择特定对象；

指定信息生成部件，用于生成关于所述选择部件所选择的所述特定对象的指定信息；

发送部件，用于向服务器发送预定密码和所述指定信息生成部件所生成的所述指定信息；

获取部件，用于从所述服务器获取由所述服务器基于所述指定信息和所述密码而生成的所述特定对象的位置信息；以及

控制部件，用于将基于所述获取部件所获取的所述特定对象的位置信息的附加信息显示在所述显示部件上。

2.根据权利要求1所述的图像处理设备，其中，所述控制部件基于所述位置信息，将所述特定对象的位置显示在所述显示部件的显示画面上作为所述附加信息。

3.根据权利要求1或2所述的图像处理设备，其中，所述服务器基于来自照相机的视频中的所述特定对象的识别结果来生成所述特定对象的位置信息，并将该位置信息发送到所述图像处理设备。

4.根据权利要求2所述的图像处理设备，其中，所述服务器基于所述特定对象的图像识别结果来生成所述位置信息，并将该位置信息发送到所述图像处理设备。

5.根据权利要求2至4中的任一项所述的图像处理设备，其中，所述服务器基于来自所述特定对象中包括的位置传感器的信号的识别结果，来生成所述特定对象的位置信息。

6.根据权利要求5所述的图像处理设备，其中，所述附加信息包括框、光标和具有不同颜色或亮度的区域中的至少一个。

7.根据权利要求6所述的图像处理设备，其中，所述附加信息指示在所述特定对象在画面外的情况下从所述画面观看时所述特定对象所位于的方向。

8.根据权利要求7所述的图像处理设备，其中，所述附加信息指示所述特定对象从所述画面偏离的程度。

9.根据权利要求8所述的图像处理设备，其中，所述附加信息利用箭头的长度或粗细度，来指示所述特定对象从所述画面偏离的程度。

10.根据权利要求8所述的图像处理设备，其中，所述附加信息利用数字或标度来指示所述特定对象从所述画面偏离的程度。

11.根据权利要求4所述的图像处理设备，其中，所述服务器进行对所述特定对象穿戴的号码或者所述特定对象的一部分或全部的形状的图像识别。

12.根据权利要求1至11中的任一项所述的图像处理设备，其中，所述服务器基于来自多个照相机的视频中的所述特定对象的图像识别结果来生成所述特定对象的位置信息，并将该位置信息发送到所述图像处理设备。

13.根据权利要求1至12中的任一项所述的图像处理设备，还包括：

跟踪部件，用于在所述获取部件获取所述特定对象的位置信息之后，跟踪所述特定对象。

14.根据权利要求13所述的图像处理设备，其中，在从所述服务器获取所述特定对象的位置信息之后，所述跟踪部件执行所述特定对象的跟踪，并且在跟踪失败的情况下请求所述服务器发送位置信息。

15.根据权利要求1至14中的任一项所述的图像处理设备，其中，所述服务器预先获取存在所述特定对象的整个场地的视频，并且使用所述视频来生成所述位置信息。

16.根据权利要求15所述的图像处理设备，其中，所述服务器基于所述场地中的所述特定对象的位置信息，来生成在从所述图像处理设备观看所述特定对象时的相对位置信息。

17.根据权利要求15所述的图像处理设备，其中，所述服务器向所述图像处理设备发送所述场地中的所述特定对象的第一位置信息，并且所述图像处理设备基于所述第一位置信息来生成在从所述图像处理设备观看所述特定对象时的相对位置信息。

18.根据权利要求1至17中的任一项所述的图像处理设备，其中，所述选择部件选择多个特定对象。

19.根据权利要求1至18中的任一项所述的图像处理设备，其中，所述服务器基于所述密码和所述指定信息，还向所述图像处理设备发送除了所述特定对象的位置信息以外的信息。

20.根据权利要求1至19中的任一项所述的图像处理设备，其中，所述密码具有多个级别，并且所述服务器基于所述密码的级别和所述指定信息，来改变要发送到所述图像处理设备的关于所述特定对象的信息。

21.根据权利要求1至20中的任一项所述的图像处理设备，还包括：

下载部件，用于下载用于将绝对位置信息转换为相对位置信息的软件。

22.一种图像处理方法，其包括：

显示步骤，用于显示图像；

选择步骤，用于从所述显示步骤中显示的图像中选择特定对象；

指定信息生成步骤，用于生成关于所述选择步骤中选择的所述特定对象的指定信息；

发送步骤，用于向服务器发送预定密码和所述指定信息生成步骤中生成的所述指定信息；

获取步骤，用于从所述服务器获取由所述服务器基于所述指定信息和所述密码而生成的所述特定对象的位置信息；以及

控制步骤，用于显示基于所述获取步骤中获取的所述特定对象的位置信息的附加信息。

23.一种计算机程序，其使计算机用作根据权利要求1至21中的任一项所述的图像处理设备的各部件。

24.一种计算机可读存储介质，其存储根据权利要求23所述的计算机程序。

Images