CN108293107A - 显示处理装置、显示处理方法和用于执行显示处理方法的计算机可读介质 - Google Patents

显示处理装置、显示处理方法和用于执行显示处理方法的计算机可读介质 Download PDF

Info

Publication number
CN108293107A
CN108293107A CN201680070482.5A CN201680070482A CN108293107A CN 108293107 A CN108293107 A CN 108293107A CN 201680070482 A CN201680070482 A CN 201680070482A CN 108293107 A CN108293107 A CN 108293107A
Authority
CN
China
Prior art keywords
processing
imaging
display
image
panoramic picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680070482.5A
Other languages
English (en)
Inventor
岩本和成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015236066A external-priority patent/JP2017103652A/ja
Priority claimed from JP2015236065A external-priority patent/JP2017103651A/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN108293107A publication Critical patent/CN108293107A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19682—Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19689—Remote control of cameras, e.g. remote orientation or image zooming control for a PTZ camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks

Abstract

图像再现装置包括：显示处理单元，被配置成处理指示出如下时间段的时间线的显示，在所述时间段期间，由能够改变成像方向的照相机捕获的图像被记录。时间线上的时间段的显示是取决于成像方向而被处理的。

Description

显示处理装置、显示处理方法和用于执行显示处理方法的计 算机可读介质
技术领域
本发明涉及信息处理装置、信息处理方法和程序，并且具体而言适合于显示用于再现监控照相机的捕获图像的时间线。存在用于将其中成像装置可以捕获图像的范围显示为全景图像的技术。专利文献(PTL)1讨论了用于在时间线上显示其间存在目标成像装置的记录视频图像的时间段和其间存在其它成像装置的记录视频图像的时间段的技术。
背景技术
存在通过在时间线上显示其间成像装置的记录视频图像被存储的时间段来向用户呈现其间存在成像装置的记录视频图像的时间段的技术。
例如，PTL 2讨论了用于在便携式终端的屏幕上显示用户指定区域并执行变焦控制以使得该区域中的图像在整个屏幕上放大的技术。
[引文列表]
[专利文献]
PTL 1：日本专利申请特开No.2013-17173
PTL 2：日本专利申请特开No.2004-157869
发明内容
[技术问题]
在PTL 1中讨论的技术没有讨论当存在期望的成像方向上的记录视频图像时用户在时间线上直观地掌握时间的机制。
[技术方案]
本发明旨在解决上述问题，并且致力于使用户能够确定由成像装置的捕获而生成的图像的成像方向的技术。
根据本发明的一个方面，图像再现装置包括：显示处理单元，被配置成处理指示出如下时间段的时间线的显示，在所述时间段期间，由能够改变成像方向的照相机捕获的图像被记录，时间线上的时间段的显示是取决于成像方向而被处理的；以及图像再现单元，被配置成再现与在时间线上指定的时间对应的图像。
根据以下参考附图对示例性实施例的描述，本发明的其它特征将变得清楚。
附图说明
图1示出显示系统的配置。
图2示出成像装置的配置。
图3示出客户端装置的配置。
图4是示出客户端装置的处理的第一示例的流程图。
图5示出成像装置的成像方向与显示图案之间的关系。
图6示出安装了成像装置的状况。
图7示出全景图像。
图8示出叠加了成像装置的成像方向的全景图像。
图9是示出客户端装置的处理的第二示例的流程图。
图10示出时间线。
图11示出成像装置的成像方向被叠加在其上的时间线。
图12是示出客户端装置的处理的第一示例的流程图。
图13示出全景图像上的坐标范围与显示图案之间的关系。
图14示出叠加了显示图案的全景图像。
图15示出指示出指定范围内的视频图像的记录时间段的时间线。
图16是示出客户端装置的处理的第二示例的流程图。
具体实施方式
以下将参考附图详细描述示例性实施例。下面将围绕用于在全景图像上显示成像装置的成像方向的方法的示例来描述第一示例性实施例。下面将围绕用于在成像装置的记录视频图像的时间线上显示成像装置的成像方向的方法的示例来描述第二示例性实施例。
[第一示例性实施例]
下面将描述第一示例性实施例。如上所述，下面将围绕用于在全景图像上显示成像装置的成像方向的方法的示例来描述本示例性实施例。
图1是示出根据本示例性实施例的显示系统的配置的示例的框图。
参考图1，显示系统包括成像装置110、客户端装置120、输入装置130和显示装置140。成像装置110和客户端装置120经由网络150连接以使得它们可以相互通信。
成像装置110捕获被摄体的图像。成像装置110具有改变成像方向和成像视角的功能。客户端装置120获取关于成像装置110的成像方向和成像视角的信息以及全景图像。输入装置130包括鼠标、键盘等，并且接收由用户输入的发给客户端装置120的操作。显示装置140显示客户端装置120输出的图像。图1将客户端装置120和显示装置140示出为独立的装置。然而，客户端装置120和显示装置140可以一体地形成。网络150允许成像装置110和客户端装置120之间的互连。网络150包括满足诸如以太网(注册商标)之类的通信标准的多个路由器、交换机和线缆。只要成像装置110和客户端装置120可以相互通信，那么网络150的通信标准、规模和配置就不重要。例如，网络150可以通过因特网、有线局域网(LAN)、无线LAN或广域网(WAN)来配置。
以下将描述成像装置110的功能配置的示例。
成像单元111包括图像传感器和用于在图像传感器上形成被摄体图像的光学系统。成像单元111通过将光学系统的光轴和固态图像传感器的交点设置为成像中心来捕获图像传感器上的图像。固态图像传感器是诸如互补金属氧化物半导体(CMOS)传感器或电荷耦合器件(CCD)传感器之类的图像传感器。
信号处理单元112对由成像单元111捕获的图像信号执行处理。信号处理单元112例如对由成像单元111获得的图像信号执行编码。作为编码方法，例如可以使用联合图像专家组(JPEG)。例如，也可以使用H.264/MPEG-4AVC作为编码方法。另外，也可以使用高效视频编码(HEVC)作为编码方法。然而，编码方法不限于此。信号处理单元112可以从多种编码方法中选择编码方法并执行编码。信号处理单元112还执行例如以下图像处理。更具体地，信号处理单元112还执行包括以下处理在内的处理：连接处理后的图像信号以生成全景图像的处理和对处理后的图像信号进行的滤波处理。
驱动控制单元113执行用于改变成像单元111的成像方向和成像视角的控制。下面将围绕成像单元111能够在左右(pan)和上下(tilt)方向上改变成像方向以及改变成像视角的情况来描述本示例性实施例。
信息存储单元114存储例如作为由信号处理单元112处理的图像信号(捕获的图像)的上述全景图像以及诸如成像期间的成像方向、成像期间的成像视角、成像时间等之类的信息作为记录视频图像。
根据本示例性实施例，假设成像装置110被安装在天花板上。成像装置110(成像单元111)具有在-180至179度的左右方向上的驱动范围和0至90度的上下方向上的驱动范围。在成像装置110的上下值(角度)是90度的情况下，成像装置110(成像单元111)指向垂直于成像装置110被安装的空间的地板的方向(更具体地，成像装置110正好朝下)。
通信控制单元115将由信号处理单元112处理的图像信号(捕获的图像)发送到客户端装置120。例如，对于要发送的捕获的图像，关于成像时间、成像方向(左右和上下角度)以及成像视角的信息被记录在每个捕获的图像帧的头部(header)中。通信控制单元115还接收从客户端装置120到成像装置110的控制指令。通信控制单元115还接收来自客户端装置120的指令，提取存储在信息存储单元114中的记录视频图像(全景图像)的每帧的信息，并将该信息发送到客户端装置120。
下面将描述客户端装置120的功能配置的示例。
客户端装置120中的存储单元121存储程序的内容和要用于程序中的处理的各种数据。控制单元122通过读取并执行存储单元121中存储的程序来执行流程图的处理(在下面描述)。输入获取单元124输入由用户在输入装置130上执行的输入操作的内容。显示控制单元125将与由控制单元122执行的程序处理的结果对应的视频图像输出到显示装置140。
图2示出成像装置110的硬件配置的示例。
成像装置110包括成像单元201、致动器单元202、随机存取存储器(RAM)203、中央处理单元(CPU)204、只读存储器(ROM)205和接口(IF)206。
参考图2，来自被摄体的光通过包括光学系统的摄影透镜单元211和光圈单元212以在光学传感器213上形成被摄体图像。摄影透镜单元211例如通过使用马达来移动透镜组以聚焦在被摄体上。光圈单元212具有能够控制光圈的机构。驱动电路216控制摄影透镜单元211和光圈单元212的操作。
因此，驱动电路216控制摄影透镜单元211和光圈单元212以调整到达光学传感器213(要在其上成像)的光量。通过上述固态图像传感器配置的光学传感器213将入射光转换成与光量对应的电荷并且累积电荷。光学传感器213读取累积的电荷并且将它们作为图像信号输出到模拟-数字(A/D)转换器214。
光学传感器213的操作由驱动电路217输出的脉冲信号控制。更具体地，在由驱动电路217指定的定时处，光学传感器213连续地执行一系列操作以读取在指定的时间段期间累积的电荷。由此获得连续图像(运动图像)。根据本示例性实施例的成像装置110也能够捕获静止图像。
A/D转换器214对从光学传感器213接收的图像信号执行A/D转换，并将所得到的数字数据(图像数据)输出到图像处理电路215。图像处理电路215对从A/D转换器214接收的图像数据执行诸如白平衡校正和伽玛校正之类的图像校正。图像处理电路215还对已经经过图像校正的图像数据执行编码。编码方法的示例如上所述。图像处理电路215还生成上述全景图像并对全景图像执行滤波处理。
CPU 204控制整个成像装置110。例如，CPU 204通过经由RAM203执行存储在ROM205中的程序来控制成像装置110的整体操作。CPU 204执行例如信息计算和处理并控制每个硬件部件。RAM 203用作CPU 204的主存储器并用作加载和执行程序所需的工作存储器。ROM 205存储指定CPU 204的操作处理过程的程序。ROM 205包括程序ROM和数据ROM，程序ROM用于存储作为用于控制计算机系统的设备的系统程序的操作系统(OS)，数据ROM用于存储系统操作所需的信息。
接口(IF)206包括用户接口和通信接口。用户接口包括例如按钮和拨号盘，并且将用户输入操作接收到成像装置110。通信接口执行要向/从诸如连接到网络150的客户端装置120之类的外部装置发送和接收的数据的输入/输出控制。
当从网络150上的装置或接口206(用户接口)向成像装置110输入用于移动或旋转成像单元201的请求时，CPU 204指示驱动电路223执行所指示的移动和/或旋转。驱动电路223基于该指示控制致动器221。根据驱动电路223的控制，致动器221通过使用伺服马达或超声马达来旋转和/或移动成像单元201。运动检测电路222检测致动器221的运动量(移动量和旋转量)，并且在每个预定定时处将检测到的运动量记录在RAM 203中。
例如，成像装置110的硬件可以例如通过使用执行左右和上下方向上的操作的已知照相机硬件来实现，而不限于图2中所示的硬件。
图3示出客户端装置120的硬件配置的示例。
CPU 301控制整个客户端装置120。例如，CPU 301通过经由RAM 302执行存储在ROM303或硬盘驱动(HDD)305中的程序来控制客户端装置120的整体操作。CPU 301执行例如信息计算和处理并控制每个硬件部件。RAM 302用作CPU 301的主存储器并且用作加载和执行程序所需的工作存储器。
ROM 303存储指定CPU 301的操作和处理过程的程序。ROM303包括程序ROM和数据ROM，程序ROM用于存储作为用于控制计算机系统的设备的系统程序的操作系统(OS)，数据ROM用于存储系统操作所需的信息。可以使用HDD 305(下面描述)来代替ROM303。
接口304包括通信接口、输入接口和显示接口。通信接口执行向/从诸如连接到网络150的成像装置150之类的外部装置发送和接收的数据的输入/输出控制。输入接口是输入装置130和客户端装置120之间的接口。显示接口是显示装置140和客户端装置120之间的接口。
HDD 305存储执行图4和图9中所示的流程图的处理的应用程序的数据。输入/输出总线306被用于连接上述单元。输入/输出总线306包括例如地址总线、数据总线和控制总线。
客户端装置120的硬件例如可以通过使用诸如个人计算机之类的已知信息处理装置的硬件设备来实现，而不限于图3中所示的硬件。
下面将参考图4中所示的流程图来描述客户端装置120的处理的示例。给出对如下方法的示例的描述，在该方法中，客户端装置120在由成像装置110生成的全景图像的各区域中将捕获该区域时使用的成像装置110的成像方向显示为显示图案。例如，当CPU 301经由RAM 302执行存储在ROM 303或HDD 305中的程序时，实现图4中所示的流程图的处理。
根据本示例性实施例，作为步骤S400的预处理，控制单元122设置与成像装置110的成像方向(左右和上下值)对应的显示图案。然后，作为步骤S401至S405中的处理，控制单元122执行用于在全景图像上显示指示出上述成像方向的显示图案的处理。下面将详细描述各处理的示例。
在步骤S400中，控制单元122设置与成像装置110的成像方向(左右和上下值)对应的显示图案。根据本示例性实施例，控制单元122将成像装置110的驱动范围划分为以下五个范围(1)至(5)并自动设置与相应的五个驱动范围对应的显示图案。
(1)[-180度≦左右角度(值)<90度]且[0度≦上下角度(值)<45度]
(2)[-90度≦左右角度<0度]且[0度≦上下角度<45度]
(3)[0度≦左右角度<90度]且[0度≦上下角度<45度]
(4)[90度≦左右角度≦179度]且[0度≦上下角度<45度]
(5)[-180度≦左右角度≦179度]且[45度≦上下角度≦90度]
图5以表格形式示出成像装置110的成像方向(左右和上下值)与显示图案之间的关系的示例。图5中所示的关系通过步骤S400中的处理被存储在HDD 305中。
图5中示出的显示图案501至505指示出分别与上述驱动范围(1)至(5)相关联的显示图案。
下面将围绕要在全景图像中显示的显示图案包括点或线的情况的示例来描述本示例性实施例。然而，要在全景图像中显示的图案不限于此。显示图案可以是图形图案、颜色、表征成像装置110的成像方向的字符串或者它们中的任意两个的组合。
下面将围绕成像装置110的驱动范围基于对由成像装置110捕获的图像的图像处理的结果而被划分并且显示图案被与各划分驱动范围自动相关联的情况的示例来描述本示例性实施例。然而，成像装置110的驱动范围与显示图案的关联不限于此。例如，基于经由输入装置130的用户输入操作，可以确定与成像装置110的相应驱动范围对应的显示图案类型和划分之后的成像装置110的驱动范围中的至少任一个。此外，也可以预先生成并使用其中捕获的图像的成像方向和坐标(下面描述)相互关联的全景图像。例如，也可以通过应用诸如图切分和分水岭之类的区域分割算法来分割全景图像，基于分割的区域计算成像装置110的成像方向，并将成像装置110的驱动范围与相应区域相关联。
在步骤S401至S405中，控制单元122执行用于在全景图像上显示显示图案的处理。图6示出从侧面看到的成像装置110被安装在有窗户和门的房间中的状况的示例。图7示出通过在图6中所示的环境中在左右和上下方向上驱动成像装置110而生成的全景图像700的示例。在图7中所示的全景图像700中，横轴对应于左右方向上的驱动范围，并且纵轴对应于上下方向上的驱动范围。定义二维坐标系，其中全景图像700的左上角601是坐标原点，横轴是x轴，并且纵轴是y轴。全景图像700上的某个点的坐标由二维坐标(x，y)表示。
给出用于扫描全景图像并在全景图像上显示图案的处理的流程的示例的描述。
<处理1>
在步骤S401中，控制单元122将全景图像上的每个像素指派给二维坐标并且指定像素布置的开始位置。下面将围绕客户端装置120接收存储在信息存储单元114中的全景图像并且对全景图像执行处理的情况的示例来描述本示例性实施例。但是，并不总是需要以这种方式执行处理。例如，在执行步骤S401中的处理(处理1)之前，客户端装置120可以在改变左右和上下值的同时获取由成像装置110捕获的图像数据，并在客户端装置120内生成全景图像。
<处理2>
在步骤S402中，控制单元122获取与对于全景图像700指定的当前像素布置位置(坐标)对应的成像装置110的左右和上下值。在本示例性实施例中，如图7所示，使用其中横轴对应于左右并且纵轴对应于上下的全景图像。因此，通过将以下公式(1)应用于全景图像700上的某些坐标(x，y)，能够计算与坐标(x，y)对应的成像装置110的左右和上下值。
[式1]
参考公式(1)，W和H分别表示全景图像700的宽度和高度。Pmax和Pmin分别指示出成像装置110在左右方向上的驱动范围的最大值和最小值。Tmax和Tmin指示出成像装置110在上下方向上的驱动范围的最大值和最小值。下面将围绕基于全景图像的宽度、高度和坐标来计算成像装置110的左右和上下值的情况的示例来描述本示例性实施例。然而，用于导出成像装置110的左右和上下值的方法不限于此。下面将描述该方法的示例。首先，当生成全景图像时，创建用于相互相关联地存储全景图像的坐标与成像装置110的左右和上下值的表格。该表格可以由成像装置110或由客户端装置120生成。在步骤S402中，控制单元122通过参考该表格来导出成像装置110的左右和上下值(成像装置110的成像方向)。
<处理3>
控制单元122参考在步骤S400中设置的与成像装置110的成像方向(左右和上下值)对应的显示图案，并且确定与在步骤S402(处理2)中导出的成像装置110的左右和上下值对应的显示图案。在步骤S403中，控制单元122将所确定的显示图案指派给对于全景图像700指定的当前像素布置位置(坐标)。
<处理4>
在步骤S404中，控制单元122确定对于全景图像500指定的当前布置位置(坐标)是否是最后的布置位置(坐标)。在对于全景图像500指定的当前像素布置位置(坐标)被确定为是最后的像素布置位置(坐标)的情况下(步骤S404中为“是”)，处理退出图4中所示的流程图。
另一方面，当对于全景图像500指定的当前像素布置位置(坐标)不是最后的像素布置位置(坐标)时(步骤S404中为“否”)，则在步骤S405中，控制单元122指定下一像素布置位置(坐标)。然后，控制单元122在指定的像素布置位置(坐标)上执行上述在步骤S402和S403中的处理。以这种方式，控制单元122重复执行步骤S402至S405中的处理，直到显示图案被指派给全景图像500的所有像素布置位置(坐标)为止。
在本示例性实施例中，在完成上述图4中所示的处理之后，显示控制单元125在显示装置140上显示全景图像(叠加有显示图案的全景图像)。该配置使得能够向用户展示其中指示出成像装置110的成像方向的显示图案被显示的全景图像。
如上所述，在本示例性实施例中，控制单元122相互关联地存储成像装置110的成像方向的范围和显示图案。控制单元122识别在捕获全景图像的各区域(坐标)时使用的成像装置110的成像方向。然后，控制单元122以叠加的方式在全景图像上显示与识别出的成像装置110的成像方向对应的显示图案801至805，使得原始全景图像的区域的至少一部分变为视觉可识别的。图8示出其中指示出成像装置110的成像方向的显示图案801至805被显示的全景图像800的示例。如图8所示，显示图案801至805是半透明的，并且以叠加的方式显示在全景图像800上，使得原始全景图像800的区域的至少一部分变为视觉可识别的。
图8中所示的显示图案801至805指示出分别对应于成像装置110的驱动范围(1)至(5)的显示图案。向用户呈现用于显示全景图像800的这样的画面允许用户确定例如房间中的门存在于成像装置110的驱动范围(2)内。图5中所示的表格可以与具有图8中所示的显示图案的全景图像800一起显示在显示画面中。
上面已经围绕以下情况的示例具体描述了本示例性实施例，其中在横轴对应于左右方向上的驱动范围并且纵轴对应于上下方向上的驱动范围的全景图像中显示指示出成像装置110的成像方向的显示图案。然而，全景图像不限于此。例如，全景范围可以是由鱼眼透镜捕获的全景图像，或者可以是部分截取的全景图像。
上面已经围绕能够执行左右驱动和上下驱动的成像装置110中的处理方法具体描述了本示例性实施例。然而，成像装置110不限于能够执行左右驱动和上下驱动的成像装置。例如，如果在本示例性实施例的描述中，全景图像被捕获的图像替换，并且左右和上下值被所捕获的图像上的坐标替换，则本示例性实施例可应用于不具有执行左右和上下驱动的功能的成像装置。
上面已经围绕显示图案被叠加在全景图像上的情况的示例具体描述了本示例性实施例。然而，并不总是需要在全景图像上叠加显示图案。例如，当显示作为显示图案的表征成像装置110的成像方向的字符串时，以下处理也是可能的。用于全景图像的显示区域和用于显示图案的显示区域可以被分离地设置在一个画面中，并且可以将指示出成像装置110的成像方向和成像方向上的坐标范围的字符串显示为显示图案显示区域中的显示图案。代替该处理，可以在全景图像上显示表征成像装置110的成像方向的字符串。
第二示例实施例
下面将描述第二示例性实施例。如上所述，下面将围绕用于在成像装置的记录视频图像的时间线上显示成像装置的成像方向的方法的示例来描述本示例性实施例。本示例性实施例与第一示例性实施例的主要区别在于成像装置的成像方向上的显示目标。因此，在本示例性实施例的描述中，与第一示例性实施例中的元件相同的元件被指派与图1至图8中的元件相同的附图标记，并将省略其详细描述。例如，由于示出根据本示例性实施例的成像显示系统、成像装置110和客户端装置120的配置的图(图1至图3)与根据第一示例性实施例的图类似，因此将省略其详细描述。根据本示例性实施例，成像装置110的安装空间和地点以及左右和上下方向上的驱动范围类似于根据第一示例性实施例的那些。
以下将参考图9所示的流程图来描述客户端装置120的处理的示例。给出客户端装置120在记录视频图像的时间线上显示作为显示图案的成像装置110的成像方向的方法的示例的描述。例如，当CPU 301经由RAM 302执行存储在ROM 303或HDD 305中的程序时，实现图9中所示的流程图的处理。
根据本示例性实施例，在步骤S900中，作为预处理，控制单元122设置与成像装置110的成像方向(左右和上下值)对应的显示图案。在步骤S901至S905中，控制单元122在记录视频图像的时间线上显示根据第一示例性实施例的指示出成像装置110的成像方向的显示图案。下面将详细描述根据本示例性实施例的处理的示例。
在步骤S900中，控制单元122设置与成像装置110的成像方向(左右和上下值)对应的显示图案。控制单元122执行例如与根据第一示例性实施例的图4中所示的步骤S400中的处理类似的处理，并将关于图5中所示的关系的信息存储在HDD 305中。
在步骤S901至S905中，控制单元122在时间线上显示显示图案。图10示出时间线的示例和用于显示时间线上指定的时间(再现位置)处的记录视频图像的用户界面的示例。显示控制单元125在控制单元122的控制下执行以下处理。显示控制单元125显示用于在时间线1002上方显示记录时间的记录时间显示部分1001。显示控制单元125还在时间线1002上显示指示出是否存在记录视频图像的记录时间段显示部分1003，用于指定要显示在记录视频图像显示部分1000上的记录视频图像的记录时间的记录时间指定部分1004。显示控制单元125在记录视频图像显示部分1000上显示在由记录时间指定部分1004指定的记录时间处的记录视频图像。
给出在时间线1002上显示显示图案的处理的流程的示例的描述。
<处理1>
在步骤S901中，控制单元122指定记录视频图像的开始帧。下面将围绕客户端装置120接收存储在信息存储单元114中的记录视频图像并且对记录视频图像执行处理的情况的示例来描述本示例性实施例。但是，并不总是需要以这种方式执行处理。例如，在执行步骤S901中的处理(处理1)之前，客户端装置120可以获取由成像装置110捕获的图像数据，并将记录视频图像存储在客户端装置120内。
<处理2>
在步骤S902中，控制单元122获取当成像装置110捕获记录视频图像的指定的帧时使用的左右和上下值。根据本示例性实施例，控制单元122被假设为获取成像装置110中的作为记录视频图像的各帧的头部中的元数据而预先存储的左右和上下值。然而，用于获取成像装置110的左右和上下值的方法不限于此。该方法的示例将在下面进行描述。在记录捕获的图像时，控制单元122生成用于将记录视频图像的各帧与成像装置110的左右和上下值相互关联地存储的表格。该表格可以由成像装置110生成或由客户端装置120生成。在步骤S902中，控制单元122通过参考上述表格来导出成像装置110的左右和上下值(成像装置110的成像方向)。
<处理3>
控制单元122通过参考在步骤S900中设置的与成像装置110的成像方向(左右和上下值)对应的显示图案来确定与在步骤S902(处理2)中获取的成像装置110的左右和上下值对应的显示图案。在步骤S903中，控制单元122在时间线1002上的指示出对于记录视频图像指定的当前布置(帧)的区域中指派所确定的显示图案。
<处理4>
在步骤S904中，控制单元122确定对于记录视频图像当前指定的帧是否是最后的帧。作为确定的结果，在对于记录视频图像当前指定的帧是最后的帧的情况下(步骤S904中为“是”)，处理退出图9中所示的流程图。
另一方面，在对于记录视频图像当前指定的帧不是最后的帧的情况下(步骤S904中为“否”)，则在步骤S905中，控制单元122指定下一帧。然后，控制单元122对指定的帧执行上述步骤S902和S903中的处理。如上所述，控制单元122重复执行步骤S902至S905中的处理，直到显示图案被指派给记录视频图像的所有帧为止。
在本示例性实施例中，在完成上述图10中所示的处理之后，显示控制单元125在显示装置140上显示已经经历了处理的时间线(叠加了显示图案的时间线)。这使显示装置104能够向用户呈现其上指示出成像装置110的成像方向的显示图案被显示的时间线。
如上所述，在本示例性实施例中，控制单元122识别当捕获记录视频图像的各帧时使用的成像装置110的成像方向。然后，显示控制单元125以叠加的方式在时间线上显示与成像装置110的指定的成像方向对应的显示图案1101至1105，使得原始时间线的内容和记录时间指定部分1004的至少一部分变得视觉可识别。图11示出其上指示出成像装置110的成像方向的图案被显示的时间线1100的示例。
根据第一示例性实施例，图11中所示的显示图案1101至1105指示出分别与成像装置110的驱动范围(1)至(5)对应的显示图案。向用户呈现用于显示时间线1100的这样的画面允许用户确定例如在成像装置110面向驱动范围(4)的方向时捕获的记录视频图像存在于显示在时间线1100上的显示图案1104中。
以上已经围绕多个连续帧的图像(记录视频图像)的时间线被显示为用于选择图像的对象的示例的情况的示例描述了本示例性实施例。然而，并不总是需要显示多个连续帧的图像或显示时间线。例如，也可以显示多个图像中的每一个的缩略图图像作为用于选择多个图像中的任意一个图像的对象的示例。多个图像可以是运动图像的帧的图像，或者可以是静止图像。在这种情况下，显示控制单元125与捕获与缩略图图像对应的图像时使用的成像装置110的成像方向对应地，以叠加的方式在多个缩略图图像上显示上述显示图案。然后，显示控制单元125以放大的方式显示由用户从多个缩略图图像中选择的图像。在这种情况下，可以允许用户仅选择多个缩略图图像中的一个，或者同时选择其中的至少两个。在本示例性实施例中也可以采用与第一示例性实施例对应的修改。另外，在时间指定部分1004的附近显示与部分1004的位置对应的左右和上下值中的至少一个是有用的。
第三示例性实施例
下面将描述第三示例性实施例。如上所述，下面将围绕方法的示例来描述本示例性实施例。更具体地，用户通过在全景图像上绘制矩形来指定成像装置的成像方向，并且在记录视频图像的时间线上显示在指定的成像方向上的图像的记录时间段。
在本示例性实施例的描述中，与第一示例性实施例中相同的元件被指派与图1至图10中的元件相同的附图标记，并且将省略其详细描述。例如，根据本示例性实施例的成像显示系统、成像装置110和客户端装置120的配置(图1至图3)与根据第一示例性实施例的成像显示系统、成像装置110和客户端装置120的配置类似，并且将省略其详细描述。根据本示例性实施例，成像装置110的安装空间和地点以及左右和上下方向上的驱动范围类似于根据第一示例性实施例的那些。
下面将参考图12中所示的流程图来描述客户端装置120的处理的示例。给出客户端装置120在记录视频图像的时间线上显示包括由用户指定的全景图像上的坐标范围的视频图像的记录时间段的方法的示例的描述。例如，当CPU 301经由RAM 302执行存储在ROM303或HDD 305中的程序时，实现图12中所示的流程图的处理。
在步骤S1200中，输入获取单元124接收由用户指定的全景图像上的坐标。根据本示例性实施例，用户在全景图像上指定期望范围并且将指定范围内的多个坐标处理为一个坐标集。坐标集可以只包括一个坐标。
根据本示例性实施例，当用户通过操作输入装置130来执行在全景图像600上的拖动时，输入获取单元124输入关于拖动位置的信息。显示控制单元125绘制具有连接拖动的起点和终点的直线作为对角线的矩形，并指示显示装置140显示该矩形。控制单元122还识别矩形内存在的坐标集。用于识别由用户指定的全景图像上的坐标集的方法不限于此。
例如，控制单元122可以识别由用户在全景图像600上执行的拖动的轨迹内存在的坐标集。用户可以重复地在全景图像600上执行点击。在这种情况下，输入获取单元124输入关于点击位置的信息。显示控制单元125绘制与点击位置对应的曲线(样条曲线、贝塞尔曲线等)，并指示显示装置140显示曲线。控制单元122识别存在于曲线内侧的坐标集。另外，显示控制单元125预先在全景图像600上绘制诸如矩形和圆形之类的各种图形图案，并且指示显示装置140显示图形图案，并且基于由用户在图形图案上执行的拖动操作来变换和移动图形图案。在这种情况下，控制单元122识别存在于变换和移动后的图形图案内的坐标集。
根据本示例性实施例，假定用户能够通过使用上述方法在全景图像600上重复指定坐标集来在全景图像600上指定多个坐标集。但是，在这种情况下，各坐标集被假定为一组相互不同的坐标。
在步骤S1201中，显示控制单元125在步骤S1200中接收的全景图像600上的坐标上显示显示图案。图13以表格形式示出在步骤S1200中接收的全景图像600上的坐标范围与要显示在范围中的显示图案之间的关系的示例。
下面将围绕要在全景图像600中显示的显示图案包括点和线的情况的示例来描述本示例性实施例。但是，显示图案不限于此。显示图案可以是图形图案、颜色、字符串或其中任意两个的组合。
根据本示例性实施例，控制单元122自动地将显示图案1304至1306分别与全景图像600上的坐标范围1301至1303相关联。然而，将显示图案1304至1306分别与全景图像600上的坐标范围1301至1303相关联的方法不限于此。例如，控制单元122可以通过使用转换方法(下面描述)基于全景图像600上的坐标范围中的重心坐标来计算成像装置110的成像方向(左右和上下值)。在这种情况下，控制单元122能够基于所计算的左右值来确定显示图案的条纹的倾斜度，并且基于上下值来确定显示图案的条纹之间的距离。基于用户经由输入装置130的输入操作，控制单元122能够确定显示图案，并且确定显示图案与全景图像上的坐标范围之间的关联。
图14示出所显示的全景图像600的示例，其中，显示图案被叠加在全景图像600上的坐标范围1401至1403上。全景图像600上的坐标范围1401至1403是由用户在步骤S1200中指定的范围。假定显示图案1304至1306分别与坐标范围1401至1403相关联。如图14中所示，显示图案与全景图像600上的坐标范围1401至1403相关联，使得原始全景图像的区域的至少一部分变为视觉可识别的。
在步骤S1202至S1207中，控制单元122执行用于在时间线上显示显示图案的处理。时间线的示例和用于显示时间线上指定的时间(再现位置)处的记录视频图像的用户界面的示例如图10中所示。
给出用于在时间线1002上显示显示图案(指示出用户指定范围中的图像的记录时间段的显示图案)的处理的流程的示例的描述。
<处理1>
在步骤S1202中，控制单元122指定记录视频图像的开始帧。下面将围绕客户端装置120接收存储在信息存储单元114中的记录视频图像并且对记录视频图像执行处理的情况的示例来描述本示例性实施例。但是，并不总是需要以这种方式执行处理。例如，在执行步骤S1202中的处理(处理1)之前，客户端装置120可以获取由成像装置110捕获的图像数据，并将记录视频图像存储在客户端装置120内。
<处理2>
在步骤S1203中，控制单元122获取当捕获对于记录视频图像当前指定的帧时使用的成像装置110的左右和上下值。根据本示例性实施例，控制单元122被假定为获取成像装置110中的作为记录视频图像的各帧的头部中的元数据被预先存储的左右和上下值。然而，用于获取成像装置110的左右和上下值的方法不限于此。该方法的示例将在下面进行描述。在记录捕获的图像时，控制单元122生成用于将记录视频图像的各帧与成像装置110的左右和上下值相互关联地存储的表格。该表格可以由成像装置110生成或由客户端装置120生成。在步骤S1203中，控制单元122通过参考上述表格来导出成像装置110的左右和上下值(成像装置110的成像方向)。
<处理3>
在步骤S1204中，控制单元122将在步骤S1203(处理2)中获取的左右和上下值转换为全景图像600上的坐标。如图6中所示，本示例性实施例使用其中横轴对应于左右且纵轴对应于上下的全景图像。因此，将以下公式(2)和(3)应用于成像装置110的左右和上下值使得控制单元122能够计算与成像装置110的左右和上下值对应的全景图像600上的坐标(x，y)。
[式2]
[式3]
参考公式(2)和(3)，W和H分别表示全景图像600的宽度和高度，Pmax和Pmin分别表示成像装置110在左右方向上的驱动范围的最大值和最小值，Tmax和Tmin分别表示成像装置110在上下方向上的驱动范围的最大值和最小值，Pan和Tilt分别表示左右和上下值。下面将围绕基于全景图像600的宽度、高度和坐标来计算与成像装置110的左右和上下值对应的全景图像600上的坐标(x，y)的情况的示例来描述本示例性实施例。然而，用于导出与成像装置110的左右和上下值对应的全景图像600上的坐标(x，y)的方法不限于此。下面将描述该方法的示例。首先，当生成全景图像时，控制单元122生成用于将全景图像的坐标与成像装置110的左右和上下值相互相关联地存储的表格。该表格可以由成像装置110生成或由客户端装置120生成。在步骤S1204中，控制单元122通过参考上述表格来导出与成像装置110的左右和上下值对应的全景图像600上的坐标(x，y)。
<处理4>
基于全景图像600上的坐标范围与要在全景图像600上显示的显示图案之间的关系(参见图13)，控制单元122参考与在处理3(步骤S1204)中转换的全景图像600上的坐标(x，y)对应的显示图案。在步骤S1205中，控制单元122将由控制单元122参考的显示图案指派给时间线1002上的指示出当前指定帧的区域。当没有与在处理3(步骤S1204)中转换的全景图像上的坐标(x，y)对应的显示图案时，控制单元122不将显示图案指派给坐标(x，y)。
<处理5>
在步骤S1206中，控制单元122确定对于记录视频图像当前指定的帧是否是最后的帧。作为确定的结果，在对于记录视频图像当前指定的帧是最后的帧的情况下(步骤S1206中为“是”)，处理退出图12中所示的流程图。
另一方面，在对于记录视频图像当前指定的帧不是最后的帧的情况下(步骤S1206中为“否”)，在步骤S1207中，控制单元122指定下一帧。然后，控制单元122对指定的帧执行上述步骤S1203至S1205中的处理。如上所述，控制单元122重复执行步骤S1203至S1205中的处理，直到显示图案被指派给时间线上的与构成记录视频图像的所有帧对应的区域为止。
在本示例性实施例中，在完成上述图12中所示的处理之后，显示控制单元125在显示装置140上显示已经经历了处理的时间线(叠加了显示图案的时间线)。
如上所述，在本示例性实施例中，控制单元122将由用户在全景图像上指定的区域和显示图案相互相关联地存储在存储单元121中。控制单元122识别由用户在全景图像上指定的区域。然后，显示控制单元125以叠加的方式在时间线上显示与指定的成像区域对应的显示图案1501至1503，使得原始时间线的内容和记录时间指定部分1004的至少一部分变得视觉可识别。图15示出显示出在由用户指定的全景图像上的坐标范围1401至1403中的图像的存储时间段的时间线1002的示例。
图15中所示的显示图案1501至1503指示出分别与全景图像上的坐标范围1401至1403对应的显示图案。向用户呈现用于显示时间线1002的这样的画面允许用户确定例如在由时间线1002上显示的显示图案1501所指示的时段中存在已经记录了全景图像上的坐标范围1401的图像。这允许用户直观地识别展现出期望区域的图像。
以上已经围绕多个连续帧的图像(记录视频图像)的时间线被显示为用于选择图像的对象的示例的情况的示例描述了本示例性实施例。然而，并不总是需要显示多个连续帧的图像或显示时间线。例如，也可以显示多个图像中的每一个的缩略图图像作为用于选择多个图像中的任意一个的对象的示例。多个图像可以是运动图像的帧的图像，或者可以是静止图像。在这种情况下，例如，在由用户指定的区域被展现在与缩略图图像对应的图像中的情况下，可以以叠加的方式在缩略图图像上显示与该区域对应的显示图案。然后，显示控制单元125以放大的方式显示由用户从多个缩略图图像中选择的图像。在这种情况下，可以允许用户仅选择多个缩略图图像中的一个，或者同时选择其中的至少两个。
以上围绕在时间线上叠加显示图案的情况的示例具体描述了本示例性实施例。但是，并不总是需要在时间线上叠加显示图案。例如，在将全景图像600上的坐标范围1401至1403和指示出范围的记录时间段的字符串显示为显示图案时，可以在时间线的外部(例如，在时间线下方)显示字符串。
第四示例性实施例
下面将描述第四示例性实施例。如上所述，下面将围绕使用能够存储作为预设信息的成像方向和成像范围的成像装置的情况来描述本示例性实施例。以下将围绕这种成像装置中的方法的示例来描述本示例性实施例。具体地，用户指定预设号码，并且该方法在成像装置的记录视频图像的时间线上显示在与指定的预设号码对应的成像方向和成像范围上捕获的视频图像的记录时间段。如上所述，本示例性实施例与第三示例性实施例的不同之处在于用于指定全景图像上的坐标范围的方法。因此，在本示例性实施例的描述中，与第一示例性实施例中的元件相同的元件被指派与图1至图10中的元件相同的附图标记，并且将省略其详细描述。例如，根据本示例性实施例的成像显示系统、成像装置110和客户端装置120的配置(图1至图3)与根据第一示例性实施例的成像显示系统、成像装置110和客户端装置120的配置类似，并且将省略其详细描述。根据本示例性实施例，成像装置110的安装空间和地点以及左右和上下方向上的驱动范围类似于根据第一示例性实施例的那些。
以下将参考图16中所示的流程图来描述客户端装置120的处理的示例。以下描述客户端装置120基于由用户指定的预设号码来计算成像装置110的成像方向并且在记录视频图像的时间线上显示计算的成像方向上的视频图像的记录时间段的方法的示例。例如，当CPU 301经由RAM 302执行存储在ROM 303或HDD 305中的程序时，实现图16中所示的流程图的处理。
在步骤S1600中，输入获取单元124接收由用户指定的预设号码。在控制单元122的控制下，通信控制单元123向成像装置110请求与接收到的预设号码对应的预设信息。信息存储单元114存储包括成像装置110的成像方向和成像范围的预设信息作为设置信息的示例。在接收到来自客户端装置120的指令时，通信控制单元115提取关于记录视频图像(全景图像)的各帧的信息和存储在信息存储单元114中的预设信息，并将这些信息发送到客户端装置120。下面将围绕客户端装置120从成像装置110接收与由用户指定的预设号码对应的预设信息的情况的示例来描述本示例性实施例。然而，用于获取预设信息的方法不限于此。预设信息可以被存储在客户端装置120中。
在步骤S1601中，显示控制单元125在全景图像上显示当与在步骤S1600中接收的预设号码对应的预设信息(成像方向和成像范围)被应用于成像装置110时要展示的范围。根据本示例性实施例，控制单元122通过使用公式(1)和(2)将存储在预设信息中的成像方向(左右和上下值)转换为全景图像上的坐标(x，y)。然后，控制单元122提取关于存储在预设信息中的成像范围的信息，并分别使用以下公式(4)和(5)来确定全景图像上的范围的宽度和高度。在本示例性实施例中，如上所述地识别与预设号码对应的区域的位置和大小。
[式4]
[式5]
参考公式(4)和(5)，W表示全景图像600的宽度，Pmax和Pmin分别表示成像装置110在左右方向上的驱动范围的最大值和最小值，R表示捕获的图像的纵横比，并且zoom表示成像装置110的变焦倍率。
显示控制单元125在全景图像600上绘制以坐标(x，y)为中心的具有宽度和高度的矩形，并指示显示装置140显示该矩形。
然后，控制单元122将显示图案指派给在步骤S1601中显示的矩形中的坐标集。在步骤S1602中，显示控制单元125在全景图像600上的相应范围中绘制由控制单元122指派的显示图案，并指示显示装置140显示显示图案。如在第一示例性实施例中那样，控制单元122管理作为坐标集的存在于矩形中的坐标，并且如图7中所示，同样在本示例性实施例中，生成全景图像600上的坐标范围与要在全景图像600上的相应范围中显示的显示图案之间的关系。通过以这种方式执行处理，全景图像600上的范围可以与要在全景图像600上的相应范围中显示的显示图案相关联。
在步骤S1603至S1608中，控制单元122执行用于在时间线上显示显示图案的处理。根据本示例性实施例，与第一示例性实施例类似，控制单元122确定存储在记录视频图像的帧中的成像方向是否包括在全景图像600上显示的范围中。更具体地，步骤S1603至S1608中的处理可以分别通过步骤S1202至S1207中的处理来实现。因此，将省略这些处理的详细描述。
执行上述处理也提供了第三示例性实施例中描述的有利效果。在本示例性实施例中，也可以采用与第三示例性实施例对应的修改。
应该认为上述示例性实施例在实现本发明时是说明性的，而不是限制本发明的范围。在不脱离本发明的技术思想或基本特征的情况下，可以以各种形式来实现本发明。
其它示例性实施例
本发明还通过执行以下处理来实现。更具体地，用于实现上述示例性实施例的功能的软件(计算机程序)经由网络或各种类型的存储介质被供给到系统或装置，并且系统或装置的计算机(或CPU或微处理单元(MPU))读取并执行该计算机程序。
本发明的一个或多个实施例也可以由读出并执行在存储介质(其也可被更完整地称作‘非暂时性计算机可读存储介质’)上记录的计算机可执行指令(例如，一个或多个程序)以执行上述实施例中的一个或多个实施例的功能和/或包括用于执行上述实施例中的一个或多个实施例的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机来实现，以及通过由系统或装置的计算机例如通过读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或多个实施例的功能并且/或者控制一个或多个电路以执行上述实施例中的一个或多个实施例的功能来执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))并且可以包括用来读出并执行计算机可执行指令的单独计算机或单独处理器的网络。计算机可执行指令可以例如从网络或者存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储装置、光盘(诸如紧凑盘(CD)、数字多用途盘(DVD)或者蓝光盘(BD)TM)、闪存装置、存储卡等中的一个或多个。
虽然已经参考示例性实施例描述了本发明，但是应该理解，本发明不限于所公开的示例性实施例。所附权利要求的范围应被赋予最宽泛的解释以涵盖所有这些修改以及等同的结构和功能。
本申请要求于2015年12月2日提交的日本专利申请No.2015-236065和于2015年12月2日提交的日本专利申请No.2015-236066的权益，其全部内容通过引用合并于此。

Claims (12)

1.一种图像再现装置，包括：
显示处理单元，被配置成处理指示出如下时间段的时间线的显示，在所述时间段期间，由能够改变成像方向的照相机捕获的图像被记录，时间线上的时间段的显示是取决于成像方向而被处理的；以及
图像再现单元，被配置成再现与在时间线上指定的时间对应的图像。
2.根据权利要求1所述的图像再现装置，
其中，显示处理单元执行用于进一步显示全景图像的处理，该全景图像是通过组合在成像方向改变时捕获的多个图像而被生成的，并且其中，与成像方向对应地，显示处理单元执行用于相互关联地显示全景图像上的区域和时间线上的图像被记录的时间段的处理。
3.根据权利要求1所述的图像再现装置，其中，显示处理单元执行用于在时间段上显示与照相机的成像方向对应的显示图案的处理。
4.根据权利要求2所述的图像再现装置，其中，与在全景图像上的对成像方向的指定对应地，显示处理单元执行用于显示与所指定的成像方向对应的时间段以便能够区分于与未指定的其他成像方向对应的时间段的处理。
5.一种图像再现方法，包括：
用于显示指示出如下时间段的时间线的处理，在所述时间段期间，由能够改变成像方向的照相机捕获的图像被记录，时间线上的时间段的显示是取决于成像方向而被处理的；以及
再现与在时间线上指定的时间对应的图像。
6.根据权利要求5所述的图像再现方法，其中，在用于显示的处理中，处理通过组合在成像方向改变时捕获的多个图像而生成的全景图像的显示，并且与成像方向对应地，执行用于相互关联地显示全景图像上的区域和时间线上的图像被记录的时间段的处理。
7.根据权利要求5所述的图像再现方法，其中，在用于显示的处理中，执行用于在时间段上显示与照相机的成像方向对应的显示图案的处理。
8.根据权利要求6所述的图像再现方法，其中，与在全景图像上的对成像方向的指定对应地，在用于显示的处理中，执行用于显示与所指定的成像方向对应的时间段以便能够区分于与未指定的其他成像方向对应的时间段的处理。
9.一种非暂时性计算机可读介质，存储用于使计算机执行图像再现方法的程序，所述图像再现方法包括：
用于显示指示出如下时间段的时间线的处理，在所述时间段期间，由能够改变成像方向的照相机捕获的图像被记录，时间线上的时间段的显示是取决于成像方向而被处理的；以及
再现与在时间线上指定的时间对应的图像。
10.根据权利要求9所述的非暂时性计算机可读介质，其中，在用于显示的处理中，处理通过组合在成像方向改变时捕获的多个图像而生成的全景图像的显示，并且与成像方向对应地，执行用于相互关联地显示全景图像上的区域和时间线上的图像被记录的时间段的处理。
11.根据权利要求9所述的图像再现方法，其中，在用于显示的处理中，执行用于在时间段上显示与照相机的成像方向对应的显示图案的处理。
12.根据权利要求10所述的图像再现方法，其中，与在全景图像上的对成像方向的指定对应地，在用于显示的处理中，执行用于显示与所指定的成像方向对应的时间段以便能够区分于与未指定的其他成像方向对应的时间段的处理。
CN201680070482.5A 2015-12-02 2016-11-25 显示处理装置、显示处理方法和用于执行显示处理方法的计算机可读介质 Pending CN108293107A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2015-236065 2015-12-02
JP2015-236066 2015-12-02
JP2015236066A JP2017103652A (ja) 2015-12-02 2015-12-02 情報処理装置、情報処理方法、およびプログラム
JP2015236065A JP2017103651A (ja) 2015-12-02 2015-12-02 情報処理装置、情報処理方法、およびプログラム
PCT/JP2016/004956 WO2017094241A1 (en) 2015-12-02 2016-11-25 Display processing apparatus, display processing method, and computer-readable medium for executing display processing method

Publications (1)

Publication Number Publication Date
CN108293107A true CN108293107A (zh) 2018-07-17

Family

ID=58796770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680070482.5A Pending CN108293107A (zh) 2015-12-02 2016-11-25 显示处理装置、显示处理方法和用于执行显示处理方法的计算机可读介质

Country Status (4)

Country Link
US (1) US20180376058A1 (zh)
EP (1) EP3384669A4 (zh)
CN (1) CN108293107A (zh)
WO (1) WO2017094241A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3869788A1 (en) * 2020-02-19 2021-08-25 Ricoh Company, Ltd. Image capturing device, image communication system, method for display control, and carrier means

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060195876A1 (en) * 2005-02-28 2006-08-31 Canon Kabushiki Kaisha Visualizing camera position in recorded video
US20090262195A1 (en) * 2005-06-07 2009-10-22 Atsushi Yoshida Monitoring system, monitoring method and camera terminal
CN101588451A (zh) * 2008-05-20 2009-11-25 索尼株式会社 图像拾取设备和方法、再现控制设备和方法、及程序
US20100228418A1 (en) * 2009-03-04 2010-09-09 Honeywell International Inc. System and methods for displaying video with improved spatial awareness
CN102668539A (zh) * 2009-12-28 2012-09-12 索尼公司 摄像设备、方位记录方法以及程序

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005268871A (ja) * 2004-03-16 2005-09-29 Canon Inc 監視システムおよび監視システムの操作履歴表示方法
US20080130949A1 (en) * 2006-11-30 2008-06-05 Ivanov Yuri A Surveillance System and Method for Tracking and Identifying Objects in Environments
AU2007237206B2 (en) * 2007-11-27 2009-12-10 Canon Kabushiki Kaisha Method, apparatus and system for displaying video data
ITMI20091600A1 (it) * 2009-09-18 2011-03-19 March Networks Corp Tolleranza ai guasti in un sistema di video sorveglianza
US20110157431A1 (en) * 2009-12-28 2011-06-30 Yuri Ivanov Method and System for Directing Cameras

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060195876A1 (en) * 2005-02-28 2006-08-31 Canon Kabushiki Kaisha Visualizing camera position in recorded video
US20090262195A1 (en) * 2005-06-07 2009-10-22 Atsushi Yoshida Monitoring system, monitoring method and camera terminal
CN101588451A (zh) * 2008-05-20 2009-11-25 索尼株式会社 图像拾取设备和方法、再现控制设备和方法、及程序
US20100228418A1 (en) * 2009-03-04 2010-09-09 Honeywell International Inc. System and methods for displaying video with improved spatial awareness
CN102668539A (zh) * 2009-12-28 2012-09-12 索尼公司 摄像设备、方位记录方法以及程序

Also Published As

Publication number Publication date
WO2017094241A1 (en) 2017-06-08
EP3384669A4 (en) 2019-07-10
EP3384669A1 (en) 2018-10-10
US20180376058A1 (en) 2018-12-27

Similar Documents

Publication Publication Date Title
JP5109803B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR101231469B1 (ko) 이미지 처리 지원 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
US20120092529A1 (en) Method for processing an image and an image photographing apparatus applying the same
KR102280000B1 (ko) 표시 제어 장치, 표시 제어 방법 및 저장 매체
CN108989663B (zh) 控制装置、摄像系统及控制方法
KR102492670B1 (ko) 화상 처리 장치, 화상 처리 방법 및 기억 매체
KR20190039774A (ko) 가상 시점 화상의 생성에 관한 정보 처리 장치, 방법 및 프로그램
JP5966584B2 (ja) 表示制御装置、表示制御方法およびプログラム
JP6544996B2 (ja) 制御装置及び制御方法
JP2009258005A (ja) 三次元測定装置及び三次元測定方法
CN108293107A (zh) 显示处理装置、显示处理方法和用于执行显示处理方法的计算机可读介质
JP5042251B2 (ja) 画像処理装置および画像処理方法
JP2006191408A (ja) 画像表示プログラム
JP2005252739A (ja) 静止画像生成装置およびその方法
JP6157094B2 (ja) 通信装置、設定装置、通信方法、設定方法、及び、プログラム
JP6545229B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
JP5744642B2 (ja) 画像処理装置および画像処理方法、プログラム。
JP6580213B1 (ja) 画像処理装置、撮影装置、画像処理方法、およびプログラム
JP2005217721A (ja) 静止画像生成装置および生成方法
JP7136222B2 (ja) 物体追跡装置、物体追跡方法、およびプログラム
JP2017103651A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2018060392A (ja) 画像合成装置、画像合成方法、及び画像合成システム
JP6679784B2 (ja) 画像処理装置及び画像処理方法
JP2017103652A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2006197100A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180717

WD01 Invention patent application deemed withdrawn after publication