CN108243310B - 信息处理装置和信息处理方法 - Google Patents

信息处理装置和信息处理方法 Download PDF

Info

Publication number
CN108243310B
CN108243310B CN201711432815.7A CN201711432815A CN108243310B CN 108243310 B CN108243310 B CN 108243310B CN 201711432815 A CN201711432815 A CN 201711432815A CN 108243310 B CN108243310 B CN 108243310B
Authority
CN
China
Prior art keywords
image
information processing
partial
display control
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711432815.7A
Other languages
English (en)
Other versions
CN108243310A (zh
Inventor
柳泽孝文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN108243310A publication Critical patent/CN108243310A/zh
Application granted granted Critical
Publication of CN108243310B publication Critical patent/CN108243310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Closed-Circuit Television Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及信息处理装置信息处理方法。该信息处理装置显示与由摄像单元所拍摄到的图像数据有关的图像，并且包括：第一显示控制单元，其将第一对象叠加在所述图像上，所述第一对象指示与部分图像相对应的位置，并且所述部分图像与由所述摄像单元所拍摄到的图像的部分相对应；以及第二显示控制单元，其将第二对象叠加在所述图像上，所述第二对象指示所述部分图像的位置能够在所述图像上移动的方向。

Description

信息处理装置和信息处理方法
技术领域
本公开涉及信息处理装置和信息处理方法。
背景技术
近年来，随着网络照相机市场的扩张，已经制造出各种类型的网络照相机。一种类型的网络照相机可以是全向网络照相机(即下文中的“全向照相机”)，其包括附接的鱼眼镜头，使得用户具有360度视角、而没有任何死角/死点。
由这样的全向照相机拍摄到的图像严重扭曲，这并不适合于监视应用。一般地，为了解决该问题，一起显示“鱼眼图像”和“分割图像”，其中，鱼眼图像显示全部视场，并且分割图像显示通过对鱼眼图像的一部分进行分割和去扭曲(dewarp)而获得的较不扭曲的图像，如正常照相机所拍摄到的图像。然而，当一起显示分割图形和鱼眼图像时，不容易认识到它们之间的位置关系。
为了解决这一问题，提供了显示鱼眼图像的哪一部分被切割出以得到分割图像的技术，如日本特开2016-63397所述。
当监视对象移动时，负责监视的人能够通过对处于分割位置处的图像(即下文的“分割图像”)进行平摇-俯仰(pan-tilt)操作来跟踪监视对象。在这种情况下，如果全向照相机被安装在天花板上，则当对分割图像进行平摇操作时，平摇操作在鱼眼图像上以从当前分割位置到鱼眼的中心的线作为半径的圆的圆周上移动。当对分割图像进行俯仰操作时，俯仰操作能够沿着连接当前位置和鱼眼的中心的直线移动。
这可能导致难以认识到一个图像与对应于该图像的一部分的图像之间的位置关系。
发明内容
一种信息处理装置，其显示与由摄像单元所拍摄到的图像数据有关的图像，其特征在于，所述信息处理装置包括：第一显示控制单元，其被配置为将第一对象叠加在所述图像上，所述第一对象指示与部分图像相对应的位置，所述部分图像与由所述摄像单元所拍摄到的所述图像的一部分相对应；以及第二显示控制单元，其被配置为将第二对象叠加在所述图像上，所述第二对象指示所述部分图像的位置能够在所述图像上移动的方向。
一种信息处理方法，其由信息处理装置执行，所述信息处理装置用于显示与由摄像单元所拍摄到的图像数据有关的图像，其特征在于，所述信息处理方法包括：将第一对象叠加在所述图像上，所述第一对象指示与部分图像相对应的位置，所述部分图像与由所述摄像单元所拍摄到的所述图像的一部分相对应；以及将第二对象叠加在所述图像上，所述第二对象指示所述部分图像的位置能够在所述图像上移动的方向。
一种信息处理装置，其显示与由摄像单元所拍摄到的图像数据有关的图像，其特征在于，所述信息处理装置包括：显示控制单元，其被配置为将指示部分图像的位置能够移动的方向的对象叠加在所述图像上，其中所述部分图像与由所述摄像单元所拍摄到的所述图像的一部分相对应。
根据参考附图对示例性实施例的以下说明，其他特征将变得显而易见。
附图说明
图1示出了信息处理系统的示例性系统配置。
图2示出了照相机服务器的示例性硬件配置。
图3示出了查看器客户端的示例性硬件配置。
图4A和图4B示出了照相机服务器的示例性软件配置。
图5A和图5B示出了根据第一实施例的指示分割图像的移动方向的示例标记。
图6A和图6B示出了查看器客户端的示例性软件配置。
图7A和图7B示出了根据第一实施例的示例GUI。
图8是示出根据第一实施例的示例性信息处理的流程图。
图9A和图9B示出了根据第二实施例的示例GUI。
图10A和图10B示出了根据第三实施例的示例GUI
图11是示出根据第三实施例的示例性信息处理的流程图。
图12A和图12B示出了根据第四实施例的示例GUI。
图13A和图13B示出了在图像数据上显示的示例俯仰辅助线。
具体实施方式
以下将参考附图来说明实施例。例如将根据以下实施例来说明使用鱼眼镜头拍摄到的鱼眼图像和从鱼眼图像分割出的图像(部分图像)。这些实施例也适用于PZT(平摇、俯仰、变焦)照相机，其中，利用所述PZT照相机，可以将摄像方向改变到平摇方向和俯仰方向。在这种情况下，可以使用鱼眼图像来替换表示通过将摄像方向改变到平摇方向和俯仰方向而能够拍摄到的最大范围的全景图像。可以使用分割图像(部分图像)来替换当前正在拍摄的图像。这些实施例也适用于由不支持PT驱动的固定照相机获得的拍摄图像以及从所拍摄的图像切割出的图像。
第一实施例
图1示出了信息处理系统的示例性系统配置。
信息处理系统100包括照相机服务器110、查看器客户端120以及网络130。照相机服务器110和查看器客户端120是示例信息处理装置。
照相机服务器110将由照相机(网络照相机)拍摄到的图像的图像数据通过网络130进行分布。
查看器客户端120被配置为访问照相机服务器110、改变照相机的设置、例如处理利用照相机进行摄像而获得的图像数据或者处理存储的图像数据、以及基于所处理的图像数据来显示图像。
图1所示的信息处理系统100仅包括查看器客户端120作为客户端。然而，除查看器客户端120之外，信息处理系统100可以包括访问照相机服务器110以接收并存储图像数据的其他客户端。
网络130被配置为例如与照相机服务器110和查看器客户端120可通信地连接，并且能够包括满足诸如以太网等的通信标准的多个路由器、交换机、以及线缆。根据本实施例，网络130可以基于任何通信标准，并且在网络130实现照相机服务器110与查看器客户端120之间的顺利通信的情况下，网络130可以包括任何规模和任何配置。因此，从因特网到LAN(局域网)的任何类型的网络都适用于网络130。
图2示出了照相机服务器110的示例性硬件配置。
照相机服务器110包括内部总线201。照相机服务器110还包括CPU 200、主存储设备210、副存储设备220以及接口(I/F)230～250，这些全部被连接到内部总线201。更具体地，照相机服务器110包括接口(I/F)，所述接口(I/F)包括摄像I/F 230、输入/输出I/F 240以及网络I/F 250。照相机服务器110还包括连接到摄像I/F 230的照相机231以及连接到输入/输出I/F 240的输入/输出设备(I/O设备)241。照相机231是具有鱼眼镜头的示例摄像单元。照相机231被配置为基于通过鱼眼镜头收集的光来生成图像数据。
CPU 200总体被配置为控制由照相机服务器110进行的操作。
主存储设备210是诸如RAM等的高速可写入存储设备。OS(操作系统)程序、其他程序以及数据被加载在主存储设备210上。主存储设备210能被CPU 200用作用于执行OS程序和其他程序的工作区域。
副存储设备220是诸如FDD、HDD、闪存存储器和CD-ROM驱动器等的非易失性存储设备。副存储设备220能被用作OS程序、其他程序以及数据的永久存储区域，并且还能被用作数据的短期存储区域。
摄像I/F 230被配置为将由连接到摄像I/F 230的照相机231拍摄到的图像的图像数据转换并压缩为预定的格式，并且例如能够将图像数据传递到副存储设备220(或者主存储设备210)。照相机231是摄像的视角和变焦位置能够调节的摄像单元。
输入/输出I/F 240经由I/O设备241被配置为从外部装置接收信号或中断，以及将信号输出到外部装置。
网络I/F 250是将照相机服务器110连接到网络130的接口，并且能用于例如通过网络130与查看器客户端120通信。
CPU 200能够执行存储在副存储设备220中并被加载到主存储设备210的OS程序或其他程序，以实现照相机服务器110的功能。
图3示出了查看器客户端120的示例性硬件配置。
查看器客户端120包括内部总线301。查看器客户端120包括CPU 300、主存储设备310、副存储设备320、用户输入/输出I/F 330以及网络I/F 340，这些都被连接到内部总线301。查看器客户端120还包括连接到用户输入/输出I/F 330的输入/输出设备(I/O设备)331。
CPU 300总体控制查看器客户端120中进行的操作。CPU 300能够执行存储在副存储设备320中并被加载到主存储设备310的OS程序或其他程序，以实现查看器客户端120的功能以及图8和图11的流程图中示出的过程。
主存储设备310是诸如RAM等的高速可写入存储设备。OS程序、其他程序以及数据被加载在主存储设备310上。主存储设备310能被CPU 300用作用于执行OS程序和其他程序的工作区域。
副存储设备320是诸如FDD、HDD、闪存存储器和CD-ROM驱动器等的非易失性存储设备。副存储设备320能被用作OS程序、其他程序以及数据的永久存储区域，并且还能被用作数据的短期存储区域。
用户输入/输出I/F 330能被用于通过连接到用户输入/输出I/F 330的I/O设备331与用户进行输入/输出。I/O设备331可以是输入/输出设备，例如包括键盘和鼠标。
网络I/F 340是连接到网络130的接口，并且能用于例如通过网络130与照相机服务器110通信。
显示设备350是图像显示设备，其基于照相机服务器110所拍摄到的图像数据来显示图像。显示设备350是示例显示单元。
图4A和图4B示出照相机服务器110的示例性软件配置以及副存储设备220中存储的数据。更具体地，图4A示出通过在CPU 200中执行照相机服务器110的程序而实现的软件配置。图4B示出照相机服务器110中的副存储设备220中所存储的数据。
与OS 400、摄像单元410、分割图像生成单元420以及显示控制单元430相对应的程序被加载在主存储设备210中并由CPU 200执行。针对分割图像生成单元420和显示控制单元430的程序不必存储在照相机服务器110的主存储设备210中。例如，与分割图像生成单元420和显示控制单元430相对应的程序可以存储在查看器客户端120中的主存储设备310中，并且可以由查看器客户端120中的CPU 300执行，下文中将对其进行描述。
OS 400被配置为总体控制照相机服务器110。与主存储设备210中的单元(400至430)相对应的程序的位置(地址)和大小是由OS 400管理的。
摄像单元410进行照相机231中的摄像的处理，并且基于接收到的事件对照相机231所拍摄到的图像进行处理。
例如，响应于来自照相机231的“摄像结束”事件，摄像单元410可以进行通过摄像I/F 230来获取照相机231所拍摄到的图像的图像数据的处理。摄像单元410可以将获取到的图像数据转换并解压为预定的格式，并且进行将图像数据作为图像数据440存储(累积)在副存储设备220中的处理。响应于通过网络130来自作为外部装置的查看器客户端120的递送请求事件，摄像单元410进行将副存储设备220中存储的图像数据440分布到查看器客户端120的处理。以这种方式，响应于管理图像数据440的事件，摄像单元410进行从照相机服务器110中的照相机231所进行的对图像(图像数据)的摄像到通过网络130递送图像数据的处理。
分割图像生成单元420被配置为进行通过使用副存储设备220中存储的图像数据440来生成分割图像数据450的处理。在这种情况下，分割图像生成单元420基于分割位置数据460来确定要对鱼眼图像的哪个位置进行分割，并且生成较不扭曲的图像。换言之，扭曲图像被校正，使得经校正的图像能够看上去像不通过鱼眼镜头而拍摄到的图像。该处理被称为去扭曲处理。
分割图像生成单元420通过网络130接收来自查看器客户端120的递送请求事件，其中，查看器客户端120用作外部装置。接着，分割图像生成单元420进行将副存储设备220中存储的分割图像数据450递送到查看器客户端120的处理。响应于来自查看器客户端120的改变分割位置的请求事件，分割图像生成单元420基于事件信息对分割位置数据460进行更新。
分割图像生成单元420然后基于经更新的分割位置数据460来生成分割图像数据450。分割图像生成单元420接收管理分割图像数据450的事件。因此，分割图像生成单元420进行从根据图像数据440生成分割图像数据到通过网络130对分割图像数据450进行分布的处理。
响应于来自查看器客户端120的请求，显示控制单元430基于分割位置数据460将指示分割位置移动的方向的标记叠加显示在图像数据440上的当前分割位置上。
如图4B所示，照相机服务器110中的副存储设备220存储图像数据440、分割图像数据450以及分割位置数据460。图像数据440、分割图像数据450以及分割位置数据460不必存储在照相机服务器110中的副存储设备220中。例如，如下文中所描述的，与图像数据440、分割图像数据450以及分割位置数据460相对应的数据可以存储在查看器客户端120中的副存储设备320中。
图像数据440是由照相机231所拍摄到的图像数据，并且在摄像单元410中被处理。图像数据440是由包括鱼眼镜头的摄像单元所拍摄到的示例图像数据。
分割图像数据450是通过分割图像生成单元420所进行的处理而生成的图像数据。分割图像数据450是由包括鱼眼镜头的摄像单元所拍摄到的图像数据的分割图像数据的示例。
分割位置数据460是分割图像的中心的位置坐标。将参考图5A和图5B来说明分割位置数据460中所存储的信息。
图5A示出在图像数据440与全向照相机所拍摄到的鱼眼图像有关的情况下，被叠加在图像数据440上的指示分割图像移动方向的标记的显示示例。图像数据440可以不直接表示由全向照相机所拍摄到的鱼眼图像，但可以示意性地表示由全向照相机所拍摄到的鱼眼图像。显示控制单元430被配置为基于分割位置数据460将分割中心510叠加在图像数据440上。分割中心510是指示分割图像数据的中心位置的第一对象的示例。
显示控制单元430然后将指示分割图像的水平/垂直方向的线(平摇辅助线520和俯仰辅助线530)作为指示分割位置的移动方向的标记来叠加显示。平摇辅助线520和/或俯仰辅助线530是指示使得分割图像数据的分割位置能够在预定方向上移动的范围的第二对象的示例。在这种情况下，指示分割图像的水平方向的平摇辅助线被绘制为圆，其中，所述圆的中心在图像数据440的中心处，并且其半径是从图像数据440的中心到分割位置的中心的距离。
指示分割图像的垂直方向的俯仰辅助线被绘制为经过图像数据440的中心和分割位置的中心的线段。以下实施例假设平摇辅助线520和俯仰辅助线530两者都被叠加显示。在其他实施例中，可以仅将它们中的一条叠加显示。
图5B示出如上所述的分割位置数据460中所存储的信息的示例。在图像数据440是由全向照相机拍摄到的鱼眼图像的情况下，分割位置数据460例如存储图像数据440的中心坐标540与分割中心510之间的距离550。分割位置数据460存储连接图像数据440的中心坐标540与图像数据440的水平线上一点的基准线560、以及连接图像数据440的中心坐标540与分割中心510的线段的角度570。
图6A和图6B示出查看器客户端120的示例软件配置以及副存储设备320中存储的数据的示例。更具体地，图6A示出通过CPU 300执行查看器客户端120的程序而实现的软件配置。图6B示出查看器客户端120中的副存储设备320中所存储的数据。
OS 600和查看器单元610的程序被加载到主存储设备310。作为对照相机服务器110中的针对分割图像生成单元420和显示控制单元430的程序的替代，针对分割图像生成单元620和显示控制单元630的程序被加载到主存储设备310。这些程序由CPU 300执行。
OS 600被配置为总体控制查看器客户端120。与主存储设备310中的单元(610至630)相对应的程序的位置(地址)和大小是由OS 600管理的。
查看器单元610被配置为进行基于由照相机服务器110所拍摄到的图像数据、分割图像以及指示分割图像的移动方向的标记来显示图像的处理。查看器单元610包括用于在显示设备350上显示用户接口的用户接口功能。用户接口功能所进行的用户接口显示可以包括显示来自照相机服务器110的移动图像及显示来自照相机服务器110的静止图像；以及基于用户操作显示移动图像、显示静止图像及显示存储图像。用户接口功能所进行的用户接口显示也可以包括显示分割图像及显示指示分割图像的移动方向的标记。用户接口例如可以是CUI、GUI或网络应用等。例如可以由照相机服务器110中的显示控制单元430来提供诸如CUI、GUI或网络应用等的接口。
图6A中的分割图像生成单元620和显示控制单元630分别可以相当于图4A中的分割图像生成单元420和显示控制单元430。
如图6B所示，分别作为照相机服务器110中的副存储设备310中的分割图像数据450和分割位置数据460的替代，分割图像数据650和分割位置数据660可以按需要而被存储在副存储设备320中。
图6B中的分割图像数据650和分割位置数据660分别相当于图4B中的分割图像数据450和分割位置数据460。例如，可以通过分割图像生成单元620所进行的处理来生成分割图像数据650，并且可以使用分割图像生成单元620来生成分割位置数据660。图像数据640相当于图像数据440。
图7A和图7B示出要由查看器单元610在显示设备350上显示的第一实施例的GUI示例。例如，图7A和图7B中的GUI由显示控制单元630显示。图像数据显示区域700显示从照相机服务器110获取的图像数据440。在这种情况下，分割位置的中心510、平摇辅助线520和俯仰辅助线530在图像数据显示区域700中被叠加在图像数据440上。分割图像显示区域710显示从照相机服务器110获取的分割图像数据450。
俯仰滑动条720被配置为指示当前分割位置的俯仰的值(下文中称为“俯仰值”)。可以使用诸如鼠标等的I/O设备331来移动俯仰旋钮721，以改变分割位置的俯仰值。换言之，当俯仰值改变时，分割图像生成单元620在经去扭曲处理(或扭曲校正)的图像上在垂直方向(俯仰方向)上改变分割位置。根据本实施例，“俯仰方向上的改变”的表述不但可以指PTZ照相机的摄像方向在俯仰方向上的实际移动，还可以指分割位置在经去扭曲处理的图像的垂直方向上的改变。
平摇滑动条730指示当前分割位置的平摇的值(下文中称为“平摇值”)。可以使用诸如鼠标等的I/O设备331来移动平摇旋钮731，以改变分割位置的平摇值(下文中称为“平摇值”)。换言之，当平摇值改变时，分割图像生成单元620改变在经去扭曲处理(或扭曲校正)的图像上在水平方向(平摇方向)上的分割位置。根据本实施例，“平摇方向上的改变”的表述不但可以指PTZ照相机的摄像方向在平摇方向上的实际移动，还可以指分割位置在经去扭曲处理的图像的水平方向上的改变。
图8是示出根据第一实施例的信息处理的示例的流程图。图8所示的流程图的处理例如是通过从查看器单元610调用并执行照相机服务器110的分割图像生成单元420和显示控制单元430来实现的。
在另一实施例中，如以上所述，可以在查看器客户端120上的分割图像生成单元620和显示控制单元630中、而不是在分割图像生成单元420和显示控制单元430中进行处理。为了简练起见，以下说明假设查看器客户端120上的分割图像生成单元620和显示控制单元630进行处理。在S801中，查看器单元610通过网络130向摄像单元410发出摄像开始事件。响应于所述事件，摄像单元410通过摄像I/F 230从照相机231获取图像数据440，并且将其通过网络130传输到查看器单元610。接下来，查看器单元610在图像数据显示区域700上显示接收到的图像数据440。
接着，在S802中，分割图像生成单元620读取分割位置数据660，并基于分割位置数据660中的信息来生成分割图像数据650。所生成的分割图像数据650存储在主存储设备310中，并且由查看器单元610显示在分割图像显示区域710上。
在S803中，显示控制单元630基于分割位置数据660将当前分割位置的中心510叠加在图像数据显示区域700上。
在S804中，显示控制单元630基于分割位置数据660将指示分割位置的中心的移动方向的标记叠加显示。根据本实施例，参考图5A和图5B，平摇辅助线520和俯仰辅助线530与指示分割位置的中心的移动方向的标记相对应。
接下来，在S805中，查看器单元610确定是否继续进行图像获取。如果确定继续进行图像获取(在S805中为“否”)，则查看器单元610将处理移至S801。如果确定结束图像获取(在S805中为“是”)，则图8中的处理结束。
根据本实施例的信息处理将指示分割图像数据450的移动方向的标记(例如根据本实施例的平摇辅助线520和俯仰辅助线530等)叠加在图像数据440上以在图像数据显示区域700上显示。因此，用户能够直观地认识到当前分割位置的中心510根据用户进行的操作在图像数据440上的移动的方向。
第二实施例
将根据第二实施例来说明平摇辅助线520、俯仰辅助线530、俯仰滑动条720以及平摇滑动条730在图像数据显示区域700上的显示形式。以不同的颜色和不同的形状来显示平摇辅助线520和俯仰辅助线530，并且基于平摇辅助线520和俯仰辅助线530的不同颜色和形状，确定平摇滑动条730和俯仰滑动条720的颜色和形状。术语“形状”例如可以指波浪线或虚线。
图9A和图9B示出根据第二实施例的示例GUI，其由查看器单元610显示在显示设备350上。
参考图9A和图9B，俯仰辅助线530和俯仰滑动条720都以虚线显示。因此，用户可以直观地认识到叠加在图像数据440上的两条辅助线中的哪条对应于俯仰(或平摇)辅助线。参考图9A和图9B，平摇滑动条730和俯仰滑动条720被显示在分割图像显示区域710附近。“附近”例如可以指距离分割图像显示区域710预定范围内的区域。
第三实施例
现在将说明包括多个分割位置的第三实施例。
图10A和图10B示出根据第三实施例的GUI示例，其由查看器单元610显示在显示设备350上。图10A和图10B中由查看器单元610显示的GUI示例包括四个分割位置，并且仅它们当中的分割位置的中心510包括显示平摇辅助线520和俯仰辅助线530的标志(flag)(辅助线显示标志)。图10A和图10B示出包括多个分割图像数据块的GUI示例。
分割图像显示区域1040、1050、1060和1070分别与分割位置中心510、1010、1020和1030相对应。
针对各分割中心位置，除了指示分割中心的位置坐标的半径和角度以外，分割位置数据660还存储指示是否要在图像数据440上绘制辅助线的标志。例如，在用户操作I/O设备331选择分割图像显示区域1040的情况下，关于分割图像显示区域1040的分割位置数据存储指示是否要在图像数据440上绘制辅助线的标志。在用户操作I/O设备331选择分割图像显示区域1050的情况下，关于分割图像显示区域1040的分割位置数据中的标志被删除，并且关于分割图像显示区域1050的分割位置数据存储所述标志。
图11是示出根据第三实施例的信息处理的示例的流程图。图11所示的流程图反映出这样的配置，其中，由查看器客户端120上的分割图像生成单元620和显示控制单元430来执行处理。在另一实施例中，可以通过从查看器单元610调用并执行照相机服务器110的分割图像生成单元420和显示控制单元430来实现处理。
根据本实施例，可以针对存储在分割位置数据660中的多个分割位置中的各分割位置来实现流程图中的处理。
参考图11，在S801、S803、S804和S805中的处理相当于图8中的处理，并且因此在本文中省略对其的详细说明。
在S802中，由查看器单元610生成分割图像数据650并将其显示在分割图像显示区域710上。查看器单元610接着使处理行进至S1101。
在S1101中，查看器单元610确定对应于当前分割位置、指示是否要绘制辅助线的标志是否存在。如果存在标志(在S1101中为“是”)，则查看器单元610使处理行进至S803。如果不存在标志(在S1101中为“否”)，则查看器单元610使处理行进至S805。
根据本实施例，在存在多个分割位置的情况下，基于所述标志，叠加显示与所述多个分割位置相对应的辅助线；并且用户可以直观地认识到分割位置的中心510、1010、1020和1030。
参考图10A和图10B中的示例，指示分割图像数据块的中心位置的标记被叠加在图像数据块(或图像)上。例如，在图像数据块上，显示控制单元430可以以黑色来叠加显示指示设置了标志的分割图像数据的中心位置的标记，并且以不同的颜色或不同的形状(例如点划线或虚线)来叠加显示指示未设置标志的分割图像数据的中心位置的标记。
第四实施例
根据第四实施例，指示平摇方向和俯仰方向的辅助线被叠加在分割图像显示区域710上。根据第四实施例，图12A和图12B示出由查看器单元610显示在显示设备350上的示例GUI。
俯仰辅助线1210叠加在分割图像显示区域710的水平方向的中心上。俯仰辅助线1210指示与被叠加在图像数据显示区域700上的俯仰辅助线530的移动方向相同的移动方向。
平摇辅助线1220叠加在分割图像显示区域710的垂直方向的中心上。平摇辅助线1220指示与叠加在图像数据显示区域700上的平摇辅助线520的移动方向相同的移动方向。
根据本实施例，分别对应于平摇方向和俯仰方向，显示叠加在图像数据显示区域700上的辅助线和叠加在分割图像显示区域710上的辅助线。因此，用户可以直观地认识到图像数据440和分割图像数据450的移动方向。
本实施例假设，查看器单元610或显示控制单元630将俯仰辅助线1210和平摇辅助线1220两者叠加在分割图像上(在部分图像上)。
如图12A和图12B所示，查看器单元610或显示控制单元630以虚线显示俯仰辅助线530、俯仰滑动条720和俯仰辅助线1210。因此，用户可以直观地认识到叠加在图像数据440和分割图像上的两条辅助线中的对应的俯仰(或平摇)辅助线。俯仰辅助线1210和/或平摇辅助线1220是表示使得分割图像数据的分割位置在预定方向上能够移动的范围的第三对象的示例。
第五实施例
现在将说明根据第五实施例的分割区域1310的大小被改变的情况。图13A和图13B示出在分割区域1310改变的情况下，在图像数据440上显示的示例俯仰辅助线。
根据本实施例，分割区域的大小作为分割位置数据460被存储，所述分割位置数据460包括指示分割中心的位置坐标的半径和角度。
根据本实施例的由查看器单元610进行的信息处理的流程与图8所示的流程图中的处理相同。
参考图8，在S804中，显示控制单元630进行：基于分割位置数据660中包括的对应的分割区域的大小来计算分割位置的中心510可移动的俯仰范围；基于计算结果来确定俯仰辅助线的长度；并且将俯仰辅助线叠加在分割区域上。
根据本实施例的处理将指示俯仰可移动范围的俯仰辅助线530叠加在图像数据440上，使得用户可以直观地对其进行操作。
上述实施例不应被认为是限制性的。可以对上述实施例进行任意组合以实现本发明。
例如，根据上述实施例中的任一实施例的信息处理能够使得用户直观地理解鱼眼图像与分割位置的移动方向之间的关系。用户还能够直观地理解一个图像与对应于该图像的一部分的图像之间的位置关系。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经提供了示例性实施例，但是应当理解，本发明不局限于所公开的示例性实施例。以上权利要求书的范围符合最宽的解释，从而涵盖所有这类修改以及等同结构和功能。

Claims (11)

1.一种信息处理装置，其显示由摄像单元使用鱼眼镜头所拍摄到的图像，其特征在于，所述信息处理装置包括：
显示控制单元，其被配置为将第一对象叠加在所述图像上，所述第一对象指示作为所述图像的分割和去扭曲部分的部分图像的位置；以及
接收单元，其被配置为接收用于在所述部分图像的水平方向上移动所述部分图像的指示，
其中，在根据所述指示移动所述部分图像的情况下，所述显示控制单元将第二对象叠加在所述图像上，所述第二对象是圆形对象并且与所述部分图像的位置的轨迹相对应。
2.根据权利要求1所述的信息处理装置，其中，在所述图像包括多个部分图像的情况下，所述显示控制单元将指示各部分图像的中心位置的第一对象叠加在所述图像上，以及将所述多个部分图像中的选定部分图像的所述第二对象叠加在所述图像上，而不将所述多个部分图像中的未选定的一个或多个部分图像的所述第二对象叠加在所述图像上。
3.根据权利要求1所述的信息处理装置，其中，在所述图像包括多个部分图像的情况下，所述显示控制单元以与指示所述多个部分图像中的未选定部分图像的中心位置的第一对象不同的颜色或不同的形状，将指示所述多个部分图像中的选定部分图像的中心位置的第一对象叠加在所述图像上，以及将所述多个部分图像中的选定部分图像的所述第二对象叠加在所述图像上。
4.根据权利要求1所述的信息处理装置，其中，在所述图像的部分图像的大小变化的情况下，所述显示控制单元改变所述第二对象所指示的范围，并且将所述第二对象叠加在所述图像上。
5.根据权利要求1所述的信息处理装置，其中，所述显示控制单元还将所述部分图像的垂直方向上穿过所述图像的中心位置的线状的线性对象作为所述第二对象叠加在所述图像上。
6.根据权利要求5所述的信息处理装置，其中，所述显示控制单元将所述圆形对象和所述线性对象以互不相同的颜色或形状叠加在所述图像上。
7.根据权利要求6所述的信息处理装置，其中，所述显示控制单元在所述部分图像的附近，以与所述圆形对象的颜色或形状相同的颜色或形状来显示指示所述图像上的所述部分图像的水平方向的滑动条，以及在所述部分图像的附近，以与所述线性对象的颜色或形状相同的颜色或形状来显示指示所述图像上的所述部分图像的垂直方向的滑动条。
8.根据权利要求1所述的信息处理装置，其中，所述显示控制单元将指示所述图像上的所述部分图像在预定方向上能够移动的范围的第三对象叠加在所述部分图像上。
9.根据权利要求8所述的信息处理装置，其中，所述显示控制单元将指示水平方向的对象和指示垂直方向的对象作为所述第三对象叠加在所述部分图像上。
10.根据权利要求9所述的信息处理装置，其中，所述显示控制单元将指示所述水平方向的对象和指示所述垂直方向的对象以互不相同的颜色或形状叠加在所述部分图像上。
11.一种信息处理方法，其由信息处理装置执行，所述信息处理装置用于显示由摄像单元使用鱼眼镜头所拍摄到的图像，其特征在于，所述信息处理方法包括：
将第一对象叠加在所述图像上，所述第一对象指示作为所述图像的分割和去扭曲部分的部分图像的位置；以及
接收用于在所述部分图像的水平方向上移动所述部分图像的指示，
其中，在根据所述指示移动所述部分图像的情况下，将第二对象叠加在所述图像上，所述第二对象是圆形对象并且与所述部分图像的位置的轨迹相对应。
CN201711432815.7A 2016-12-26 2017-12-26 信息处理装置和信息处理方法 Active CN108243310B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016251042A JP6786378B2 (ja) 2016-12-26 2016-12-26 情報処理装置、情報処理方法及びプログラム
JP2016-251042 2016-12-26

Publications (2)

Publication Number Publication Date
CN108243310A CN108243310A (zh) 2018-07-03
CN108243310B true CN108243310B (zh) 2020-12-15

Family

ID=60673134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711432815.7A Active CN108243310B (zh) 2016-12-26 2017-12-26 信息处理装置和信息处理方法

Country Status (6)

Country Link
US (1) US10497160B2 (zh)
EP (1) EP3340606B1 (zh)
JP (1) JP6786378B2 (zh)
KR (1) KR102183803B1 (zh)
CN (1) CN108243310B (zh)
SG (1) SG10201710217TA (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US9501915B1 (en) 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
US10127783B2 (en) 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
US9009805B1 (en) * 2014-09-30 2015-04-14 Google Inc. Method and system for provisioning an electronic device
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
US10957171B2 (en) 2016-07-11 2021-03-23 Google Llc Methods and systems for providing event alerts
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
US10192415B2 (en) 2016-07-11 2019-01-29 Google Llc Methods and systems for providing intelligent alerts for events
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
US10410086B2 (en) 2017-05-30 2019-09-10 Google Llc Systems and methods of person recognition in video streams
US11134227B2 (en) 2017-09-20 2021-09-28 Google Llc Systems and methods of presenting appropriate actions for responding to a visitor to a smart home environment
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
JP7130385B2 (ja) * 2018-02-19 2022-09-05 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US11893795B2 (en) 2019-12-09 2024-02-06 Google Llc Interacting with visitors of a connected home environment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7698725B2 (en) * 2005-02-10 2010-04-13 Canon Kabushiki Kaisha Information processing apparatus, information processing method and its program
CN102387306A (zh) * 2010-09-03 2012-03-21 佳能株式会社 摄像控制系统、控制设备和控制方法
CN103366360A (zh) * 2012-04-03 2013-10-23 佳能株式会社 信息处理设备和信息处理方法
US9516216B2 (en) * 2014-04-14 2016-12-06 Canon Kabushiki Kaisha Display processing apparatus and method

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6833843B2 (en) * 2001-12-03 2004-12-21 Tempest Microsystems Panoramic imaging and display system with canonical magnifier
JP2003241263A (ja) * 2002-02-22 2003-08-27 Fuji Photo Film Co Ltd 監視装置及び撮像装置
US8427538B2 (en) * 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
CN101305595B (zh) * 2005-11-11 2011-06-15 索尼株式会社 图像处理设备以及图像处理方法
EP1954029B1 (en) * 2005-11-11 2011-04-06 Sony Corporation Image processing device, image processing method, program thereof, and recording medium containing the program
JP5338498B2 (ja) * 2009-06-09 2013-11-13 ソニー株式会社 監視カメラシステムで使用される制御装置、カメラシステム及びプログラム
JP2011091571A (ja) 2009-10-21 2011-05-06 Olympus Imaging Corp 動画像作成装置及び動画像作成方法
JP5725772B2 (ja) * 2010-09-03 2015-05-27 キヤノン株式会社 撮像制御システム、制御装置、制御方法、及び、プログラム
JP5678324B2 (ja) 2011-02-10 2015-03-04 パナソニックＩｐマネジメント株式会社 表示装置、コンピュータプログラム、及び表示方法
JP5974433B2 (ja) * 2011-08-03 2016-08-23 日本精機株式会社 周辺画像表示装置
JP2013239986A (ja) * 2012-05-17 2013-11-28 Panasonic Corp 補助情報生成装置、撮影画像表示システム、補助情報生成方法、撮影画像表示方法、及びコンピュータプログラム
JP5921331B2 (ja) 2012-05-21 2016-05-24 キヤノン株式会社 撮像装置、マスク画像の重畳方法、および、プログラム
JP6163899B2 (ja) * 2013-06-11 2017-07-19 ソニー株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム
JP5835384B2 (ja) * 2014-03-18 2015-12-24 株式会社リコー 情報処理方法、情報処理装置、およびプログラム
JP2015230625A (ja) * 2014-06-05 2015-12-21 キヤノン株式会社 画像表示装置
JP6460310B2 (ja) 2014-09-18 2019-01-30 カシオ計算機株式会社 撮像装置、画像表示方法及びプログラム
KR20160075135A (ko) * 2014-12-19 2016-06-29 현대모비스 주식회사 자동차 물체인식 시스템 및 그 동작방법
JP6726931B2 (ja) * 2015-03-20 2020-07-22 キヤノン株式会社 画像処理装置およびその方法、並びに、画像処理システム
JP6544996B2 (ja) * 2015-05-28 2019-07-17 キヤノン株式会社 制御装置及び制御方法
JP6597259B2 (ja) * 2015-12-10 2019-10-30 株式会社リコー プログラム、情報処理装置、画像表示方法、画像処理システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7698725B2 (en) * 2005-02-10 2010-04-13 Canon Kabushiki Kaisha Information processing apparatus, information processing method and its program
CN102387306A (zh) * 2010-09-03 2012-03-21 佳能株式会社 摄像控制系统、控制设备和控制方法
CN103366360A (zh) * 2012-04-03 2013-10-23 佳能株式会社 信息处理设备和信息处理方法
US9516216B2 (en) * 2014-04-14 2016-12-06 Canon Kabushiki Kaisha Display processing apparatus and method

Also Published As

Publication number Publication date
KR102183803B1 (ko) 2020-11-27
KR20180075411A (ko) 2018-07-04
US10497160B2 (en) 2019-12-03
CN108243310A (zh) 2018-07-03
US20180182148A1 (en) 2018-06-28
SG10201710217TA (en) 2018-07-30
JP2018107583A (ja) 2018-07-05
JP6786378B2 (ja) 2020-11-18
EP3340606B1 (en) 2020-07-01
EP3340606A1 (en) 2018-06-27

Similar Documents

Publication Publication Date Title
CN108243310B (zh) 信息处理装置和信息处理方法
CN106454065B (zh) 信息处理装置及其控制方法
KR101782282B1 (ko) 제어 장치, 카메라 시스템 및 카메라 제어를 행하는 제어 방법
JP5233926B2 (ja) 魚眼監視システム
EP2849439B1 (en) Display image formation device and display image formation method
EP2859717B1 (en) Capturing control apparatus, capturing control method and program
CN108965656B (zh) 显示控制设备、显示控制方法和存储介质
US10841481B2 (en) Control apparatus, method of controlling the same and program
CN109510967B (zh) 摄像装置、摄像装置的控制方法和存储介质
JP6381265B2 (ja) 情報処理装置、表示方法、及びプログラム
US20090051770A1 (en) Camera control method, camera control device, camera control program, and camera system
US10536631B2 (en) Video display apparatus and control method of video display apparatus
EP3148180B1 (en) Image processing method and video camera
CN109429008B (zh) 图像处理装置、信息处理系统、信息处理方法和存储介质
JP5963571B2 (ja) 画像表示装置及び監視カメラシステム
JP6401480B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP5939902B2 (ja) 制御装置及び制御装置の制御方法
US9883103B2 (en) Imaging control apparatus and method for generating a display image, and storage medium
JP6362090B2 (ja) ネットワークカメラのプリセット位置の表示方法
JP2023067619A (ja) カメラ制御装置およびカメラ制御方法、プログラム
JP2020021211A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant