CN109688348B - 信息处理装置、信息处理方法和存储介质 - Google Patents

信息处理装置、信息处理方法和存储介质 Download PDF

Info

Publication number
CN109688348B
CN109688348B CN201811214445.4A CN201811214445A CN109688348B CN 109688348 B CN109688348 B CN 109688348B CN 201811214445 A CN201811214445 A CN 201811214445A CN 109688348 B CN109688348 B CN 109688348B
Authority
CN
China
Prior art keywords
boundary
display
information processing
images
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811214445.4A
Other languages
English (en)
Other versions
CN109688348A (zh
Inventor
大竹昌弥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN109688348A publication Critical patent/CN109688348A/zh
Application granted granted Critical
Publication of CN109688348B publication Critical patent/CN109688348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供一种信息处理装置、信息处理系统、信息处理方法和存储介质。根据本实施例的信息处理装置在合成了通过多个摄像单元所拍摄的多个图像的合成图像上设置作为要作为预定处理的对象的区域的对象区域，并且在所设置的对象区域中包含了合成图像中的多个图像中所包括的图像之间的边界的情况下，在显示单元上进行预定显示处理。

Description

信息处理装置、信息处理方法和存储介质
技术领域
本发明涉及一种信息处理装置、系统、信息处理方法和存储介质。
背景技术
在用于监视等的用途的摄像装置中，需要更广泛的监视。因此，日本特开2005-192057提出了一种对由多个摄像装置拍摄的图像进行合成并生成摄像装置周围360度的全景图像的摄像装置。
另一方面，在用于监视等的用途的一些摄像装置中，可以实现对拍摄图像内设置的区域进行预定处理的功能。例如，可以实现进行用于判断人是否已经通过设置区域的处理的功能或者进行用于检测设置区域中有多少人的处理的功能。
例如，在进行用于检测设置区域内的人数的处理的情况下，需要从设置区域的图像中识别人的形状。然而，在日本特开2005-192057公开的摄像装置生成的全景图像中，在合成为全景图像的图像之间的边界处的图像之间可能发生位置偏移。因此，在人位于发生位置偏移的部分中的情况下，可能无法从设置区域的图像中正确地识别人的形状。
如上所述，在被设置为预定处理的对象的区域包括可能发生位置偏移的部分的情况下，可能无法适当地进行预定处理。在这种情况下，需要改变摄像装置的视角或重新设置要作为预定处理的对象的区域。因此，如果被设置为预定处理的对象的区域包括可能发生位置偏移的部分的情形出现，则存在使得用户能够更容易地识别该情形的需求。
发明内容
本发明的一种信息处理装置，包括：设置单元，用于在合成了通过多个摄像单元所拍摄的多个图像的合成图像上设置对象区域，所述对象区域是要作为预定处理的对象的区域；以及显示控制单元，用于在所述设置单元所设置的所述对象区域中包含了所述合成图像中的所述多个图像中所包括的图像之间的边界的情况下，在显示单元上进行预定显示处理。
本发明的一种信息处理系统，包括：设置单元，用于在合成了通过多个摄像单元所拍摄的多个图像的合成图像上设置对象区域，所述对象区域是要作为预定处理的对象的区域；以及显示控制单元，用于在所述设置单元所设置的所述对象区域中包含了所述合成图像中的所述多个图像中所包括的图像之间的边界的情况下，在显示单元上进行预定显示处理。
本发明的一种信息处理装置执行的信息处理方法，所述信息处理方法包括：设置步骤，用于在合成了通过多个摄像单元所拍摄的多个图像的合成图像上设置对象区域，所述对象区域是要作为预定处理的对象的区域；以及显示控制步骤，用于在所述设置步骤所设置的所述对象区域中包含了所述合成图像中的所述多个图像中所包括的图像之间的边界的情况下，在显示单元上进行预定显示处理。
本发明的一种非暂时性存储介质，其包括用于使计算机用作根据上述的信息处理装置的各单元的程序。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出信息处理系统的系统结构的示例的图。
图2A和图2B是示出摄像装置等的硬件结构的示例的图。
图3是示出摄像装置的一般布置的示例的图。
图4是示出合成图像的示例的图。
图5是示出合成图像的示例的图。
图6是示出由信息处理系统进行的处理的示例的流程图。
图7是示出合成图像的示例的图。
图8是示出合成图像的示例的图。
图9是示出由信息处理系统进行的处理的示例的流程图。
图10是示出由信息处理系统进行的处理的示例的流程图。
具体实施方式
现在将根据附图来详细描述本发明的优选实施例。
第一实施例
图1是示出本实施例的信息处理系统的系统结构的示例的图。信息处理系统包括摄像装置100和客户端装置101。摄像装置100和客户端装置101经由网络102可通信地彼此连接。摄像装置100是包括多个摄像单元、并且对通过多个摄像单元拍摄的图像进行合成以生成比通过单个摄像单元拍摄图像的情况更宽的角度的图像的摄像装置。客户端装置101是用于向摄像装置100发送用于控制摄像装置100的各种命令的诸如个人计算机(PC)、服务器装置或平板装置等的信息处理装置。
网络102是诸如因特网、无线LAN或有线LAN等的网络。此外，客户端装置101可以经由网络102向摄像装置100供电。
图2A是示出摄像装置100的硬件结构的示例的图。摄像装置100包括CPU 201、主存储装置202、辅助存储装置203、网络I/F 204和摄像单元205。这些组件经由系统总线206可通信地彼此连接。
CPU 201是控制摄像装置100的中央处理单元。主存储装置202是用作 CPU 201的工作区域或数据的临时存储区域等的存储装置。主存储装置202 通过使用诸如随机存取存储器(RAM)等的存储介质来实现。辅助存储装置 203是用于存储各种设置信息、各种程序或与由摄像装置100等拍摄的图像有关的信息的存储装置。辅助存储装置203通过使用诸如只读存储器(ROM)、硬盘驱动器(HDD)或固态驱动器(SSD)等的存储介质来实现。
网络I/F 204是用于经由网络102与诸如客户端装置101等的外部装置通信的接口。摄像单元205是包括诸如CCD传感器或CMOS传感器等的摄像装置以及透镜等并且拍摄周围的摄像单元。摄像装置100包括多个摄像单元 205。
图2B是示出客户端装置101的硬件结构的示例的图。客户端装置101包括 CPU211、主存储装置212、辅助存储装置213、输入I/F 214、输出I/F 215和网络I/F 216。这些组件经由系统总线217可通信地彼此连接。
CPU 211是用于控制客户端装置101的中央处理单元。主存储装置212是用作CPU211的工作区域或数据的临时存储区域等的存储装置。主存储装置 212通过使用诸如RAM等的存储介质来实现。辅助存储装置213是用于存储各种设置信息、各种程序、与由摄像装置100等拍摄的图像有关的信息、或者与摄像装置100的控制命令有关的信息等的存储装置。辅助存储装置213通过使用诸如ROM、HDD或SSD等的存储介质来实现。
输入I/F 214是用于连接到诸如鼠标、键盘或触摸屏中的操作单元等的输入装置的接口。CPU 211经由输入I/F 214从连接到输入I/F 214的输入装置接受输入。输出I/F215是用于连接到诸如监视器、显示器、扬声器或触摸屏中的显示单元等的输出装置的接口。CPU 211经由输出I/F 215将信息输出至连接到输出I/F 215的输出装置。网络I/F 216是用于经由网络102与诸如摄像装置100等的外部装置通信的接口。
图3是示出摄像装置100的一般布置的示例的图。
本实施例的摄像装置100包括如图3所示放射状地布置的多个摄像单元 205。夹在从图3所示的各摄像单元205放射状地延伸的两条虚线之间的各范围示出摄像单元205的视野。摄像装置100通过对由各个摄像单元205拍摄的图像进行合成来生成具有比由单个摄像单元拍摄的图像更宽的角度的图像 (例如，全景图像等)。相邻的摄像单元205被布置成具有重叠的拍摄范围。摄像装置100针对摄像单元205的拍摄范围的重叠区域进行图像的合成处理。
图4是示出由摄像装置100生成的合成图像的示例的图。图4的合成图像 400是通过摄像装置100对由四个摄像单元205拍摄的图像进行合成而生成的合成图像。合成边界402各自是通过摄像单元205拍摄的图像之间的合成图像 400中的边界。合成图像400中的合成边界402的各位置是可能发生位置偏移的位置。在图4的示例中，合成边界402的数量是合成边界402(a)至402(c)这三个，但是可以根据合成时要使用的图像的数量而改变。例如，如图4的示例中所示，在水平布置并合成图像时并且在对n个图像进行合成时，合成边界402的数量是n-1。
例如，在客户端装置101的CPU 211将用于指示生成合成图像400的命令发送到摄像装置100的情况下，摄像装置100的CPU 201通过多个摄像单元205 拍摄图像，对拍摄图像进行合成，并生成合成图像400。然后，CPU 201将生成的合成图像400发送到客户端装置101。例如，CPU 211使连接到输出I/F 215 的监视器显示合成图像400。这使得用户能够在视觉上识别显示在监视器上的合成图像400。此外，与合成图像400一起，CPU 201向客户端装置101发送表示各合成边界402存在于合成图像400中的哪个位置的信息。CPU 211在监视器上显示合成图像400，并基于与合成图像400一起接收到的与合成边界 402的位置有关的信息来在监视器上显示的合成图像400上显示各个合成边界402。在本实施例中，CPU 211通过虚线显示各个合成边界402，但是可以通过诸如点划线等的其它显示形式来显示各个合成边界402。此外，CPU 211 可以不显示各个合成边界402。
例如，用户可以通过使用连接到输入I/F 214的鼠标进行拖动操作，来在显示在监视器上的合成图像400内的任何位置处以任意大小指定要作为预定处理的对象的区域。例如，CPU 211基于通过连接到输入I/F 214的鼠标的用户操作，接受对要作为预定处理的对象的区域的指定，并将由所接受的指定表示的合成图像400内的区域设置为要作为预定处理的对象的区域。图4的区域401是要作为预定处理的对象的设置区域。
在图4的示例，诸如由于拍摄的范围彼此不重叠等，因此图像合成不成功，并且在合成图像400的合成边界402(c)上存在的被摄体403处发生位置偏移。
图5是示出由摄像装置100生成的合成图像的示例的图。此外，图6是示出信息处理系统的示例的流程图。下面将通过使用图5和6来描述由本实施例的信息处理系统进行的处理的示例。在本实施例中，CPU 211通过虚线在连接到输出I/F 215的监视器上显示的合成图像400上显示各个合成边界402。
将描述图6的处理。
在S601中，CPU 211基于通过连接到输入I/F 214的输入装置的用户操作来将区域500设置为对合成图像400的预定处理的对象，并且将区域501设置为对合成图像400的另一处理的对象。在本实施例中，预定处理例如是利用预定对象的形状的处理，诸如通过从该区域检测人的形状来检测区域内的人数的处理等。虽然在本实施例中预定对象是人，但是预定对象可以是其它对象，诸如汽车、动物或货物等。此外，在本实施例中，另一处理是不利用预定对象的形状的处理，诸如基于区域内的图像的改变来检测人的通过的处理等。区域500是作为预定处理的对象的区域的对象区域的示例。图5示出在图 4所示的合成图像400上设置作为预定处理的对象的区域500和作为另一处理的对象的区域501的状态。
在S602中，CPU 211选择在合成图像400内设置的区域(区域500和区域 501)之一作为所选区域。
在S603中，CPU 211判断所选区域是否是利用人的形状的处理的对象。如果所选区域是利用人的形状的处理的对象，则CPU 211进入S604的操作，以及如果所选区域不是利用人的形状的处理的对象，则CPU 211进入S606的操作。
在S604中，CPU 211判断各个合成边界402是否与所选区域重叠。如果合成边界402中的任何一个与所选区域重叠，则CPU 211进入S605的操作，以及如果合成边界402都不与所选区域重叠，则CPU 211进入S606的操作。
在S605中，CPU 211对连接到输出I/F 215的监视器进行预定的显示处理。这使得CPU 211能够向用户呈现所选区域可能包括可能发生位置偏移的部分的合成边界402。在本实施例中，CPU 211通过将在S604中判断为与所选区域重叠的合成边界402的显示形式从虚线更新为实线，来进行突出显示与所选区域500重叠的合成边界402的显示处理。图5示出将与区域500重叠的合成边界402(a)的显示形式更新为实线的状态。这使得用户能够更容易地在视觉上识别出设置区域与合成边界402重叠。此外，用户能够更容易地识别出被设置为利用人的形状的处理的对象的区域包括可能发生位置偏移的合成边界 402。S605的操作是显示控制处理的示例。
在用户识别出被设置为利用人的形状的处理的对象的区域包括合成边界402的情况下，用户可以采取以下动作。也就是说，例如，用户可以通过客户端装置101指示摄像装置100改变摄像单元205的各视角，使得被设置为利用人的形状的处理的对象的区域不包括合成边界402。图7示出合成图像 400，其中摄像单元205的视角已经改变，使得被设置为利用人的形状的处理的对象的区域不包括合成边界402。可以看出，区域500不与合成边界402重叠。此外，例如，用户可以通过客户端装置101将被设置为利用人的形状的处理的对象的区域的位置改变为不包括合成边界402的位置。
在S606中，CPU 211确定为不改变合成边界402的显示形式。
在S607中，CPU 211判断是否已对合成图像400内设置的所有区域进行了 S603至S606的操作。如果CPU 211判断为已经对合成图像400内设置的所有区域进行了S603至S606的操作，则图6的处理结束。如果CPU 211判断为在合成图像400内设置的区域中存在尚未进行S603至S606的操作的区域，则处理进入S602的操作。
在本实施例中，在S605中，CPU 211进行用于通过以实线的显示形式来显示表示与设置区域重叠的合成边界402的线、由此突出显示该线的显示处理。然而，CPU 211可以进行用于通过使用与表示其它合成边界402的线的颜色不同的预定颜色(例如，红色)来显示表示与设置区域重叠的合成边界402 的线、由此突出显示关注的合成边界402的显示处理。此外，为了突出显示合成边界402，CPU 211可以使表示与设置区域重叠的合成边界402的虚线闪烁，以突出显示关注的合成边界402。
此外，在本实施例中，虽然预先通过虚线显示合成边界402，但是可以不预先显示表示合成边界402的线。在这种情况下，例如，CPU 211可以在S605 中进行用于显示表示与被设置为利用人的形状的处理的对象的区域重叠的合成边界402的线(例如，直线或虚线等)的显示处理。此外，CPU 211可以在 S605中进行以下处理以突出显示合成边界402。也就是说，CPU 211指示摄像装置100将用于拍摄要突出显示的合成边界402的两个摄像单元205的曝光值分别更新为不同的值。曝光值是表示基于光圈值和曝光时间所确定的曝光水平的指标。CPU 211从摄像装置100获取合成了通过包括具有更新后的曝光值的摄像单元205的多个摄像单元205拍摄的图像的合成图像400。然后，CPU 211可以在连接到输出I/F 215的监视器上显示所获取到的合成图像400。由此，亮度不同的图像以夹着要突出显示的合成边界402的方式被布置在监视器上，这使得用户能够在视觉上识别哪个合成边界402与设置区域重叠。
在本实施例中，虽然CPU 211在S606中确定为不改变合成边界402的显示形式，但是可以删除表示合成边界402的虚线。
如上所述，在本实施例中，在被设置为预定处理的对象的区域与合成边界402重叠的情况下，信息处理系统在连接到输出I/F 215的监视器上进行预定的显示处理。也就是说，信息处理系统可以向用户呈现被设置为预定处理的对象的区域包括作为可能发生位置偏移的部分的合成边界402。这使得用户能够更容易地识别出被设置为预定处理的对象的区域包括可能发生位置偏移的部分。
第二实施例
在第一实施例中，在被设置为预定处理的对象的区域与合成边界402重叠的情况下，信息处理系统进行用于将表示重叠部分中的合成边界402的线从虚线改变为实线的显示处理。以这种方式，信息处理系统进行用于改变表示重叠部分中的合成边界402的线的显示形式的显示处理，由此向用户呈现被设置为预定处理的对象的区域与合成边界402重叠。
如图3所示，摄像单元205的视野对于距摄像单元205更远的区域而言更宽。因此，对于距摄像单元205更远的区域，不同摄像单元205的视野更可能彼此重叠。因此，被摄体和用于拍摄被摄体的摄像单元205之间的距离(以下称为被摄体距离)越短，则合成图像400的合成边界402中的位置偏移发生的可能性越高，并且被摄体距离越长，则该位置偏移发生的可能性越低。也就是说，即使在相同的合成边界402上，在合成边界402上存在的被摄体的被摄体距离大于特定值的情况下，假设不会发生位置偏移，或者如果发生位置偏移，则可能小到足以不影响对象(诸如人等)的形状的检测。因此，在本实施例中，在被设置为预定处理的对象的区域与合成边界402重叠并且该区域中存在的被摄体的被摄体距离小于或等于预定的阈值的情况下，信息处理系统进行预定的显示处理。
本实施例的信息处理系统的系统结构与第一实施例的系统结构相同。此外，本实施例的信息处理系统的系统组件的硬件结构与第一实施例相同。
图8是示出由摄像装置100生成的合成图像的示例的图。图9是示出由本实施例的信息处理系统进行的处理的示例的流程图。将通过使用图8和9来描述本实施例的处理的示例。这里假设图像之间的合成边界预先由虚线显示。
图9的S601至S603、S606和S607的操作与图6相同。
在S604中，CPU 211判断各个合成边界402是否与所选区域重叠。如果 CPU 211判断为合成边界402中的任何一个与所选区域重叠，则CPU 211移动至S901的操作，以及如果CPU 211判断合成边界402都不与所选区域重叠，则 CPU 211移动至S606的操作。
在S901中，CPU 211确定所选区域内存在的被摄体的被摄体距离。例如， CPU 211使用飞行时间(TOF)方式来确定所选区域内存在的被摄体的被摄体距离。例如，CPU 211通过包括在摄像单元205中的发光单元、利用光照射被摄体，并且经由包括在摄像单元205中的光接收单元接收从被摄体反射的光。然后，CPU 211基于当利用光照射被摄体的时刻与接收到从被摄体反射的光的时刻之间的差来确定被摄体与摄像单元205之间的距离。例如，CPU 211 计算用于拍摄被摄体的各个摄像单元205的被摄体距离，并将被摄体距离的平均值确定为被摄体距离。可选地，CPU 211可以从用于拍摄被摄体的摄像单元205中选择一个摄像单元205，来计算所选的摄像单元205的被摄体距离，并将计算出的被摄体距离确定为最终被摄体距离。
然后，CPU 211判断所确定的被摄体距离是否小于或等于预定阈值。如果CPU 211判断为所确定的被摄体距离小于或等于预定阈值，则CPU 211进入S605的操作，以及如果CPU 211判断为所确定的被摄体距离大于预定阈值，则CPU 211进入S606的操作。
在S605中，CPU 211通过进行用于改变显示形式以增加表示与所选区域重叠的合成边界402的线的宽度的显示处理来呈现所选区域包括合成边界 402。图8示出表示合成边界402(a)的虚线宽度增加的状态。可以看出，表示合成边界402(a)的虚线比表示合成边界402(b)和402(c)的虚线宽。此外，CPU 211可以在S605中进行与第一实施例相同的操作。
如上所述，在本实施例中，在被设置为预定处理的对象的区域与合成边界402重叠并且设置区域内的被摄体的被摄体距离包括在小于或等于阈值的范围内的情况下，信息处理系统进行预定的显示处理。这样，在本实施例中，在假设不存在位置偏移的影响的情况下，信息处理系统不进行用于呈现作为预定处理的对象的区域包括可能发生位置偏移的合成边界402的处理。这使得信息处理系统能够减少由不必要的处理引起的CPU 211等的使用。
在本实施例中，在被设置为预定处理的对象的区域与合成边界402重叠并且设置区域内的被摄体的被摄体距离包括在小于或等于阈值的范围内的情况下，CPU 211进行预定的显示处理。然而，在被设置为预定处理的对象的区域与合成边界402重叠的情况下，CPU211可以在连接到输出I/F 215的监视器上进行以下显示处理。也就是说，CPU 211可以通过与如S901所示的处理相同的处理来确定设置区域内的被摄体的被摄体距离，并且进行用于将与设置区域重叠的合成边界402的宽度改变为与所确定的被摄体距离相对应的宽度的显示处理。例如，所确定的被摄体距离越小，则CPU 211可以将与设置区域重叠的合成边界402的宽度改变为越大的宽度。这使得用户能够在视觉上识别在合成边界上发生的位置偏移的程度。此外，在设置区域与合成边界402重叠并且设置区域内的被摄体的被摄体距离包括在小于或等于阈值的范围内的情况下，CPU 211可以进行相同的显示处理。
第三实施例
在第一实施例中，在被设置为预定处理的对象的区域与合成边界402重叠的情况下，信息处理系统将表示重叠部分上的合成边界402的线从虚线改变为实线。然而，在本实施例中，在被设置为预定处理的对象的区域与合成边界402重叠的情况下，信息处理系统在连接到输出I/F 215的监视器上进行用于显示表示错误的信息的显示处理。
本实施例的信息处理系统的系统结构与第一实施例的系统结构相同。此外，本实施例的信息处理系统的系统组件的硬件结构与第一实施例相同。
图10是示出由本实施例的信息处理系统进行的处理的示例的流程图。图 10的S601、S602和S607的操作与图6相同。
在S603中，CPU 211判断所选区域是否是利用人的形状的处理的对象。如果所选区域是利用人的形状的处理的对象，则CPU 211进入S604的操作，以及如果所选区域不是利用人的形状的处理的对象，则CPU 211结束图10的处理。
在S604中，CPU 211判断各个合成边界402是否与所选区域重叠。如果合成边界402中的任何一个与所选区域重叠，则CPU 211进入S1001的操作，以及如果合成边界402都不与所选区域重叠，则CPU 211结束图10的处理。
在S1001中，CPU 211在连接到输出I/F 215的监视器上进行用于显示表示错误的信息的显示处理，由此向用户呈现被设置为预定处理的对象的区域与合成边界402重叠。例如，表示错误的信息是表示所选区域被设置在不合适位置的信息。表示错误的信息可以是例如字符串或图像等。例如，CPU 211 在连接到输出I/F 215的监视器上显示表示错误的字符串。此外，CPU 211可以向连接到输出I/F 215的监视器显示用于确认是否尽管所选区域与合成边界402重叠但是也在不改变的情况下设置所选区域的弹出窗口。
如上所述，根据本实施例的处理，信息处理系统可以通过显示表示错误的信息来向用户呈现更详细的信息。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将进行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并进行程序的方法。
例如，上述信息处理系统的功能结构的一部分或全部可以在摄像装置 100或客户端装置101中实现为硬件。
在第一实施例至第三实施例中，摄像装置100是包括多个摄像单元205的单个摄像装置。然而，摄像装置100可以是连接到多个摄像装置的诸如PC或服务器装置等的信息处理装置。在这种情况下，摄像装置100使用连接的多个外部摄像装置作为第一实施例至第三实施例中的摄像单元205。
在第一实施例至第三实施例中，信息处理系统在连接到输出I/F 215的监视器上进行预定的显示处理。然而，信息处理系统可以在诸如连接到输出I/F 215的触摸屏的显示单元等的其它显示装置上进行预定的显示处理。此外，信息处理系统可以通过连接到输出I/F 215的屏幕投影器装置在外部屏幕上进行预定的显示处理。
在第一实施例至第三实施例中，客户端装置101进行图6、图9或图10的处理。然而，摄像装置100可以进行图6、图9或图10的处理。在这种情况下，摄像装置100进行以下处理。也就是说，摄像装置100生成合成图像400，然后将其发送到客户端装置101。例如，客户端装置101在连接到输出I/F 215的监视器上显示接收到的合成图像400。用户使用连接到输入I/F 214的鼠标等来指定作为预定处理的对象的区域或者作为另一处理的对象的区域等。客户端装置101将与指定区域有关的位置信息发送到摄像装置100。然后，摄像装置100基于所发送的位置信息来进行图6、图9或图10的S602的处理及后续操作。在S605中改变合成边界402的显示形式的情况下，摄像装置100将与改变后的显示形式有关的信息发送到客户端装置101，并指示客户端装置100在连接到输出I/F 215的监视器上改变合成边界402的显示形式。此外，在S1001中，摄像装置100发送并由此将错误信息输出到客户端装置101，并指示客户端装置101在连接到输出I/F 215的监视器上显示错误信息。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (9)

1.一种信息处理装置，包括：
设置单元，用于在合成了通过多个摄像单元所拍摄的多个图像的合成图像上设置用于预定处理的区域；
判断单元，用于判断在所述设置单元所设置的所述区域中是否包含了所述合成图像中的所述多个图像中所包括的图像之间的边界；以及
显示控制单元，用于在所述区域中包含了所述边界的情况下，使显示单元显示表示所述边界的线，以及在所述区域中不包含所述边界的情况下，使所述显示单元不显示表示所述边界的线。
2.根据权利要求1所述的信息处理装置，其中，在所述设置单元所设置的所述区域中包含了所述合成图像中的所述多个图像中所包括的图像之间的边界、并且所述区域中所包含的被摄体和所述多个摄像单元中所包括的用于拍摄该被摄体的摄像单元之间的距离值包括在预定范围内的情况下，所述显示控制单元使所述显示单元显示表示所述边界的线。
3.根据权利要求2所述的信息处理装置，其中，所述预定范围是小于或等于预定阈值的范围。
4.根据权利要求1所述的信息处理装置，其中，在所述设置单元所设置的所述区域中包含了所述合成图像中的所述多个图像中所包括的图像之间的边界的情况下，所述显示控制单元使所述显示单元通过显示预定颜色的显示形式来显示表示所述边界的线。
5.根据权利要求1所述的信息处理装置，其中，在所述设置单元所设置的所述区域中包含了所述合成图像中的所述多个图像中所包括的图像之间的边界的情况下，所述显示控制单元使所述显示单元显示具有与所述区域中所包含的被摄体和所述多个摄像单元中所包括的用于拍摄该被摄体的摄像单元之间的距离相对应的宽度的所述线。
6.根据权利要求1至3中任一项所述的信息处理装置，其中，在所述设置单元所设置的所述区域中包含了所述合成图像中的所述多个图像中所包括的图像之间的边界的情况下，所述显示控制单元使所述显示单元显示合成了通过包括预定摄像单元的所述多个摄像单元所拍摄的多个图像的合成图像，其中，所述预定摄像单元拍摄所述多个图像中所包括的图像之间的包含在所述区域中的边界、并且具有以使得曝光值彼此不同的方式进行了更新的曝光值。
7.根据权利要求1至3中任一项所述的信息处理装置，其中，所述设置单元设置用于作为利用预定对象的形状的处理的预定处理的所述区域。
8.一种信息处理装置执行的信息处理方法，所述信息处理方法包括：
设置步骤，用于在合成了通过多个摄像单元所拍摄的多个图像的合成图像上设置用于预定处理的区域；
判断步骤，用于判断在所述设置步骤所设置的所述区域中是否包含了所述合成图像中的所述多个图像中所包括的图像之间的边界；以及
显示控制步骤，用于在所述区域中包含了所述边界的情况下，使显示单元显示表示所述边界的线，以及在所述区域中不包含所述边界的情况下，使所述显示单元不显示表示所述边界的线。
9.一种非暂时性计算机可读存储介质，包括用于使计算机执行根据权利要求8所述的信息处理方法的各步骤的程序。
CN201811214445.4A 2017-10-18 2018-10-18 信息处理装置、信息处理方法和存储介质 Active CN109688348B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-201855 2017-10-18
JP2017201855A JP7005269B2 (ja) 2017-10-18 2017-10-18 情報処理装置、システム、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN109688348A CN109688348A (zh) 2019-04-26
CN109688348B true CN109688348B (zh) 2021-11-16

Family

ID=63921513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811214445.4A Active CN109688348B (zh) 2017-10-18 2018-10-18 信息处理装置、信息处理方法和存储介质

Country Status (4)

Country Link
US (1) US11069029B2 (zh)
EP (1) EP3474226A1 (zh)
JP (1) JP7005269B2 (zh)
CN (1) CN109688348B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1831479A (zh) * 2005-03-09 2006-09-13 三洋电机株式会社 驾驶辅助系统
CN1953553A (zh) * 2005-10-17 2007-04-25 三洋电机株式会社 驾驶辅助系统
CN101877775A (zh) * 2010-04-06 2010-11-03 中兴通讯股份有限公司 远程呈现系统及其摄像机组
CN102804763A (zh) * 2010-03-26 2012-11-28 爱信精机株式会社 车辆周边监视装置
CN103733613A (zh) * 2011-07-26 2014-04-16 爱信精机株式会社 车辆周边监视系统
CN104156527A (zh) * 2014-08-12 2014-11-19 大连海事大学 一种用于航海模拟器仿真的雷达模拟数据合并方法
CN104794701A (zh) * 2014-01-21 2015-07-22 富士通株式会社 图像拼接装置、方法以及图像处理设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003078817A (ja) * 2001-08-30 2003-03-14 Matsushita Electric Ind Co Ltd 画像合成方法、及び画像合成装置
JP2005192057A (ja) 2003-12-26 2005-07-14 D Link Corp 空間画像の切出し表示方法及び装置
JP4560716B2 (ja) * 2004-09-28 2010-10-13 アイシン精機株式会社 車両の周辺監視システム
JP4725233B2 (ja) * 2005-08-02 2011-07-13 日産自動車株式会社 俯瞰画像表示システム
JP4254887B2 (ja) * 2006-07-06 2009-04-15 日産自動車株式会社 車両用画像表示システム
US20090128630A1 (en) 2006-07-06 2009-05-21 Nissan Motor Co., Ltd. Vehicle image display system and image display method
JP5120880B2 (ja) 2007-10-15 2013-01-16 アルパイン株式会社 画像処理装置及び画像処理方法
KR101452713B1 (ko) * 2009-10-30 2014-10-21 삼성전자주식회사 픽처 경계의 부호화 단위를 부호화, 복호화 하는 방법 및 장치
JP5251947B2 (ja) * 2010-09-17 2013-07-31 日産自動車株式会社 車両用画像表示装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1831479A (zh) * 2005-03-09 2006-09-13 三洋电机株式会社 驾驶辅助系统
CN1953553A (zh) * 2005-10-17 2007-04-25 三洋电机株式会社 驾驶辅助系统
CN102804763A (zh) * 2010-03-26 2012-11-28 爱信精机株式会社 车辆周边监视装置
CN101877775A (zh) * 2010-04-06 2010-11-03 中兴通讯股份有限公司 远程呈现系统及其摄像机组
CN103733613A (zh) * 2011-07-26 2014-04-16 爱信精机株式会社 车辆周边监视系统
CN104794701A (zh) * 2014-01-21 2015-07-22 富士通株式会社 图像拼接装置、方法以及图像处理设备
CN104156527A (zh) * 2014-08-12 2014-11-19 大连海事大学 一种用于航海模拟器仿真的雷达模拟数据合并方法

Also Published As

Publication number Publication date
JP2019075739A (ja) 2019-05-16
EP3474226A1 (en) 2019-04-24
JP7005269B2 (ja) 2022-01-21
US11069029B2 (en) 2021-07-20
US20190114741A1 (en) 2019-04-18
CN109688348A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
US10796543B2 (en) Display control apparatus, display control method, camera system, control method for camera system, and storage medium
US10404947B2 (en) Information processing apparatus, information processing method, camera system, control method for camera system, and storage medium
US10070043B2 (en) Image processing system, image processing method, and program
JP6270325B2 (ja) 情報処理装置およびその制御方法
US10951873B2 (en) Information processing apparatus, information processing method, and storage medium
US20180343435A1 (en) Display control apparatus, display control method, and storage medium
JP6602067B2 (ja) 表示制御装置、表示制御方法、プログラム
WO2021168804A1 (zh) 图像处理方法、图像处理装置和图像处理系统
US10009583B2 (en) Projection system, projection apparatus, information processing method, and storage medium
US10187610B2 (en) Controlling display based on an object position in an imaging space
CN109688348B (zh) 信息处理装置、信息处理方法和存储介质
US20180276458A1 (en) Information processing device, method and storage medium
US11172188B2 (en) Information processing apparatus, information processing method, and storage medium
US11528462B2 (en) Display control apparatus, method for controlling display control apparatus, and storage medium
US20150326831A1 (en) Management apparatus, a managing method, a storage medium
JP6679430B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2021103426A (ja) 画像処理装置、画像処理方法、およびプログラム
US20240155226A1 (en) Information processing apparatus, control apparatus, and control method
US20240144530A1 (en) Method, program, and system for 3d scanning
JP7130375B2 (ja) 画像処理装置、撮影装置、画像処理方法、およびプログラム
JP2018082242A (ja) 撮影支援装置及び撮影支援プログラム
JP6089549B2 (ja) 情報処理装置、情報処理システム、およびプログラム
JP2017117027A (ja) 情報処理装置、プログラム及び制御方法
JP2016114626A (ja) 画像表示装置
JP2018013854A (ja) 追跡装置および追跡方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant