CN110009557A - 信息处理装置、信息处理方法和存储介质 - Google Patents

信息处理装置、信息处理方法和存储介质 Download PDF

Info

Publication number
CN110009557A
CN110009557A CN201811591092.XA CN201811591092A CN110009557A CN 110009557 A CN110009557 A CN 110009557A CN 201811591092 A CN201811591092 A CN 201811591092A CN 110009557 A CN110009557 A CN 110009557A
Authority
CN
China
Prior art keywords
region
images
unit
information processing
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811591092.XA
Other languages
English (en)
Inventor
小暮宪太朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018160283A external-priority patent/JP7182953B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN110009557A publication Critical patent/CN110009557A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • G06T3/047Fisheye or wide-angle transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/22Cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种信息处理装置、信息处理方法和存储介质。根据本发明的一个实施例的该信息处理装置包括:设置单元,用于根据从作为通过使用鱼眼镜头所拍摄到的拍摄图像的全方位图像所获得的至少一个关注区域的数量和位置,来设置输出从所述全方位图像所获得的部分图像所使用的图案;提取单元,用于根据所述设置单元所设置的图案,从所述全方位图像中剪切包括所述关注区域的部分图像;校正单元,用于对所述提取单元所剪切的部分图像进行失真校正处理;以及输出单元,用于根据所述设置单元所设置的图案,输出所述校正单元进行了所述失真校正处理的部分图像。

Description

信息处理装置、信息处理方法和存储介质
技术领域
本发明涉及信息处理装置、系统、信息处理方法和存储介质。
背景技术
传统上,安装有鱼眼镜头的鱼眼照相机被广泛用作监视照相机的类型其中之一。由于单个鱼眼照相机可以监视360度的视野,因此这使得减少了照相机的数量并降低了其成本。此外,存在如下的照相机,该照相机不仅可以毫无改变地输出从鱼眼照相机获得的全方位图像,而且还可以输出进行了多个类型的剪切处理或失真校正处理的图像或视频。在这种照相机中,同样在使用诸如人物检测或移动物体检测等的各种视频内容分析等的情况下,经常使用进行了剪切处理和失真校正处理的图像。此外,这种照相机可以输出进行了多个类型的剪切处理和失真校正处理的多个视频,并且进行与拍摄环境或安装环境相对应的监视。
然而,需要经由用户界面设置适合于用户所监视的拍摄场景的剪切处理或失真校正方案。此外,在使用曾经设置的剪切处理和失真校正方案的情况下,将难以适应拍摄场景的变化。例如,日本特开2015-222917公开了检测多个图像的特征量并且针对所指定的各图像的各连续显示时间切换显示装置的方法。
然而,关于鱼眼照相机所获得的拍摄图像的显示,对适合于拍摄场景的显示的需求不断增加。
发明内容
本发明的一种信息处理装置,包括:设置单元,用于根据从作为通过使用鱼眼镜头所拍摄到的拍摄图像的全方位图像所获得的至少一个关注区域的数量和位置,来设置输出从所述全方位图像所获得的部分图像所使用的图案;提取单元,用于根据所述设置单元所设置的图案,从所述全方位图像中剪切包括所述关注区域的部分图像;校正单元,用于对所述提取单元所剪切的部分图像进行失真校正处理;以及输出单元,用于根据所述设置单元所设置的图案,输出所述校正单元进行了所述失真校正处理的部分图像。
本发明的一种信息处理装置所进行的信息处理方法,所述信息处理方法包括:设置步骤,用于根据从作为通过使用鱼眼镜头所拍摄到的拍摄图像的全方位图像所获得的至少一个关注区域的数量和位置,来设置输出从所述全方位图像所获得的部分图像所使用的图案;剪切步骤,用于根据所述设置步骤所设置的图案,从所述全方位图像中剪切包括所述关注区域的部分图像;校正步骤,用于对所述剪切步骤所剪切的部分图像进行失真校正处理;以及输出步骤,用于根据所述设置步骤所设置的图案,输出进行了所述失真校正处理的部分图像。
本发明的一种非暂时性存储介质,其包括程序,所述程序使计算机用作上述信息处理装置的各单元。
通过以下参考附图对典型实施例的说明,本发明的更多特征将变得明显。
附图说明
图1是示出照相机的硬件结构的示例的图。
图2是示出摄像单元的示例的图。
图3是示出照相机的软件结构的示例的图。
图4是示出拍摄图像的示例的图。
图5是示出输出单元所输出的图像的示例的图。
图6是示出拍摄图像的示例的图。
图7是示出输出单元所输出的图像的示例的图。
图8是示出照相机中的信息处理的示例的流程图。
图9是示出照相机中的信息处理的示例的流程图。
图10是示出图案1的示例的图。
图11是示出进行了失真校正处理的图像的示例的图。
图12是示出图案2的示例的图。
图13是示出进行了失真校正处理的图像的示例的图。
图14是示出图案3的示例的图。
图15是示出进行了失真校正处理的图像的示例的图。
图16是示出输出单元所输出的图像的示例的图。
图17是示出构成摄像系统的装置的硬件结构的示例的图。
图18是示出构成摄像系统的装置的软件结构的示例的图。
图19是示出客户端装置中的信息处理的示例的流程图。
图20是示出拍摄图像的示例的图。
图21是示出除图案2以外的图案的示例的图。
图22是示出客户端装置的信息处理的示例的流程图。
图23是示出图案3的示例的图。
图24是示出进行了失真校正处理的图像的示例的图。
图25是示出图案2的示例的图。
图26是示出进行了失真校正处理的图像的示例的图。
图27是示出图案3的示例的图。
图28是示出进行了失真校正处理的图像的示例的图。
图29是示出图案3的示例的图。
图30是示出进行了失真校正处理的图像的示例的图。
图31是示出图案3的示例的图。
图32是示出图案3的示例的图。
图33是示出进行了失真校正处理的图像的示例的图。
图34是示出图案1的示例的图。
图35是示出进行了失真校正处理的图像的示例的图。
具体实施方式
以下将基于附图来说明本发明的实施例。以下将说明使用照相机作为摄像设备的情况。
第一实施例
图1是示出照相机10的硬件结构的示例的图。照相机10是鱼眼照相机。照相机10包括摄像单元11、CPU 12、存储器13、输入单元14、显示单元15和通信单元16作为硬件结构。摄像单元11拍摄被摄体图像。在后面所述的图2中示出摄像单元11的详情。CPU 12控制整个照相机10。存储器13存储程序、摄像单元11所拍摄到的图像、或者设置值等。向输入单元14输入用户选择操作等,并且输入单元14将该用户选择操作等传递至CPU 12。显示单元15根据CPU 12的控制来显示画面等。通信单元16使照相机10连接至网络并且控制与其它装置的通信。在CPU 12根据存储器13中所存储的程序进行处理的情况下,实现后面所述的图3所示的照相机10的软件结构和后面所述的图8的流程图的处理。照相机10是信息处理装置的示例。还可以将以下实施例应用于累积经由网络从照相机10获取到的全方位图像的记录服务器、或者用于显示全方位图像的终端装置。
图2是示出摄像单元11的示例的图。摄像单元11包括由一组多个透镜构成的透镜201以及诸如CCD或CMOS等的摄像器件202。此外,摄像单元11具有用于降低噪声的相关双采样(CDS)电路203。此外,摄像单元11包括用于自动进行照相机的增益控制的增益控制放大器电路(自动增益控制(AGC))204。此外,摄像单元11包括将模拟信号转换成数字信号的模数(A/D)转换器205。
图3是示出照相机10的软件结构的示例的图。拍摄控制单元101控制摄像单元11并且将来自摄像单元11的信号传递至图像生成单元102。图像生成单元102根据所接收到的信号生成拍摄图像。判断单元103根据拍摄图像判断拍摄场景。图案设置单元104从拍摄图像中剪切部分图像,并且设置将进一步校正了失真的图像配置在输出图像上的图案。提取位置设置单元105根据所设置的图案来设置拍摄图像的剪切位置。提取单元106在提取位置设置单元105所设置的剪切位置处剪切图像。失真校正处理单元107进行与提取单元106所剪切的图像相对应的失真校正,并且进行用于配置根据图案设置单元104所设置的图案而剪切的图像作为输出图像的处理。输出单元108输出失真校正处理单元107校正了失真的图像信号。
将详细说明上述各组件的操作。
首先,将通过使用图2和图3来详细说明摄像设备。摄像器件202将经由作为摄像光学系统的透镜201所拍摄到的被摄体图像转换成电气信号。透镜201可以是失真大且图像角度宽的广角镜头或鱼眼镜头。在本实施例中,将说明提供鱼眼镜头作为摄像设备的鱼眼照相机的情况。CDS电路203对从摄像器件202输出的电气信号进行相关双采样处理等。AGC放大器204对从CDS电路203输出的电气信号进行放大处理等。A/D转换器205将AGC放大器204放大后的模拟信号转换成数字信号。
拍摄控制单元101将从摄像单元11获得的亮度信号和颜色信号传递至图像生成单元102。图像生成单元102根据所获得的亮度信号和颜色信号生成诸如RGB图像或YUV图像等的图像信号。判断单元103根据图像生成单元102所生成的图像来判断关注区域的数量和关注区域的位置。图案设置单元104基于判断单元103所判断出的图像内的关注区域的数量和位置(或分布)来设置图案。提取位置设置单元105与图案设置单元104所设置的图案相对应地设置剪切判断单元103所判断出的图像内的关注区域的位置。此时,设置关注区域未被分割的剪切位置。提取单元106使用提取位置设置单元105所设置的剪切位置来从图像生成单元102所生成的图像中剪切部分图像。失真校正处理单元107对提取单元106所剪切的图像进行诸如各种几何转换等的失真校正处理。然后,失真校正处理单元107根据图案设置单元104所设置的图案来进行用于配置失真校正后的图像作为输出图像的处理。
现在将通过使用图4~图7来说明提取单元106进行剪切处理的图像和失真校正处理单元107进行失真校正处理的图像。图4的全方位图像30是通过使用安装在室内天花板上的具有鱼眼镜头的鱼眼照相机拍摄垂直于地板的方向所获得的图像的示例。在图4的全方位图像30中,提取单元106剪切除虚线划分的区域300以外的、分别由虚线划分的区域301和区域302。图5示出在失真校正处理单元107对区域301和302进行失真校正处理并且使区域302垂直反转并连接至区域301之后所获得的输出图像的示例。
图4是如下的示例:区域300被识别为无效区域且未被用作输出图像,并且包括关注区域的区域301和302被识别为有效区域且被用作输出图像。此外,如图6所示,可能存在提取单元106部分地剪切作为关注区域的区域400~402并且失真校正处理单元107进行失真校正处理的其它示例。将在对图6所示的剪切区域400~402进行失真校正处理之后所输出的图像配置在图7的区域400~402中。
在图6的示例中,图6的区域400~402的图像被识别为有效区域且被用作输出图像,并且其它区域被识别为无效区域且未被用作输出图像。注意,输出单元108可以合成三个部分图像以输出单个图像,或者可以将这三个部分图像作为多个流输出。同样,在四个以上的部分图像的情况下,例如,在根据输出单元108所输出的图像的大小进行缩放之后,可以合成并输出各个剪切图像,或者可以将各个剪切图像作为多个流输出。输出单元108输出失真校正处理单元107进行了失真校正处理的图像信号。图像信号可被输出到内置在照相机10中的显示器、或者经由通信单元16连接至网络的外部终端装置。
将通过使用图8的流程图来说明在照相机10根据拍摄图像中的关注区域的条件来设置用于输出图像的图案和剪切位置时的示例。
在步骤S101中,判断单元103获取图像生成单元102所生成的图像。该图像是在进行失真校正处理之前获取到的全方位图像。接着,在步骤S102中,判断单元103从在进行失真校正处理之前获取到的全方位图像中提取关注区域。
接着,在步骤S103中,判断单元103判断是否存在一个以上的关注区域。判断单元103可以计算图像内的面部或人物的分布,并且将图像内的面部或人物的数量大于所设置的数量的区域判断为关注区域,或者将密度高于所设置的值的区域判断为关注区域。此外,判断单元103可以根据单个图像计算面部或人物的停留程度或动线密度,或者可以根据多个图像计算面部或人物的停留程度或动线密度。注意,在通过使用图案匹配来检测面部或人物的情况下,需要对曾经进行了失真校正的图像检测面部或人物。此外,判断单元103可以简化分析并对大小大于预定大小的前景区域的数量进行计数。在本实施例中,判断单元103针对在进行失真校正处理之前所获得的全方位图像内的周边区域,将位于具有预定大小的区域内的人数大于或等于预定数量(例如,三个)的区域判断为关注区域。
另一方面,判断单元103针对在进行失真校正处理之前获得的全方位图像内的中心区域,将在具有所设置的大小的区域内一个或多个人物位于的区域判断为关注区域。这是因为,在进行失真校正处理之前所获得的图像中,位于中心的人物被拍摄得大于位于周边的人物。上述的区域的所设置的大小可被预先确定为相对于整个图像的占有比例并被存储在存储器13中,或者可以根据经由输入单元14等的用户操作而被存储在存储器13等中。如果在图像中不存在关注区域(S103中为“否”),则判断单元103进入步骤S104,并且如果在图像中存在一个以上的关注区域(S103中为“是”),则判断单元103进入步骤S105。
在步骤S104中,图案设置单元104设置用户预先设置的图案。此外,提取位置设置单元105设置与该图案相对应的剪切位置。在该示例中,用户预先设置的图案可以是图案1、图案2和图案3中的任一图案,或者可以是剪切之前的全方位图像。在本实施例中,使用可以俯瞰整个图像的剪切之前的全方位图像作为用户预先设置的图案,并且输出该全方位图像。在步骤S105中,判断单元103判断是否存在两个以上的关注区域。如果不存在两个以上的关注区域(S105中为“否”),则判断单元103进入步骤S106,并且如果存在两个以上的关注区域(S105中为“是”),则判断单元103进入步骤S107。
在步骤S106中,图案设置单元104设置不输出分割图像而是输出单个图像以支持单个关注区域的图案1。此外,提取位置设置单元105设置剪切位置,使得包括单个关注区域以支持所设置的图案1。
在步骤S107中,判断单元103判断是否存在三个以上的关注区域。如果不存在三个以上的关注区域(S107中为“否”),则判断单元103进入步骤S108,并且如果存在三个以上的关注区域(S107中为“是”),则判断单元103进入步骤S109。在步骤S108中,图案设置单元104设置生成并输出双窗口分割图像(双全景)以支持两个关注区域的图案2。此外,提取位置设置单元105设置剪切位置,使得所检测到的各关注区域未被分割以支持所设置的图案2。在步骤S109中,图案设置单元104设置生成并输出四窗口分割图像以支持三个以上的关注区域的图案3。此外,提取位置设置单元105剪切关注区域以支持所设置的图案。
将通过使用图9的流程图来说明如下的示例:根据照相机10所设置的图案和剪切位置来剪切图像,对该图像进行失真校正,并且输出如此得到的图像。
在步骤S150中,提取单元106根据图案设置单元104所设置的图案和提取位置设置单元105所设置的位置来从拍摄图像中剪切关注区域。在步骤S106中所设置的图案1和剪切位置的示例中,提取单元106从图10的整个图像中剪切位于虚线所包围的单个左上部中的关注区域501。此外,在步骤S108中所设置的图案2和剪切位置的示例中,提取单元106在图12的整个图像内从通过排除虚线所包围的中心处的无效区域而获得的两个半圆区域601和602中剪切部分图像。也就是说,设置剪切位置,使得在两个剪切图像各自中包括关注区域。此外,在步骤S109中所设置的图案3和剪切位置的示例中,提取单元106从图14的整个图像中剪切虚线所包围的三个关注区域701、702和703。
在步骤S151中,失真校正处理单元107对步骤S150中所剪切的图像进行失真校正处理。例如,在图案是图案1或图案3的情况下,失真校正处理单元107进行与该图案相对应的失真校正处理。此外,例如,在所设置的图案是图案2的情况下,失真校正处理单元107进行与该图案和剪切位置相对应的失真校正处理。如这里使用的失真校正处理例如是图像的放大或缩小或几何转换等的处理。
在步骤S152中,输出单元108输出在步骤S151中进行了失真校正处理的图像。图11是示出如下示例的图:根据步骤S106的设置来剪切图10的关注区域501的图像,对该图像进行失真校正处理,并且将如此得到的图像输出至后面所述的图17所示的客户端装置20。此外,图13是示出如下示例的图:根据步骤S106的设置来剪切图12的区域601和602,对这些区域进行失真校正处理,并且输出如此得到的图像。
如图13所示,针对图案2输出被称为双全景的双窗口分割图像。此外,图15是示出如下示例的图:根据步骤S109的设置来剪切图14的关注区域701、702和703,对这些区域进行失真校正处理,并且输出如此得到的图像。也就是说,针对图案3输出四窗口分割图像。注意,在选择图案3并且仅存在三个关注区域的情况下,出现空区域。在这种情况下,输出单元108可以如在图16的图像中所看到的重新排列剪切图像701、702和703,并且如图16的801所示将作为拍摄图像的全方位图像缩小并输出到空区域。这种全方位图像在存在五个以上的关注区域的情况下是有效的。
注意,在图8所示的流程图中,在存在三个以上的关注区域的情况下选择图案3。在存在五个以上的关注区域的情况下并且在将各关注区域分配至相应的分割图像的情况下,可能出现不能被输出的一个以上的关注区域。在本实施例中,在存在五个以上的关注区域的情况下,可以将相邻的关注区域分组以创建四个组。此外,在存在五个以上的关注区域的情况下、或者在关注区域彼此重叠并且不能设置最佳剪切位置的情况下,可以输出在进行失真校正之前所获得的全方位图像以能够俯瞰整体,而不输出部分图像。
本实施例的各图案是剪切时的示例。可以使用剪切数量和剪切位置有所不同的其它图案。此外,各个图案的改变定时可被立即反映到判断单元103的判断结果,可以以预定的恒定间隔发生,或者可以由用户随意改变。失真校正处理单元107对剪切图像进行失真校正处理,并且从输出单元108输出该图像。
如上所述,根据本实施例的处理,可以防止由于图像剪切操作而剪切关注区域(关注被摄体)。此外,可以在无需用户进行设置的情况下输出根据拍摄场景等进行了合适的剪切处理和失真校正处理的图像。因此,由于根据拍摄场景等适当地改变图像的图案和失真校正处理,因此可以提供适合于监视的图像。
第二实施例
图17是示出构成摄像系统的装置的硬件结构的示例的图。在摄像系统中,照相机10和客户端装置20经由网络连接以能够彼此进行通信。网络可以是有线网络或无线网络。照相机10的硬件结构与第一实施例中的硬件结构相同。在CPU 12根据存储器13中所存储的程序进行处理的情况下,实现后面所述的图18所示的照相机10的软件结构等。客户端装置20包括CPU 21、存储器22、输入单元23、显示单元24和通信单元25作为硬件结构。CPU 21控制整个客户端装置20。存储器22存储程序、从照相机10发送来的图像、或者设置值等。向输入单元23输入用户选择操作等,并且输入单元23将该用户选择操作等传递至CPU 21。显示单元24根据CPU 21的控制来显示窗口等。通信单元25使客户端装置20连接至网络并且控制与其它装置(例如,照相机10)的通信等。在CPU 21根据存储器22中所存储的程序进行处理的情况下,实现后面所述的图18所示的客户端装置20的软件结构和后面所述的图19的流程图的处理。客户端装置20是信息处理装置的示例。
图18是示出构成摄像系统的装置的软件结构的示例的图。由于照相机10的摄像单元11和图像生成单元102具有与第一实施例中的结构相同的结构,因此将省略对该结构的说明。拍摄方向检测单元121检测摄像单元11的拍摄方向。例如,拍摄方向检测单元121可以从陀螺仪传感器的输出获取拍摄角度。由于客户端装置20的判断单元103、图案设置单元104、提取位置设置单元105、提取单元106、失真校正处理单元107和输出单元108具有与第一实施例中的照相机10相同的结构,因此将省略对该结构的说明。通信单元122与照相机10进行通信,并且接收图像生成单元102所生成的图像和拍摄方向检测单元121所检测到的拍摄方向。
接着,将通过使用图19所示的流程图来说明在包括照相机10和客户端装置20的摄像系统根据拍摄图像中的关注区域的条件来设置并输出图像的图案和剪切位置时的示例。由于图19的流程图的步骤S101~S109具有与第一实施例中的各个步骤相同的处理内容和相同的处理流程,因此将省略对这些步骤的说明。此外,由于图10~图15的图案等与同第一实施例中的处理内容相同的处理内容有关,因此将省略对这些图案的说明。
在步骤S201中,判断单元103根据拍摄方向检测单元121所检测到的并且经由通信单元122所接收到的摄像单元11的拍摄方向来判断摄像单元11的拍摄方向是否是水平方向。在该步骤中,拍摄方向是水平方向例如对应于诸如照相机10安装在墙面上等的情况,否则对应于诸如照相机10安装到天花板并拍摄垂直方向等的情况。判断单元103在判断为拍摄方向是水平方向的情况下进入步骤S106,并且在判断为拍摄方向不是水平方向的情况下进入步骤S108。在图案2的情况下,对整个图像的除中心部分外的周边图像进行剪切处理和失真校正处理。因此,在拍摄方向是水平方向的情况下,在步骤S106中图案设置单元104设置图案1。此外,提取位置设置单元105设置如下的剪切位置,该剪切位置剪切单个部分图像以包括两个关注区域从而支持所设置的图案1。此时,由于认为关注区域出现在全方位图像的除上下区域外的中心部,因此设置剪切位置以剪切全方位图像的中心部。另一方面,在摄像单元11不是沿水平方向取向、即例如沿垂直方向取向的情况下,在步骤S108中图案设置单元104设置图案2。此外,提取位置设置单元105设置剪切位置,使得各关注区域包括在所剪切的两个部分图像中以支持所设置的图案2。
在步骤S202中,判断单元103判断如图20所示诸如特定移动物体等的关注区域是否出现在整个图像的中心部。如果诸如特定移动物体等的关注区域出现在整个图像的中心部(S202中为“是”),则判断单元103进入步骤S203,并且如果诸如特定移动物体等的关注区域没有出现在整个图像的中心部(S202中为“否”),则判断单元103结束图19的流程图的处理。
在步骤S203中,图案设置单元104暂时设置除图案2外的图案(例如,如图21所示的图案3)。此外,提取位置设置单元105根据所设置的图案3来设置剪切三个部分图像使得分别包括关注区域的位置。在该示例中,判断单元103可以通过使用面部识别等将特定被摄体识别为特定移动物体,或者可以在移动物体的大小或速度超过预先确定的阈值或用户所设置的阈值的情况下将特定被摄体识别为特定移动物体。此外,图像的中心部例如指的是从图像的中心起所设置的范围内的区域。图案2是第一图案的示例。步骤S203的处理是设置除第一图案外的图案的处理的示例。
如上所述,根据本实施例的处理,除可以提供第一实施例的优点外,还可以提供适合于特定移动物体的监视的图像。
第三实施例
在第三实施例中,将说明与第一实施例和第二实施例不同的示例,在该示例中,根据拍摄图像中的关注区域的条件来设置图案和与该图案相对应的剪切位置。由于照相机10和客户端装置20的硬件结构和软件结构与上述实施例中的硬件结构和软件结构相同,因此将省略对这些硬件结构和软件结构的说明。在CPU 21根据存储器22中所存储的程序进行处理的情况下,实现后面所述的图22所示的流程图的处理。
接着,将通过使用图22所示的流程图来说明在包括照相机10和客户端装置20的摄像系统根据拍摄图像中的关注区域的条件来设置并输出图像的图案和剪切位置时的示例。该流程图的步骤S106~S109和步骤S201分别具有与第一实施例和第二实施例中的处理内容和处理流程相同的处理内容和处理流程。此外,可以将在第一实施例和第二实施例的流程图中分别示出的步骤S101~S105、步骤S202和步骤S203的处理添加到图22的处理。
由于图23~图28的图案等与第一实施例中的图案相同,因此将省略对这些图案的说明。
在步骤S301中,判断单元103判断是否存在五个以上的关注区域。如果不存在五个以上的关注区域(S301中为“否”),则判断单元103进入步骤S109,并且如果存在五个以上的关注区域(S301中为“是”),则判断单元103进入步骤S302。在步骤S109中,在如图23所示、存在四个(即少于五个)关注区域的情况下,图案设置单元104选择如图24所示的图案3,并且根据区域1001~区域1004之间的各个对应关系来对区域进行分割。此外,尽管在该示例中关注区域为五个,但关注区域的数量可以是超过图案设置单元104能够对区域进行分割的分割数量的任何数量。
在步骤S302中,判断单元103判断在拍摄图像内是否设置了优先区域。如果在拍摄图像内没有设置优先区域(S302中为“否”),则判断单元103进入步骤S303,并且如果在拍摄图像内设置了优先区域(S302中为“是”),则判断单元103进入步骤S306。图25是在存在五个关注区域的情况下的示例,并且判断单元103判断五个位置的位置关系。由于在图案2的情况下可以输出所有的五个关注区域,因此在步骤S303中,图案设置单元104选择如图26所示的图案2。此时,提取位置设置单元105在各个关注区域未被分割的位置处设置剪切位置。结果,图像提取单元106在各个关注区域未被分割的位置处剪切区域1101和区域1102。此外,失真校正处理单元107进行失真校正处理。
在步骤S304中,判断单元103判断如图27所示作为关注区域的被摄体是否进入位于中心的区域1103。如果被摄体进入位于中心的区域(S304中为“是”),则判断单元103进入步骤S305,并且如果没有被摄体进入位于中心的区域(S304中为“否”),则判断单元103结束图22的流程图的处理。在步骤S305中,图案设置单元104可以如图28所示暂时选择全方位图像作为包括图27的区域1101~区域1103的所有区域的区域1104。此外,在被摄体从区域1103消失的情况下,图案设置单元104将再次如图26所示设置图案2。
在步骤S306中,在拍摄图像内设置了检测区域的情况下,判断单元103判断在所设置的检测区域内是否存在要检测的对象。如果在拍摄图像内预先设置的检测区域内不存在要检测的对象(S306中为“否”),则判断单元103进入步骤S307,并且如果在拍摄图像内预先设置的检测区域内存在要检测的对象(S306中为“是”),则判断单元103进入步骤S308。
图29是示出设置了优先区域但未设置检测区域的情况的示例。将图29的区域1205设置为优先区域。优先区域是如下的区域,在该区域中,无论该区域是否被检测为关注区域,都剪切并输出与优先区域相对应的部分图像。然而,可以在图像中的任意区域中设置优先区域。此外,可以设置多个优先区域。图31进一步示出在图像中设置的检测区域1206的示例。如这里使用的检测区域是用于检测诸如人物进入区域或从区域消失等的特定事件的区域。图32表示检测到人物进入检测区域1206。
在步骤S308中,图案设置单元104选择图32所示的优先区域1205(1202)和检测区域1206(1207),并且进一步从步骤S102中所提取的关注区域中选择关注度高的区域。然后,图案设置单元104将图案3设置成具有图33的图像配置。此时,从关注区域中选择包括更多人数的区域1201和1203作为关注度更高的区域。然后,提取位置设置单元105设置剪切与优先区域1205、检测区域1206以及区域1201和1203相对应的部分图像的剪切位置。结果,图像提取单元106从区域1201、1203、1205和1206中剪切部分图像。该处理是如下处理的示例:在全方位图像内设置了优先区域的情况下,无论优先区域是否被检测为关注区域,图像提取单元106都优先并剪切与优先区域相对应的部分图像。此外,该处理也是如下处理的示例:在全方位图像内设置了检测区域的情况下,即使在该检测区域被检测为与其它关注区域相比关注度更低的区域时,图像提取单元106也优先并剪切与检测区域相对应的部分图像。失真校正处理单元107对所剪切的各个部分图像进行失真校正处理。
在步骤S307中,在没有设置检测区域的情况下,选择图29所示的优先区域1205,并且进一步从步骤S102中所提取的关注区域中选择关注度更高的区域1201、1203和1204。然后,图案设置单元104将图案3设置成具有图30的配置。由于在图29中没有设置检测区域,因此不选择位于与图32中的区域1207相同的位置处的图29中的关注区域,而是选择关注区域1204。这是因为关注区域1204与位于同图32中的区域1207相同的位置处的图29中的关注区域相比包括更多的人数,因而具有更高的关注度。注意,尽管在图29的左侧存在包括与关注区域1204相同的人数的关注区域,但由于本实施例被设置成优先“女性”作为人物属性,因此选择关注区域1204。
此外,提取位置设置单元105设置剪切位置,使得剪切与所选择的区域1201、1202(1205)、1203和1204相对应的部分图像。
在步骤S309中,判断单元103判断是否检测到两个关注区域并且所检测到的两个关注区域的位置是否彼此接近。在失真校正之前获得的鱼眼照相机所拍摄到的圆形拍摄图像的单个半圆(除中心区域外)内存在两个关注区域的情况下,判断单元103判断为所检测到的两个关注区域的位置彼此接近。在如图34所示判断为两个关注区域彼此接近的情况下,判断单元103进入步骤S106。即,选择图案1,并且将除中心区域外的半圆设置为剪切位置。失真校正之后的图像将是如图35所示的单个全景图像。另一方面,在如图12所示判断为两个关注区域彼此不接近的情况下,判断单元103进入步骤S108。结果,将显示如图13所示的双全景图像。
如上所述,根据本实施例的处理,除可以提供第一实施例和第二实施例的优点外,还可以提供适合于考虑到特定区域、物体和移动物体的监视的图像。注意,可以在适当时组合第一实施例至第三实施例所述的图案的选择。
其它实施例
还可以通过读出并执行记录在存储介质(还可被更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如,一个或多个程序)以进行上述实施例中的一个或多个的功能以及/或者包括用于进行上述实施例中的一个或多个的功能的一个或多个电路(例如,专用集成电路(ASIC))的系统或设备的计算机和通过下面的方法来实现本发明的各实施例,其中,该系统或设备的计算机通过例如从存储介质读出并执行计算机可执行指令以进行上述实施例中的一个或多个的功能以及/或者控制该一个或多个电路以进行上述实施例中的一个或多个的功能来进行上述方法。该计算机可以包括一个或多个处理器(例如,中央处理单元(CPU)、微处理单元(MPU)),并且可以包括单独计算机或单独处理器的网络,以读出并执行计算机可执行指令。例如可以从网络或存储介质将这些计算机可执行指令提供至计算机。该存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算机系统的存储器、光盘(诸如致密盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)TM等)、闪速存储装置和存储卡等中的一个或多个。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。
例如,在上述的实施例中,可以将作为摄像设备进行说明的照相机应用于数字静止照相机或数字摄像机。
此外,可以将上述的软件结构的一部分或全部作为硬件结构在装置中实现。
此外,可以使用图形处理单元(GPU)来代替CPU作为硬件结构。
如上所述,根据上述的各实施例,可以输出在无需由用户进行设置的情况下实时地进行了适合于拍摄场景等的剪切处理和失真校正处理的图像。

Claims (21)

1.一种信息处理装置,包括:
设置单元,用于根据从作为通过使用鱼眼镜头所拍摄到的拍摄图像的全方位图像所获得的至少一个关注区域的数量和位置,来设置输出从所述全方位图像所获得的部分图像所使用的图案;
提取单元,用于根据所述设置单元所设置的图案,从所述全方位图像中剪切包括所述关注区域的部分图像;
校正单元,用于对所述提取单元所剪切的部分图像进行失真校正处理;以及
输出单元,用于根据所述设置单元所设置的图案,输出所述校正单元进行了所述失真校正处理的部分图像。
2.根据权利要求1所述的信息处理装置,其中,所述设置单元进一步根据具有所述鱼眼镜头的摄像单元的拍摄方向来设置所述图案。
3.根据权利要求1所述的信息处理装置,其中,在从所述全方位图像获得两个关注区域的情况下,所述设置单元在所述两个关注区域的位置彼此接近时剪切包括所述两个关注区域的一个部分图像,以及在所述两个关注区域的位置没有彼此接近时设置剪切各自包括一个关注区域的两个部分图像所使用的图案。
4.根据权利要求1所述的信息处理装置,其中,在从所述全方位图像获得三个关注区域、并且所述三个关注区域其中之一位于所述拍摄图像的中心的情况下,所述设置单元设置剪切包括除位于所述拍摄图像的中心的关注区域外的关注区域的部分图像所使用的图案。
5.根据权利要求1所述的信息处理装置,其中,在从所述全方位图像获得三个关注区域的情况下,所述设置单元设置配置与从所述拍摄图像剪切的三个关注区域相对应的部分图像以及经由所述鱼眼镜头所获得的拍摄图像所使用的图案。
6.根据权利要求1所述的信息处理装置,其中,在从所述全方位图像获得五个以上的关注区域的情况下,所述设置单元设置在无需剪切部分图像的情况下输出所述全方位图像所使用的图案。
7.根据权利要求1所述的信息处理装置,其中,在从所述拍摄图像检测到五个以上的关注区域的情况下,所述设置单元将剪切位置设置到各关注区域未被分割的位置,并且输出两个部分图像。
8.根据权利要求1所述的信息处理装置,其中,在所述全方位图像内设置优先区域的情况下,无论所述优先区域是否被检测为关注区域,所述提取单元都优先并剪切与所述优先区域相对应的部分图像。
9.根据权利要求1所述的信息处理装置,其中,在所述全方位图像内设置检测区域的情况下,即使在所述检测区域被检测为与其它关注区域相比关注度更低的关注区域时,所述提取单元也优先并剪切与所述检测区域相对应的部分图像。
10.根据权利要求1所述的信息处理装置,其中,所述信息处理装置是摄像设备。
11.根据权利要求1所述的信息处理装置,其中,所述信息处理装置是能够与摄像设备进行通信的客户端装置。
12.一种信息处理装置所进行的信息处理方法,所述信息处理方法包括:
设置步骤,用于根据从作为通过使用鱼眼镜头所拍摄到的拍摄图像的全方位图像所获得的至少一个关注区域的数量和位置,来设置输出从所述全方位图像所获得的部分图像所使用的图案;
剪切步骤,用于根据所述设置步骤所设置的图案,从所述全方位图像中剪切包括所述关注区域的部分图像;
校正步骤,用于对所述剪切步骤所剪切的部分图像进行失真校正处理;以及
输出步骤,用于根据所述设置步骤所设置的图案,输出进行了所述失真校正处理的部分图像。
13.根据权利要求12所述的信息处理方法,其中,所述设置步骤进一步根据具有所述鱼眼镜头的摄像单元的拍摄方向来设置所述图案。
14.根据权利要求12所述的信息处理方法,其中,在从所述全方位图像获得两个关注区域的情况下,所述设置步骤在所述两个关注区域的位置彼此接近时剪切包括所述两个关注区域的一个部分图像,以及在所述两个关注区域的位置没有彼此接近时设置剪切各自包括一个关注区域的两个部分图像所使用的图案。
15.根据权利要求12所述的信息处理方法,其中,在从所述全方位图像获得三个关注区域、并且所述三个关注区域其中之一位于所述拍摄图像的中心的情况下,所述设置步骤设置剪切包括除位于所述拍摄图像的中心的关注区域外的关注区域的部分图像所使用的图案。
16.根据权利要求12所述的信息处理方法,其中,在从所述全方位图像获得三个关注区域的情况下,所述设置步骤设置配置与从所述拍摄图像剪切的三个关注区域相对应的部分图像以及经由所述鱼眼镜头所获得的拍摄图像所使用的图案。
17.根据权利要求12所述的信息处理方法,其中,在从所述全方位图像获得五个以上的关注区域的情况下,所述设置步骤设置在无需剪切部分图像的情况下输出所述全方位图像所使用的图案。
18.根据权利要求12所述的信息处理方法,其中,在从所述拍摄图像检测到五个以上的关注区域的情况下,所述设置步骤将剪切位置设置到各关注区域未被分割的位置,并且输出两个部分图像。
19.根据权利要求12所述的信息处理方法,其中,在所述全方位图像内设置优先区域的情况下,无论所述优先区域是否被检测为关注区域,所述剪切步骤都优先并剪切与所述优先区域相对应的部分图像。
20.根据权利要求12所述的信息处理方法,其中,在所述全方位图像内设置检测区域的情况下,即使在所述检测区域被检测为与其它关注区域相比关注度更低的关注区域时,所述剪切步骤也优先并剪切与所述检测区域相对应的部分图像。
21.一种非暂时性存储介质,其包括程序,所述程序使计算机用作根据权利要求1至9中任一项所述的信息处理装置的各单元。
CN201811591092.XA 2017-12-25 2018-12-25 信息处理装置、信息处理方法和存储介质 Pending CN110009557A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017-248013 2017-12-25
JP2017248013 2017-12-25
JP2018-160283 2018-08-29
JP2018160283A JP7182953B2 (ja) 2017-12-25 2018-08-29 情報処理装置、システム、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
CN110009557A true CN110009557A (zh) 2019-07-12

Family

ID=64949065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811591092.XA Pending CN110009557A (zh) 2017-12-25 2018-12-25 信息处理装置、信息处理方法和存储介质

Country Status (3)

Country Link
US (1) US10937124B2 (zh)
EP (1) EP3503021B1 (zh)
CN (1) CN110009557A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11295541B2 (en) * 2019-02-13 2022-04-05 Tencent America LLC Method and apparatus of 360 degree camera video processing with targeted view
US11714882B2 (en) * 2020-10-09 2023-08-01 Dragonfruit Ai, Inc. Management of attributes associated with objects in video data
CN112991237B (zh) * 2021-05-20 2021-07-23 南京芯驰半导体科技有限公司 一种图像畸形校正系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102375974A (zh) * 2010-08-06 2012-03-14 佳能株式会社 信息处理设备和信息处理方法
US20120093365A1 (en) * 2010-10-15 2012-04-19 Dai Nippon Printing Co., Ltd. Conference system, monitoring system, image processing apparatus, image processing method and a non-transitory computer-readable storage medium
US20120249726A1 (en) * 2011-03-31 2012-10-04 Tessera Technologies Ireland Limited Face and other object detection and tracking in off-center peripheral regions for nonlinear lens geometries
CN102957863A (zh) * 2011-08-19 2013-03-06 佳能株式会社 摄像设备、图像处理设备和图像处理方法
WO2013172478A1 (en) * 2012-05-18 2013-11-21 Ricoh Company, Limited Video-conference terminal device, video-conference system, image distortion correction method, and image distortion correction processing program product
US20150049220A1 (en) * 2013-08-15 2015-02-19 Kohji KUWATA Image processing apparatus, image processing method and image communication system

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8264524B1 (en) * 2008-09-17 2012-09-11 Grandeye Limited System for streaming multiple regions deriving from a wide-angle camera
CA2788734A1 (en) * 2010-02-01 2011-08-04 Youngkook Electronics, Co., Ltd. Tracking and monitoring camera device and remote monitoring system using same
KR101428169B1 (ko) * 2012-07-09 2014-08-07 현대자동차주식회사 후방 카메라의 영상 왜곡 보정 장치 및 방법
TWI563469B (en) 2013-01-02 2016-12-21 Vivotek Inc Image processor and display method for fisheye image thereof
JP6074750B2 (ja) 2014-05-23 2017-02-08 パナソニックIpマネジメント株式会社 画像切替装置、画像切替システム、及び画像切替方法
EP2988248B1 (en) * 2014-07-22 2019-09-18 Canon Kabushiki Kaisha Image processing apparatus, image processing method, information processing apparatus, information processing method, and program
US10440307B2 (en) 2015-12-22 2019-10-08 Casio Computer Co., Ltd. Image processing device, image processing method and medium
JP6677900B2 (ja) 2016-01-15 2020-04-08 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2017146927A (ja) * 2016-02-19 2017-08-24 ソニーモバイルコミュニケーションズ株式会社 制御装置、制御方法及びプログラム
JP6942940B2 (ja) 2016-03-14 2021-09-29 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2019121857A (ja) * 2017-12-28 2019-07-22 キヤノン株式会社 電子機器及びその制御方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102375974A (zh) * 2010-08-06 2012-03-14 佳能株式会社 信息处理设备和信息处理方法
US20120093365A1 (en) * 2010-10-15 2012-04-19 Dai Nippon Printing Co., Ltd. Conference system, monitoring system, image processing apparatus, image processing method and a non-transitory computer-readable storage medium
US20120249726A1 (en) * 2011-03-31 2012-10-04 Tessera Technologies Ireland Limited Face and other object detection and tracking in off-center peripheral regions for nonlinear lens geometries
CN102957863A (zh) * 2011-08-19 2013-03-06 佳能株式会社 摄像设备、图像处理设备和图像处理方法
WO2013172478A1 (en) * 2012-05-18 2013-11-21 Ricoh Company, Limited Video-conference terminal device, video-conference system, image distortion correction method, and image distortion correction processing program product
US20150109401A1 (en) * 2012-05-18 2015-04-23 Kiyoshi Kasatani Video-conference terminal device, video-conference system, image distortion correction method, and image distortion correction processing program product
US20150049220A1 (en) * 2013-08-15 2015-02-19 Kohji KUWATA Image processing apparatus, image processing method and image communication system

Also Published As

Publication number Publication date
EP3503021A1 (en) 2019-06-26
EP3503021B1 (en) 2022-07-20
US10937124B2 (en) 2021-03-02
US20190197660A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
US10255749B2 (en) Systems, methods, and media for immersive roulette gaming
US10671877B2 (en) Method and apparatus for performing privacy masking by reflecting characteristic information of objects
CN110009557A (zh) 信息处理装置、信息处理方法和存储介质
US20190267040A1 (en) Information processing method and image processing apparatus
KR101737857B1 (ko) 재생 제어를 위한 방법, 장치 및 전자 기기
US7015978B2 (en) System and method for real time insertion into video with occlusion on areas containing multiple colors
EP2962455B1 (en) Image processing apparatus, image processing method, and program
CN104809710B (zh) 图像去噪方法以及使用该方法的装置
RU2727101C1 (ru) Устройство обработки изображений, способ и носитель хранения
EP2709062B1 (en) Image processing device, image processing method, and computer readable medium
US8731302B2 (en) Moving image extracting apparatus, program and moving image extracting method
CN104364824A (zh) 物体检测装置
US20120314951A1 (en) Image processing system and image processing method
CN104115487A (zh) 图像处理装置、图像处理方法和程序
CN104823201A (zh) 光照敏感面部识别
CN105744147A (zh) 图像处理装置以及图像处理方法、图像再生装置以及图像再生方法
US20150189191A1 (en) Process and system for video production and tracking of objects
CN108010058A (zh) 一种对视频流中目标对象进行视觉跟踪的方法及系统
US10984248B2 (en) Setting of input images based on input music
CN113490009B (zh) 内容信息植入方法、装置、服务器和存储介质
JP2007279174A (ja) 画像表示制御装置ならびにその制御方法およびそのプログラム
WO2021192811A1 (en) A method and an apparatus for estimating an appearance of a first target
JP7182953B2 (ja) 情報処理装置、システム、情報処理方法及びプログラム
JP5818571B2 (ja) 撮像装置、その制御方法、および制御プログラム
WO2023063088A1 (en) Method, apparatus, system and non-transitory computer readable medium for adaptively adjusting detection area

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190712

WD01 Invention patent application deemed withdrawn after publication