CN109547743A - 信息处理装置、摄像装置、信息处理方法及记录介质 - Google Patents
信息处理装置、摄像装置、信息处理方法及记录介质 Download PDFInfo
- Publication number
- CN109547743A CN109547743A CN201811099802.7A CN201811099802A CN109547743A CN 109547743 A CN109547743 A CN 109547743A CN 201811099802 A CN201811099802 A CN 201811099802A CN 109547743 A CN109547743 A CN 109547743A
- Authority
- CN
- China
- Prior art keywords
- image
- thumbnail image
- fish eye
- unit
- thumbnail
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 26
- 238000003672 processing method Methods 0.000 title claims abstract description 6
- 241000251468 Actinopterygii Species 0.000 claims abstract description 101
- 238000012937 correction Methods 0.000 claims abstract description 26
- 238000003860 storage Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 description 70
- 238000000034 method Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 12
- 238000010276 construction Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 238000010008 shearing Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 230000011218 segmentation Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/74—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/54—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Television Signal Processing For Recording (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供信息处理装置、摄像装置、信息处理方法及记录介质。所述信息处理装置包括:显示控制部,其被构造为使显示部显示,由摄像部拍摄的拍摄图像的缩略图图像;以及接收部,其被构造为接收用于选择缩略图图像以使所述显示部显示拍摄图像的选择指令。在使所述显示部显示,使用鱼眼镜头拍摄的鱼眼图像的缩略图图像、连同表示该缩略图图像是与该鱼眼图像对应的缩略图图像的信息的情况下,所述显示控制部使所述显示部显示,基于通过对鱼眼图像实施失真校正而获取的图像的缩略图图像。
Description
技术领域
本发明涉及信息处理装置、摄像装置、信息处理方法及记录介质。
背景技术
近年来,使用网络的监视相机系统已被广泛使用。监视相机在诸如大规模的公共机构和大型零售店等的广泛领域中使用,并且具有各种功能特征。例如,配备有360度反射镜或全周鱼眼镜头的360度相机是对整个周围的景观进行摄像的摄像装置,并且其可想到的用途广泛地遍及从监视相机到机器人导航。该相机的特征包括,其能够通过一个相机拍摄诸如360度环形或圆形鱼眼图像等的鱼眼图像。此外,关于360度相机,还已知图像剪切功能(去扭曲)。图像剪切功能从鱼眼图像剪切特定位置处的图像,调整鱼眼图像的失真和倾斜,将鱼眼图像转换成最佳角度,并且显示鱼眼图像。
作为用于回放由监视相机拍摄和记录的图像的方法,已知一种显示图像的列表并回放从该图像的列表选择的图像的方法。在该方法中,当显示图像的列表时,与该图像的列表一起显示缩略图和关联信息,从而容易地且可识别地向用户呈现记录图像的内容。日本特开2015-38640号公报讨论了一种检测视频图像中的特定人物并且在显示视频内容的列表时显示将特定人物显现为缩略图的场景的技术。
然而,存在这样的问题:如果将表示360度环形视图的鱼眼图像(如由360度相机拍摄的图像)显示为缩略图,则显示内容以如下方式被呈现:使用户难以识别图像的特征并因此难以识别记录图像的内容。
发明内容
本发明的目的在于,使得用户能够容易地从缩略图图像识别原始图像。
根据本发明的该一个方面,一种信息处理装置包括:显示控制单元,其被构造为使显示单元显示由摄像单元拍摄的拍摄图像的缩略图图像;以及接收单元,其被构造为接收用于选择缩略图图像以使所述显示单元显示拍摄图像的选择指令。在使所述显示单元显示,使用鱼眼镜头拍摄的鱼眼图像的缩略图图像的情况下,所述显示控制单元使所述显示单元显示,基于通过对鱼眼图像实施失真校正而获取的图像的缩略图图像,连同表示该缩略图图像是与该鱼眼图像对应的缩略图图像的信息。
通过以下参照附图对实施例的描述,本发明的其他特征将变得清楚。
附图说明
图1例示了整个摄像系统。
图2例示了摄像系统的硬件构造。
图3例示了摄像系统的功能构造。
图4是例示记录处理的流程图。
图5A和图5B例示了用于生成缩略图图像的处理。
图6是例示显示控制处理的流程图。
图7例示了列表画面的显示示例。
图8A和图8B各例示了缩略图图像的一个示例。
图9是例示根据第二实施例的记录处理的流程图。
图10是例示根据第三实施例的记录处理的流程图。
图11是例示根据第四实施例的记录处理的流程图。
具体实施方式
在以下描述中,将参照附图描述本发明的实施例。
图1例示了根据第一实施例的整个摄像系统100。摄像系统100包括监视相机110和客户端装置120。监视相机110和客户端装置120经由网络130彼此可通信地连接。监视相机110包括360度反射镜或全周鱼眼镜头,并且对整个周围的景观进行摄像以拍摄诸如360度环形或圆形鱼眼图像等的鱼眼图像。监视相机110可以是以真实空间失真的方式拍摄鱼眼图像的任何相机,并且其构造不限于参照图1至图3所描述的构造。假设监视相机110安装在预定位置处。安装监视相机110的位置的示例包括天花板、桌子的顶部以及墙壁。客户端装置120向监视相机110发送各种命令(诸如用于相机调整的命令)。监视相机110向客户端装置120发送对这些命令的响应。监视相机110不必须对整个周围/所有方向进行摄像,并且可以是能够以比通常使用的镜头更宽的视角拍摄图像的任何相机。鱼眼图像可以是以比由通常使用的镜头拍摄的图像更失真的方式拍摄的任何图像。
图2例示了摄像系统100的硬件构造。首先,将描述监视相机110。监视相机110是摄像装置的一个示例。摄像单元211包括镜头和图像传感器,并且负责对被摄体的摄像以及至电信号的转换。图像处理单元212对由摄像单元211摄像的并光电转换的信号进行预定的图像处理和压缩编码处理,从而生成鱼眼图像。在本实施例中,假设鱼眼图像是运动图像,但是作为另一示例可以是静止图像。通信单元217与客户端装置120进行通信。通信单元217例如,将生成的图像数据发送到客户端装置120。此外,通信单元217接收从客户端装置120发送的相机控制命令,并且将所接收的命令发送到系统控制单元213,系统控制单元213反过来可以基于接收到的命令对监视相机110进行控制。通信单元217还将对命令的响应发送到客户端装置120。
系统控制单元213包括中央处理单元(CPU),并且控制整个监视相机110。存储单元216包括内部存储器和外部存储器,并且由摄像单元211拍摄的视频图像被记录到这些存储器中。此外,存储单元216包括只读存储器(ROM)和随机存取存储器(RAM),并且在其中存储各种信息和程序。通过系统控制单元213读出存储在存储单元216中的程序并执行程序来实现下面将描述的监视相机110的功能和处理。
系统控制单元213例如对发送的相机控制命令进行分析并且根据命令进行处理。系统控制单元213还指示图像处理单元212调整图像质量。系统控制单元213还指示镜头控制单元215控制变焦和聚焦。镜头控制单元215基于发送的指令控制镜头驱动单元214。镜头驱动单元214包括用于摄像单元211的聚焦镜头和变焦镜头的驱动系统以及用作驱动系统的驱动源的电机,并且镜头驱动单元的操作由镜头控制单元215控制。
在本实施例中,图像处理单元212被配设为与系统控制单元213不同的硬件。作为另一示例,监视相机110可以不包括图像处理单元212,并且系统控制单元213可以包括与图像处理单元212的功能相似的功能,并且可以进行由图像处理单元212进行的处理。
接下来,将描述客户端装置120。客户端装置120(信息处理装置)可以例如是通用计算机。显示单元221例如是液晶显示设备,并且显示从监视相机110获取的图像和用于控制相机的图形用户界面(在下文中被称为GUI)。输入单元222例如是诸如键盘和鼠标等的指点设备。用户经由输入单元222操作GUI。通信单元224与监视相机110进行通信。
系统控制单元223包括CPU,并且控制整个客户端装置120。存储单元225包括ROM、RAM、硬盘驱动器(HDD)等,并且在其中存储各种信息和程序。通过系统控制单元223读出存储在存储单元225中的程序并执行程序来实现下面将描述的客户端装置120的功能和处理。系统控制单元223例如根据用户的GUI操作生成相机控制命令,并且将生成的命令经由通信单元224发送到监视相机110。此外,系统控制单元223还在显示单元221上显示经由通信单元224从监视相机110接收的图像数据。以这种方式,客户端装置120能够获取监视相机110的拍摄图像并且经由网络130进行各种相机控制。
图3例示了摄像系统100的功能构造。图3的功能单元可以被实现为除了图2中例示的硬件之外的硬件,或者可以被实现为系统100中的各自装置中的单元和/或处理器上的软件模块。图3中例示的功能单元根据如下内容与图2的单元交互。监视相机110的图像获取单元311获取由图像处理单元212获取的鱼眼图像,并且将获取的图像存储到存储单元216中。运动物体检测单元312检测由图像获取单元311获取的鱼眼图像中的运动物体。更具体而言,运动物体检测单元312通过基于背景减法的方法来检测运动物体,在基于背景减法的方法中,根据仅预先摄像了背景的视频图像生成背景模型,并且运动物体检测单元312根据所生成的背景模型与输入的视频图像之间的差分来检测运动物体。用于检测运动物体的具体处理或方法不限于此。作为另一示例,运动物体检测单元312可以通过获取所生成的拍摄视频图像中的相邻两帧之间的图像的差分来从帧中检测运动物体。
剪切单元313剪切鱼眼图像的部分区域。更具体而言,剪切单元313剪切由运动物体检测单元312检测到运动物体的区域。校正单元314对由剪切单元313剪切的鱼眼图像的部分区域实施失真校正,以从鱼眼图像的部分区域中去除鱼眼失真。作为失真校正,校正单元314进行诸如对剪切图像的失真和倾斜的调整以及至最佳角度的转换等的处理。例如,校正单元314使用投影变换来进行失真校正。缩略图图像生成单元315基于由校正单元314实施了失真校正的图像来生成缩略图图像,并且将所生成的缩略图图像与从中剪切了缩略图图像的鱼眼图像相关联地存储到存储单元216中。通信控制单元316控制监视相机110与客户端装置120之间的信息的发送和接收。摄像控制单元317根据经由通信控制单元316从客户端装置120接收的指令来控制由摄像单元211实施的摄像。监视相机110可以以这样的方式构造:由作为与系统控制单元213不同的硬件的图像处理单元212来进行运动物体检测单元312、剪切单元313、校正单元314和缩略图图像生成单元315的处理过程当中的至少一个处理过程。
客户端装置120的通信控制单元321控制客户端装置120与监视相机110之间的信息的发送和接收。显示控制单元322控制显示单元221上的显示。接收单元323接收根据在输入单元222上进行的用户操作的信息。例如,接收单元323可以从如下的用户接收命令,该用户关心与缩略图图像关联的哪个鱼眼图像期望要显示在显示单元221。
图4是例示由监视相机110进行的记录处理的流程图。在步骤S400中,图像获取单元311开始记录视频图像(鱼眼图像)。更具体而言,在从摄像单元211获取鱼眼图像时,图像获取单元311将所获取的图像存储到存储单元216中。接下来,在步骤S401中,运动物体检测单元312使用任何合适的物体检测和跟踪技术来开始检测运动物体。运动物体检测单元312被构造为基于视频图像中的帧逐帧进行运动物体检测处理。运动物体检测单元312可以被构造为以多个帧为间隔来进行运动物体检测处理。接下来,在步骤S402中,运动物体检测单元312确认是否检测到运动物体。如果运动物体检测单元312检测到运动物体(在步骤S402中为“是”),则处理进行到步骤S403。如果运动物体检测单元312没有检测到运动物体(在步骤S402中为“否”),则处理进行到步骤S406。
在步骤S403中,剪切单元313从图像或帧中剪切或提取,检测到运动物体的区域。接下来,在步骤S404中,校正单元314对在步骤S403中剪切的图像实施失真校正。接下来,在步骤S405中,缩略图图像生成单元315生成在步骤S404中进行了失真校正的图像的缩略图图像。然后,缩略图图像生成单元315将缩略图图像与从中剪切了缩略图图像的鱼眼图像相关联地存储到存储单元216中。接下来,在步骤S406中,系统控制单元213确认记录是否结束。如果系统控制单元213没有确认记录结束(在步骤S406中为“否”),则处理返回到步骤S402。如果系统控制单元213确认记录结束(在步骤S406中为“是”),则结束记录处理。以上述方式生成并存储的缩略图图像与被从中剪切了缩略图图像的鱼眼图像相关联,并且被由通信控制单元316发送到客户端装置120。
图5A和图5B例示了用于生成缩略图图像的处理。假设如图5A中所示,在鱼眼图像的帧500中检测到运动物体501。在这种情况下,从帧500中剪切包含运动物体501的区域502的图像。然后,对区域502的图像实施失真校正,并且根据进行了失真校正的图像生成像图5B中所示的示例的缩略图图像510。
图6是例示由客户端装置120进行的显示控制处理的流程图。在步骤S600中,通信控制单元321从监视相机110接收彼此相关联的鱼眼图像和缩略图图像,并且将所接收的图像存储到存储单元225中。假设多个缩略图图像通过该处理被存储到存储单元225中。接下来,在步骤S601中,显示控制单元322进行控制以在显示单元221上显示表示存储单元225中存储的缩略图图像的列表画面。接下来,在步骤S602中,接收单元323确认是否接收到选择缩略图图像的指令。当用户在列表画面上显示的多个缩略图图像当中选择一个缩略图图像时,接收单元323接收到选择指令。本处理是接收处理的一个示例。如果接收单元323接收到选择指令(在步骤S602中为“是”),则处理进行到步骤S603。在步骤S603中,显示控制单元322进行控制以回放并显示与关于选择指令的缩略图图像相关联的鱼眼图像。以这种方式完成显示控制处理。
图7例示了列表画面700的显示示例。多个缩略图图像701以列表形式显示在列表画面700上。此外,与缩略图图像701相关联地显示多个详细信息702。详细信息702是关于鱼眼图像的信息,并且是表示例如拍摄图像的日期和时间以及检测内容的信息。详细信息702可以是,可以帮助用户做出决定(如选择哪个显示的记录图像来回放)的任何信息。
以这种方式,根据第一实施例的客户端装置120显示根据失真校正后的鱼眼图像生成的缩略图图像。换句话说,客户端装置120显示使得用户能够容易地识别鱼眼图像的特征的图像。该显示使得用户能够容易地从缩略图图像识别原始图像。
作为第一实施例的第一变型例,客户端装置120可以基于进行了失真校正的鱼眼图像来显示缩略图图像,并且缩略图图像的显示内容不限于上面所描述的。客户端装置120可以显示例如整个鱼眼图像的缩略图图像,代替鱼眼图像的部分区域的缩略图图像。例如,在鱼眼图像中检测到运动物体的区域占整个图像的多于80%(或多于整个图像的相当大的部分(a substantial part of the entire image))的情况下,更期望的是,显示表示整个鱼眼图像的缩略图图像,而不是显示表示鱼眼图像的一部分的缩略图图像。在这种情况下,校正单元314可以适当地将鱼眼图像划分成多个区域,并且对区域中的各个实施失真校正。在这种情况下,缩略图图像生成单元315例如将进行了失真校正的多个区域的图像组合成一个图像,并且生成组合图像的缩略图图像。例如,可以使用照片拼接方法来组合图像。此外,客户端装置120可以显示表示除运动物体以外的特征的区域的缩略图图像。在这种情况下,监视相机110被构造为通过使用图案匹配而对特征进行检测,来剪切表示作为客户端装置120上的显示的目标的特征的区域而代替运动图像,并且生成并记录缩略图图像。
此外,作为第二变型例,客户端装置120的显示控制单元322或监视相机110的缩略图图像生成单元315可以将表示整个鱼眼图像的图像叠加在与鱼眼图像的部分区域对应的缩略图图像上。图8A和图8B各例示了叠加了整个鱼眼图像的图像的缩略图图像。所述整个鱼眼图像的图像是,表示该缩略图是与鱼眼图像对应的缩略图的信息。除此以外,还可以将使得该图像能够被识别为鱼眼图像的文本“鱼眼图像”或图标叠加在缩略图上,作为表示该缩略图是与鱼眼图像对应的缩略图的信息。
图8A中所示的缩略图图像800是将整个鱼眼图像的缩略图图像802叠加在与鱼眼图像的部分区域对应的缩略图图像801上的图像。与缩略图图像800类似,图8B中所示的缩略图图像810是将整个鱼眼图像的缩略图图像812叠加在与鱼眼图像的部分区域对应的缩略图图像811上的图像。然而,在缩略图图像810中,在缩略图图像812中绘制有代表剪切区域的边界位置的框线813。在这两种情况下,缩略图图像801和811对应于进行了失真校正的图像。由于这种显示,用户能够容易地理解鱼眼图像与缩略图图像之间的位置关系。以这种方式,客户端装置120将整个鱼眼图像和特征部分显示为缩略图图像,由此用户能够容易地识别与缩略图图像对应的拍摄图像是否是鱼眼图像。
此外,一般而言,用于回放并显示鱼眼图像的处理比回放并显示不是鱼眼图像的图像施加更大的处理负荷。根据上面所描述地构造摄像系统100能够降低错误的缩略图被错误地选择为与鱼眼图像对应的缩略图的可能性,从而减少装置上的处理负荷。上述变型例能够彼此独立地实现。
此外,作为第三变型例,客户端装置120可以在显示与鱼眼图像对应的缩略图图像时,在将表示缩略图图像对应于鱼眼图像的信息与缩略图图像相关联的同时显示该信息。更具体而言,监视相机110被构造为生成将表示其原始图像是鱼眼图像的标记和/或字符叠加在与鱼眼图像的剪切图像对应的缩略图图像上的图像作为缩略图图像,并且将该图像发送到客户端装置120。由于该构造,客户端装置120能够显示包括表示其原始图像是鱼眼图像的叠加的标记等的缩略图图像。作为选择,作为另一示例,客户端装置120可以将表示其原始图像是鱼眼图像的信息与缩略图图像相关联地显示,作为详细信息。
此外,作为第四变型例,监视相机110记录鱼眼图像的定时不限于实施例。作为另一示例,监视相机110可以被构造为从检测到运动图像的定时起开始记录。监视相机110可以被构造为进一步将鱼眼图像预先保持在缓冲器中预定时间段,并且还在检测到运动图像的时间点将保持在缓冲器中的鱼眼图像存储到存储单元216中。
此外,作为第五变型例,摄像系统100可以以这样的方式构造:客户端装置120能够进行针对于监视相机110的运动物体检测单元312、剪切单元313、校正单元314和缩略图图像生成单元315中的至少一个所描述的功能和处理。例如,客户端装置120可以进行控制以从监视相机110获取鱼眼图像、检测运动图像、剪切目标区域、生成缩略图以及以列表形式显示缩略图。
根据第二实施例的摄像系统100从检测运动图像的结果中检测诸如丢弃检测到的物体的事件,并且根据检测事件的结果生成并显示缩略图图像。在以下的描述中,将着重于与根据第一实施例的摄像系统100的不同之处,来描述根据第二实施例的摄像系统100。监视相机110的运动物体检测单元312不仅检测运动物体,还检测多个事件(诸如丢弃、和试图对监视相机110的篡改)。例如在运动物体被保持为,连续预定时间段放置(保持静止)在位置或预定位置处(例如,检测到的物体被随意地留置预定时间段)的情况下,运动物体检测单元312检测到丢弃事件。依据事件类型,在检测到事件的定时拍摄的图像(帧)不一定用作表示该拍摄图像(视频图像)的特征的静止图像。例如,对于丢弃的检测,丢弃物体的定时(即,比检测到丢弃的定时更早的定时)是重要的,并且期望的是使用在该定时拍摄的静止图像作为表示特征的图像。此外,对于篡改的检测,特征也可以在比检测到篡改的时间点更早的时间点处的静止图像中被更多地表示。根据第二实施例的监视相机110根据这样的检测事件的结果生成缩略图图像。
图9是例示由监视相机110进行的记录处理的流程图。在步骤S900中,图像获取单元311开始记录视频图像(鱼眼图像)。接下来,在步骤S901中,运动物体检测单元312开始检测运动物体。步骤S900和S901的处理分别类似于参照图4描述的步骤S400和S401的处理。接下来,在步骤S902中,运动物体检测单元312基于检测运动物体的结果,确认是否检测到事件。如果运动物体检测单元312检测到丢弃或检测到物体保持静止预定时间段(在步骤S902中为“是”),则处理进行到步骤S903。如果运动物体检测单元312检测到篡改(在步骤S902中为“否”并且在步骤S904中为“是”),则处理进行到步骤S905。如果运动物体检测单元312检测到除丢弃和篡改以外的事件(在步骤S902中为“否”、在步骤S904中为“否”并且在步骤S906中为“是”),则处理进行到步骤S907。如果运动物体检测单元312没有检测到任何事件(在步骤S902中为“否”、在步骤S904中为“否”并且在步骤S906中为“否”),则处理进行到步骤S912。
在步骤S903中,剪切单元313针对剪切,选择第一时间的开始(即,从运动物体检测单元312识别出运动物体变成静止的时间和运动物体检测单元312检测到物体已经保持静止预定时间段的时间开始的时间段)时拍摄的帧。之后,处理进行到步骤S908。现在,假设第一时间是预设值。第一时间是例如,等于从检测到运动物体直到确定发生丢弃所需的、丢弃状态持续的时间段(例如,10秒)的值。在步骤S905中,剪切单元313针对剪切,选择在第二时间的开始(即,在运动物体检测单元312检测到物体处于被监视相机110的篡改可能发生的图像内的位置(篡改位置)处的时间与运动物体检测单元312检测到运动物体保持在篡改位置预定时间段的时间之间的时间段)时拍摄的帧。之后,处理进行到步骤S908。现在,假设第二时间是预设值。第二时间是例如等于从检测到运动物体直到确定发生篡改所需的时间段(例如,两秒)的值。在步骤S907中,剪切单元313选择检测到事件的定时处的帧作为剪切的目标。之后,处理进行到步骤S908。在步骤S908中,剪切单元313为了进行处理,以在步骤S903、S905或S907中选择的帧作为目标来剪切图像。后续步骤(步骤S909至S912)的处理类似于步骤S404至S406(图4)的处理。除了前述内容以外,根据第二实施例的摄像系统100的构造和处理类似于根据第一实施例的摄像系统100的构造和处理。
以这种方式,在检测到事件的情况下,根据第二实施例的监视相机110能够通过根据事件类型适当地选择要用作缩略图图像的帧来生成事件的缩略图图像特性。此外,客户端装置120能够显示与事件对应的适当的缩略图图像。
作为变型例,检测到事件的拍摄图像的缩略图图像可以是事件的任何帧特性,并且不限于上面所描述的。作为另一示例,缩略图图像可以是根据不进行剪切的情况下的、在第一时间或第二时间的开始时拍摄的整个帧而生成的缩略图图像。作为选择,作为另一示例,监视相机110可以使用紧接在检测到事件之前的帧当中的、作为检测的目标的运动物体处于焦点对准(in focus)的帧,来生成缩略图图像。
根据第三实施例的摄像系统100在根据一个鱼眼图像生成多个缩略图图像的情况下,根据这多个缩略图图像生成用于缩略图显示的运动图像(缩略图运动图像)并且显示该缩略图运动图像。在以下描述中,将着重于与根据其他实施例的摄像系统100的不同之处,来描述根据第三实施例的摄像系统100。
图10是例示根据第三实施例的由监视相机110进行用于生成缩略图运动图像的记录处理的流程图。在图10中所示的记录处理中的各处理中,将相同的步骤编号分配给与根据参照图4描述的第一实施例的记录处理中的各自处理类似的处理。在第三实施例中,如果监视相机110的系统控制单元213在步骤S406中确认记录结束(在步骤S406中为“是”),则处理进行到步骤S1000。在步骤S1000中,缩略图图像生成单元315确认是否根据一个鱼眼图像生成多个缩略图图像。如果缩略图图像生成单元315生成多个缩略图图像(在步骤S1000中为“是”),则处理进行到步骤S1001。如果缩略图图像生成单元315没有生成多个缩略图图像,即,生成一个缩略图图像或不生成缩略图图像(在步骤S1000中为“否”),则结束记录处理。
在步骤S1001中,缩略图图像生成单元315通过将根据一个鱼眼图像生成的多个缩略图图像组合来生成一个缩略图运动图像。然后,缩略图图像生成单元315将所生成的缩略图运动图像与鱼眼图像相关联地存储到存储单元216中。以这种方式完成记录处理。因此,客户端装置120在列表画面上回放并显示缩略图运动图像。除了前述内容以外,根据第三实施例的摄像系统100的构造和处理类似于根据其他实施例的摄像系统100的构造和处理。
以这种方式,根据第三实施例的监视相机110生成组合有多个缩略图图像的缩略图运动图像。然后,客户端装置120回放并显示该缩略图运动图像。利用这样的显示,在回放并显示鱼眼图像之前,用户能够通过查看对应的缩略图运动图像的回放显示来确认该鱼眼图像的内容。
根据第四实施例的摄像系统100通过将表示从鱼眼图像剪切的部分区域的缩略图图像和表示整个鱼眼图像的缩略图图像进行组合(叠加)来生成缩略图运动图像,并且显示所生成的缩略图运动图像。在以下描述中,将着重于与根据其他实施例的摄像系统100的不同之处,来描述根据第四实施例的摄像系统100。
图11是例示根据第四实施例的由摄像系统100进行的记录处理的流程图。在图11中所示的记录处理中的各处理当中,将相同的步骤编号分配给与根据参照图4描述的第一实施例的记录处理中的各自处理类似的处理。在第四实施例中,监视相机110的系统控制单元213以在步骤S404的处理之后处理进行到步骤S1100这样的方式来进行控制。在步骤S1100中,缩略图图像生成单元315生成从检测到运动物体的帧中剪切的并经受失真校正的图像的缩略图图像。缩略图图像生成单元315还生成表示检测到运动物体的整个帧的缩略图图像。然后,缩略图图像生成单元315通过将从帧中剪切的图像的缩略图图像和表示整个帧的缩略图图像进行组合来生成一个缩略图运动图像。然后,缩略图图像生成单元315将缩略图运动图像与鱼眼图像相关联地存储到存储单元216中。以这种方式完成记录处理。因此,客户端装置120在列表画面上回放并显示缩略图运动图像。除前述内容以外,根据第四实施例的摄像系统100的构造和处理类似于根据其他实施例的摄像系统100的构造和处理。
以这种方式,根据第四实施例的监视相机110通过将表示从鱼眼图像剪切的部分区域的缩略图图像和表示整个鱼眼图像的缩略图图像进行组合来生成缩略图运动图像。然后,客户端装置120回放并显示缩略图运动图像。利用这样的显示,在回放并显示鱼眼图像之前,用户能够通过查看包括对应的缩略图和表示整个鱼眼图像的缩略图的运动图像的回放显示来确认该鱼眼图像的内容。
上面已经详细描述了本发明的实施例。然而,本发明不限于实施例,并且能够在权利要求中阐述的本发明的精神范围内以各种方式被变型和改变。
(其他实施例)
根据上面描述的实施例中的各个,本发明可以使得用户能够容易地从缩略图图像识别原始图像。
其他实施例
另外,可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如,一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如,专用集成电路(ASIC))的系统或装置的计算机,来实现本发明的实施例,并且,可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法,来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如,中央处理单元(CPU)、微处理单元(MPU)),并且可以包括分开的计算机或分开的处理器的网络,以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存设备以及存储卡等中的一个或更多个。
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照实施例对本发明进行了描述,但是应当理解,本发明并不限于所公开的实施例。应当对所附权利要求的范围给予最宽的解释,以便涵盖所有这些变型例以及等同的结构和功能。
Claims (15)
1.一种信息处理装置,所述信息处理装置包括:
显示控制单元,其被构造为使显示单元显示,由摄像单元拍摄的拍摄图像的缩略图图像;以及
接收单元,其被构造为接收用于选择缩略图图像以使所述显示单元显示拍摄图像的选择指令,
其中,在使所述显示单元显示,使用鱼眼镜头拍摄的鱼眼图像的缩略图图像的情况下,所述显示控制单元使所述显示单元显示,基于通过对鱼眼图像实施失真校正而获取的图像的缩略图图像、连同表示该缩略图图像是与该鱼眼图像对应的缩略图图像的信息。
2.根据权利要求1所述的信息处理装置,
其中,所述鱼眼图像是运动图像,并且
其中,所述显示控制单元使所述显示单元显示,与所述鱼眼图像中包含的一帧对应的缩略图图像。
3.根据权利要求2所述的信息处理装置,其中,所述显示控制单元使所述显示单元显示,与检测到运动物体的帧对应的缩略图图像。
4.根据权利要求2所述的信息处理装置,其中,所述显示控制单元使所述显示单元显示,与根据检测到事件的定时的帧对应的缩略图图像。
5.根据权利要求2所述的信息处理装置,其中,所述显示控制单元使所述显示单元显示,与所述鱼眼图像中包含的所述一帧的部分区域对应的缩略图图像。
6.根据权利要求5所述的信息处理装置,其中,所述显示控制单元使所述显示单元显示,与检测到运动物体的区域对应的缩略图图像。
7.根据权利要求5所述的信息处理装置,其中,所述显示控制单元使所述显示单元显示,与整个所述帧对应的缩略图图像被叠加在与所述帧的所述部分区域对应的缩略图图像上的图像。
8.根据权利要求5所述的信息处理装置,其中,所述显示控制单元使所述显示单元显示缩略图运动图像,该缩略图运动图像包括与所述帧的所述部分区域对应的缩略图图像和与整个所述帧对应的缩略图图像。
9.根据权利要求2所述的信息处理装置,其中,所述显示控制单元使所述显示单元显示缩略图运动图像,该缩略图运动图像包括分别与所述鱼眼图像中包含的多个帧对应的多个缩略图图像。
10.根据权利要求9所述的信息处理装置,其中,所述显示控制单元使所述显示单元显示所述缩略图运动图像,该缩略图运动图像包括分别与检测到运动物体的多个帧对应的多个缩略图图像。
11.根据权利要求1所述的信息处理装置,其中,所述显示控制单元使所述显示单元显示缩略图运动图像,该缩略图运动图像包括与所述鱼眼图像中的检测到运动物体的区域对应的缩略图图像和与整个所述鱼眼图像对应的缩略图图像。
12.根据权利要求1所述的信息处理装置,其中,所述显示控制单元使所述显示单元显示,与通过选择步骤而选择的缩略图图像对应的拍摄图像。
13.一种摄像装置,所述摄像装置包括:
校正单元,其被构造为对使用鱼眼镜头拍摄的鱼眼图像的失真进行校正;
生成单元,其被构造为生成实施了失真校正的鱼眼图像的缩略图图像;以及
存储单元,其被构造为将所述缩略图图像与所述鱼眼图像相关联地存储到存储单元中,所述缩略图图像包括表示缩略图图像是与鱼眼图像对应的缩略图图像的信息。
14.一种信息处理方法,所述信息处理方法包括:
进行显示控制,使显示单元显示,由摄像单元拍摄的拍摄图像的缩略图图像;以及
接收用于选择缩略图图像以使所述显示单元显示拍摄图像的选择指令,
其中,显示控制步骤包括:在使所述显示单元显示,使用鱼眼镜头拍摄的鱼眼图像的缩略图图像的情况下,使所述显示单元显示,基于通过对鱼眼图像实施失真校正而获取的图像的缩略图图像。
15.一种计算机可读记录介质,其存储程序,所述程序用于使计算机用作:
显示控制单元,其被构造为使显示单元显示,由摄像单元拍摄的拍摄图像的缩略图图像;以及
接收单元,其被构造为接收用于选择缩略图图像以使所述显示单元显示拍摄图像的选择指令,
其中,在使所述显示单元显示,使用鱼眼镜头拍摄的鱼眼图像的缩略图图像的情况下,所述显示控制单元使所述显示单元显示,基于通过对鱼眼图像实施失真校正而获取的图像的缩略图图像、连同表示该缩略图图像是与该鱼眼图像对应的缩略图图像的信息。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017182620A JP7086552B2 (ja) | 2017-09-22 | 2017-09-22 | 情報処理装置、撮像装置、情報処理方法及びプログラム |
JP2017-182620 | 2017-09-22 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109547743A true CN109547743A (zh) | 2019-03-29 |
Family
ID=63833770
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811099802.7A Pending CN109547743A (zh) | 2017-09-22 | 2018-09-20 | 信息处理装置、摄像装置、信息处理方法及记录介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20190098250A1 (zh) |
EP (1) | EP3460674A1 (zh) |
JP (1) | JP7086552B2 (zh) |
CN (1) | CN109547743A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112136311A (zh) * | 2019-10-22 | 2020-12-25 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、设备、成像系统及存储介质 |
CN113496458A (zh) * | 2020-03-18 | 2021-10-12 | 杭州海康威视数字技术股份有限公司 | 图像的处理方法、装置、设备以及存储介质 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190088108A1 (en) * | 2017-09-18 | 2019-03-21 | Qualcomm Incorporated | Camera tampering detection |
JP7268369B2 (ja) * | 2019-01-30 | 2023-05-08 | 株式会社リコー | 撮像システム、現像システム、撮像方法、及びプログラム |
CN111565300B (zh) * | 2020-05-22 | 2020-12-22 | 深圳市百川安防科技有限公司 | 基于对象的视频文件处理方法、设备及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2378438A1 (en) * | 2010-04-19 | 2011-10-19 | Kabushiki Kaisha Toshiba | Video display apparatus and video display method |
CN106534627A (zh) * | 2015-09-10 | 2017-03-22 | 鹦鹉无人机股份有限公司 | 包括使用姿态无关控制参数的前视相机的无人机 |
CN107018316A (zh) * | 2015-12-22 | 2017-08-04 | 卡西欧计算机株式会社 | 图像处理装置、图像处理方法以及程序 |
US20170244959A1 (en) * | 2016-02-19 | 2017-08-24 | Adobe Systems Incorporated | Selecting a View of a Multi-View Video |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3826598B2 (ja) * | 1999-01-29 | 2006-09-27 | 株式会社日立製作所 | 画像監視装置及び記録媒体 |
US8427538B2 (en) * | 2004-04-30 | 2013-04-23 | Oncam Grandeye | Multiple view and multiple object processing in wide-angle video camera |
JP2013080998A (ja) * | 2011-09-30 | 2013-05-02 | Dainippon Printing Co Ltd | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP5349632B2 (ja) * | 2012-02-28 | 2013-11-20 | グローリー株式会社 | 画像処理方法及び画像処理装置 |
JP6497965B2 (ja) * | 2015-02-23 | 2019-04-10 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP6772609B2 (ja) * | 2015-09-25 | 2020-10-21 | ソニー株式会社 | 代表画像生成装置、代表画像生成方法及びプログラム |
WO2017056942A1 (ja) * | 2015-09-30 | 2017-04-06 | 富士フイルム株式会社 | 画像処理装置及び撮像装置及び画像処理方法及びプログラム |
JP6736307B2 (ja) * | 2016-02-22 | 2020-08-05 | 株式会社キーエンス | 安全スキャナ、光学安全システム及び安全スキャナ用の設定支援装置 |
JP6680352B2 (ja) * | 2016-02-24 | 2020-04-15 | コニカミノルタ株式会社 | 被監視者監視装置、該方法および該システム |
-
2017
- 2017-09-22 JP JP2017182620A patent/JP7086552B2/ja active Active
-
2018
- 2018-09-18 US US16/134,674 patent/US20190098250A1/en not_active Abandoned
- 2018-09-20 CN CN201811099802.7A patent/CN109547743A/zh active Pending
- 2018-09-21 EP EP18195999.0A patent/EP3460674A1/en not_active Withdrawn
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2378438A1 (en) * | 2010-04-19 | 2011-10-19 | Kabushiki Kaisha Toshiba | Video display apparatus and video display method |
CN106534627A (zh) * | 2015-09-10 | 2017-03-22 | 鹦鹉无人机股份有限公司 | 包括使用姿态无关控制参数的前视相机的无人机 |
CN107018316A (zh) * | 2015-12-22 | 2017-08-04 | 卡西欧计算机株式会社 | 图像处理装置、图像处理方法以及程序 |
US20170244959A1 (en) * | 2016-02-19 | 2017-08-24 | Adobe Systems Incorporated | Selecting a View of a Multi-View Video |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112136311A (zh) * | 2019-10-22 | 2020-12-25 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、设备、成像系统及存储介质 |
CN112136311B (zh) * | 2019-10-22 | 2022-07-12 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、设备、成像系统及存储介质 |
CN113496458A (zh) * | 2020-03-18 | 2021-10-12 | 杭州海康威视数字技术股份有限公司 | 图像的处理方法、装置、设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP2019057891A (ja) | 2019-04-11 |
EP3460674A1 (en) | 2019-03-27 |
JP7086552B2 (ja) | 2022-06-20 |
US20190098250A1 (en) | 2019-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109547743A (zh) | 信息处理装置、摄像装置、信息处理方法及记录介质 | |
JP5111088B2 (ja) | 撮像装置及び画像再生装置 | |
JP6157242B2 (ja) | 画像処理装置及び画像処理方法 | |
US11102413B2 (en) | Camera area locking | |
US20120306999A1 (en) | Motion-Based Image Stitching | |
JP2010021943A (ja) | 撮像装置 | |
US20120300115A1 (en) | Image sensing device | |
EP2553920B1 (en) | Image processing apparatus, method, and computer program storage device | |
CN102215339A (zh) | 电子设备及摄像装置 | |
JP5159189B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP6261205B2 (ja) | 画像処理装置 | |
CN105467741B (zh) | 一种全景拍照方法及终端 | |
JP2010193476A (ja) | 撮像装置及び画像再生装置 | |
US11627245B2 (en) | Focus adjustment device and focus adjustment method | |
JP5608803B1 (ja) | 撮影機器、撮影方法及び撮影制御プログラム | |
US12010433B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2016167767A (ja) | 撮像装置、合成撮影方法及び合成撮影プログラム | |
KR101741150B1 (ko) | 영상에디팅을 수행하는 영상촬영장치 및 방법 | |
JP2004349832A (ja) | 撮影装置 | |
JP5383207B2 (ja) | 情報処理装置、制御方法、コンピュータプログラム、および記憶媒体 | |
US12125169B2 (en) | Device for replacing intrusive object in images | |
US20230281769A1 (en) | Device for replacing intrusive object in images | |
JP6516478B2 (ja) | 画像処理装置及び画像処理装置の制御方法 | |
US11762532B2 (en) | Image processing device, control method therefor, imaging device, and recording medium | |
JP6362735B2 (ja) | 撮像装置、撮像装置の制御方法及び制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190329 |
|
RJ01 | Rejection of invention patent application after publication |