CN115299033B - 拍摄装置和拍摄处理方法 - Google Patents

拍摄装置和拍摄处理方法 Download PDF

Info

Publication number
CN115299033B
CN115299033B CN202180021534.0A CN202180021534A CN115299033B CN 115299033 B CN115299033 B CN 115299033B CN 202180021534 A CN202180021534 A CN 202180021534A CN 115299033 B CN115299033 B CN 115299033B
Authority
CN
China
Prior art keywords
shooting
information
image information
unit
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202180021534.0A
Other languages
English (en)
Other versions
CN115299033A (zh
Inventor
西巻恵児
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of CN115299033A publication Critical patent/CN115299033A/zh
Application granted granted Critical
Publication of CN115299033B publication Critical patent/CN115299033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

拍摄装置(1)包括：拍摄部(2、3)；拍摄时间信息存储部(195)，关于过去的拍摄处理，存储每个拍摄方向的拍摄时间信息；以及传输用信息生成部(19A)，从图像信号依次获取帧，并截取预先设定的截取范围的部分图像信息，生成传输用图像信息，在规定的判定定时从存储的拍摄时间信息中确定拍摄时间最长的拍摄方向，并判定为在拍摄所确定的方向时的截取范围的部分图像信息被包含在拍摄方向变更后的拍摄视角中的情况下，从以后获取的帧中截取与拍摄所确定的拍摄方向时的截取范围的部分图像信息相应的范围来生成传输用图像信息。

Description

拍摄装置和拍摄处理方法
技术领域
本公开涉及拍摄装置和拍摄处理方法。
背景技术
以往，在广泛普及的支持高清的拍摄装置中，处理对象的拍摄信息的画面的纵横比(横向尺寸：纵向尺寸)为16：9的拍摄装置成为主流。该拍摄装置与具有纵横比为16:9的横长的画面的装置、例如个人计算机、家庭用TV装置等的兼容性高，能够使由该拍摄装置拍摄到的拍摄信息高效地显示于这些装置的画面上。
另一方面，在近年来迅速普及的智能手机中，使用SNS(social networkingservice，社交网络服务)等来视听流式传输的拍摄信息的机会也在增加。智能手机大多在显示画面为纵长的状态、即横向尺寸：纵向尺寸为9：16的状态下使用。因此，若想要利用智能手机视听由上述那样的拍摄装置拍摄到的拍摄信息，则在纵长的显示画面的一部分、例如中央部显示横长的拍摄信息，在画面上部或下部产生空白或黑带部分。如果在画面内产生空白或黑带部分，则相应地，拍摄信息的显示尺寸变小，存在对于智能手机的用户而言视觉辨认性降低的问题。
针对这样的技术课题，在专利文献1中公开了如下技术：从拍摄到的拍摄信息的帧中提取重要区域，将提取出的区域截取并进行传输。通过使用该技术，能够从横长的拍摄信息中截取纵长的区域部分，并传输给用户的智能手机。
现有技术文献
专利文献
专利文献1：日本专利第5594842号公报。
发明内容
然而，如果在传输由拍摄装置拍摄到的运动图像信息时变更拍摄方向，则即使在该变更是暂时性的且拍摄方向的变更角度小的情况下，传输的运动图像信息的视角也会随着该变更而每次变更。由此，存在视角不稳定且视觉辨认性低的运动图像信息被传输的情况。
本实施方式是鉴于这样的状况而完成的，其目的在于提供一种拍摄装置和拍摄处理方法，在从拍摄信息中截取规定范围的图像信息来生成传输用图像信息时，即使拍摄方向暂时以小的角度进行变更，也不会对其产生影响，能够生成视角稳定的传输用图像信息。
用于实现上述目的的本实施方式的拍摄装置的特征在于，包括：拍摄部，通过进行拍摄处理来输出图像信号；拍摄时间信息存储部，关于所述拍摄部的过去的所述拍摄处理，存储拍摄时间信息，该拍摄时间信息是针对所述拍摄部的每个拍摄方向计算拍摄时间而得到的信息；以及传输用信息生成部，从所述图像信号依次获取帧，并从获取到的各个帧中截取预先设定的截取范围的部分图像信息，生成传输用图像信息，所述传输用信息生成部在规定的判定定时，从存储在所述拍摄时间信息存储部中的所述拍摄时间信息中确定拍摄时间最长的所述拍摄方向，并判定在拍摄所确定的所述拍摄方向时获取的帧内的所述截取范围的部分图像信息是否被包含在正在拍摄处理中的拍摄视角中，在判定为包含的情况下，从以后获取的帧中截取与拍摄所确定的所述拍摄方向时的所述截取范围的部分图像信息相应的范围来生成所述传输用图像信息。
另外，本实施方式的拍摄处理方法的特征在于，由拍摄装置执行，所述拍摄装置包括拍摄部，所述拍摄部能够将拍摄方向在水平方向上变更，并通过进行拍摄处理来输出图像信号，所述拍摄装置关于所述拍摄部的过去的所述拍摄处理，存储拍摄时间信息，所述拍摄时间信息是针对每个所述拍摄方向计算拍摄时间而得到的信息，从所述图像信号依次获取帧，并从获取到的各个帧中截取预先设定的截取范围的部分图像信息，生成传输用图像信息，在规定的判定定时，从存储的所述拍摄时间信息中确定拍摄时间最长的所述拍摄方向，并判定在拍摄所确定的所述拍摄方向时获取的帧内的所述截取范围的部分图像信息是否被包含在正在拍摄处理中的拍摄视角中，在判定为包含的情况下，从以后获取的帧中截取与拍摄所确定的所述拍摄方向时的所述截取范围的部分图像信息相应的范围来生成所述传输用图像信息。
根据本实施方式的拍摄装置和拍摄处理方法，在从拍摄信息中截取规定范围的图像信息而生成传输用图像信息时，即使拍摄方向暂时以小的角度进行变更，也不会受其影响，能够生成视角稳定的传输用图像信息。
附图说明
图1是表示本发明的第一实施方式所涉及的拍摄装置整体的构成的框图。
图2是表示本发明的第一实施方式所涉及的拍摄装置内的传输用信息生成部的构成的框图。
图3A是表示本发明的第一实施方式所涉及的拍摄装置的动作的流程图。
图3B是表示本发明的第一实施方式所涉及的拍摄装置的动作的流程图。
图4是从上方观察本发明的第一实施方式所涉及的拍摄装置以及该拍摄装置的拍摄范围的图。
图5是表示由本发明的第一实施方式所涉及的拍摄装置拍摄到的运动图像信息的帧内的第一截取范围的图。
图6是表示由本发明的第一实施方式所涉及的拍摄装置拍摄到的运动图像信息的帧内的第二截取范围的图。
图7是表示本发明的第一实施方式所涉及的拍摄装置的拍摄时间存储部中存储的信息的一例的表。
图8A是表示本发明的第二实施方式所涉及的拍摄装置的动作的流程图。
图8B是表示本发明的第二实施方式所涉及的拍摄装置的动作的流程图。
图9是表示在本发明的第二实施方式所涉及的拍摄装置中每隔规定时间判定的、用户最感兴趣的方向的表。
图10是表示在本发明的第二实施方式所涉及的拍摄装置中横摆角度(Pan angle)变更后的拍摄视角内的、每个横摆角度的第一截取范围的部分图像信息的范围的图。
具体实施方式
以下，作为本发明的实施方式，对以下的拍摄装置进行说明：当利用SNS传输所拍摄的横长(纵横比16：9)的拍摄信息时，生成能够适当地显示于智能手机的纵长(纵横比9：16)的显示画面的图像信息。
《第一实施方式》
〈第一实施方式所涉及的拍摄装置的构成〉
参照图1，对本发明的第一实施方式所涉及的拍摄装置1A的构成进行说明。本实施方式所涉及的拍摄装置1A是在能够将拍摄方向在水平方向上变更的状态下进行运动图像拍摄的装置，包括：作为拍摄部的镜头2和CMOS(Comp lementary MOS，互补金属氧化物半导体)传感器3、横摆机构部4、输入部5、影像存储部6、网络接口部7、外部监视器接口部8、显示部9、存储部10、图像处理部11、编解码部20以及CPU(Central Processing Unit，中央处理单元)30。
镜头2入射被摄体光。CMOS传感器3是将从镜头2入射的被摄体光转换为电信号的拍摄元件。CMOS传感器3将转换后的电信号作为MIPI(Mobile Industry ProcessorInterface，移动行业处理器接口)、sLVDS(sub Low Voltage Differential Signaling，超低电压差分信号)、HiSPi(High-Speed Pixel Interface，高速像素接口)等的图像信号输出。
横摆机构部4基于用户的操作信息对于镜头2在水平方向上变更拍摄方向。当然，如果镜头2和CMOS传感器3的光学系统(拍摄部)被一体化，则对于光学系统整体在水平方向上变更拍摄方向。
输入部5由按键或触摸面板构成，输入用户的操作信息、例如指定拍摄方向(横摆角度)的信息、或指示用于向智能手机进行SNS传输的传输用运动图像生成的信息等。在本实施方式中，将触摸面板设置于显示部9。影像存储部6是存储由后述的图像处理部11生成的信息以及由编解码部20生成的信息的存储介质，例如由SD存储器、SSD(Solid StateDrive，固态驱动器)等构成。网络接口部7是用于与规定的LAN(Local Area Network，局域网)连接的接口，具有与SNS传输中的智能手机的收发、与外部的服务器装置的通信等通信功能。此外，在为了降低成本而省略输入部5、显示部9的情况下，也可以经由网络接口部7使用LAN向CPU部30通知用户的操作信息。
外部监视器接口部8是用于与外部的电视装置、显示装置(未图示)连接的接口，例如使用HDMI(注册商标)(High-Definition Multimedia Interface，高清多媒体接口)、SDI(Serial Digital Interface，串行数字接口)标准等。显示部9是用于确认拍摄到的运动图像信息的小型监视器，例如是带触摸面板的LCD(liquid crystal display，液晶显示器)、EL显示器等。存储部10是在图像处理部11和编解码部20中执行处理时使用的存储介质，例如由DDR4(Double-Data-Rate4，双倍数据速率4)存储器、硬盘等构成。
图像处理部11具有传感器接口部12、缺陷修正/NR(Noise reduction，降噪)处理部13、解拜耳(DeBayer)处理部14、颜色再现部15、拍摄方向信息获取部16以及显示用信息生成部17。
传感器接口部12接收从CMOS传感器3输出的图像信号，将串行数据转换为并行数据，作为帧依次生成。另外，传感器接口部12从接收到的图像信号中提取水平同步信号和垂直同步信号，置换为拍摄装置1A内部的同步信号。在执行该处理时，也可以使用存储部10。
缺陷修正/NR处理部13获取由传感器接口部12依次生成的帧作为处理对象的信息，执行包含在相应的帧内的所谓的缺陷数据的插值处理、降噪处理。降噪处理可以采用针对每个帧执行处理的2DNR(2-dimensional noise reduction，二维降噪)、或者对连续的帧进行分析来执行处理的3DNR(3-dimensional noise reduction，三维降噪)中的任意一个。在执行该处理时，也可以使用存储部10。
在CMOS传感器3与R、Gr、Gb、B的拜耳结构对应的情况下，解拜耳处理部14通过解拜耳处理将从传感器接口部12获取的帧转换为R、G、B结构。在CMOS传感器3与单色对应或与3CMOS结构对应的情况下，不对所获取的帧进行解拜耳处理。颜色再现部15对所获取的帧进行伽马修正处理、沿着预先设定的白平衡的颜色管理处理。
拍摄方向信息获取部16基于横摆机构部4的动作经由CPU 30获取：将拍摄装置1A的正面方向设为0°时的、与当前的镜头2的拍摄方向对应的横摆角度。
显示用信息生成部17具有主信息生成部18和传输用信息生成部19A，经由传感器接口部12、缺陷修正/NR处理部13、解拜耳处理部14以及颜色再现部15获取从CMOS传感器3获取的图像信号作为拍摄处理信息。主信息生成部18从所获取的拍摄处理信息的帧，生成与高清等显示画面对应的纵横比16：9的显示用图像信息。所生成的显示用图像信息由CPU30依次从存储部10送出到影像存储部6，记录为主运动图像信息。
传输用信息生成部19A从所获取的拍摄处理信息的帧，生成传输用图像信息，作为在智能手机(未图示)那样的立式显示画面中显示的纵横比9：16的显示用信息。所生成的传输用图像信息由CPU 30依次从存储部10送出到影像存储部6，记录为传输用运动图像信息。以下，将主信息生成部18和传输用信息生成部19A所获取的拍摄处理信息的帧简称为“帧”。
参照图2，对传输用信息生成部19A的详细构成进行说明。传输用信息生成部19A具有截取范围设定部191、截取部192、调整处理部193、拍摄时间测量部194、拍摄时间信息存储部195和设定变更部196A。
截取范围设定部191将表示所获取的帧内的规定的大小以及位的范围设定为第一截取范围。另外，截取范围设定部191在传输用图像信息的生成处理中基于来自后述的设定变更部196A的指示来变更截取范围。
截取部192从获取到的帧中截取由截取范围设定部191设定的截取范围的部分图像信息。调整处理部193将由截取部192截取的部分图像信息调整为用于纵横比9：16的显示，生成传输用图像信息。
拍摄时间测量部194测量在生成传输用图像信息的过程中从拍摄方向信息获取部16获取到的每个横摆角度的拍摄时间。另外，拍摄时间测量部194若检测到在生成传输用图像信息的过程中变更了横摆角度，则计算变更前的横摆角度下的拍摄时间并存储到拍摄时间信息存储部195中。拍摄时间信息存储部195针对过去的规定期间(例如，从当前时刻起过去30分钟)的拍摄处理，存储按每个横摆角度计算出的拍摄时间的信息。
设定变更部196A在基于由拍摄方向信息获取部16获取的横摆角度信息检测到镜头2的拍摄的横摆角度被变更的判定定时，将拍摄时间信息存储部195中存储的拍摄时间最长的横摆角度的信息确定为用户最感兴趣的方向的信息。并且，在判定为以确定出的横摆角度进行拍摄时获取的帧内的截取范围的部分图像信息被包含在横摆角度变更后的拍摄视角中的情况下，设定变更部196A针对截取范围设定部191将从以后获取的帧截取的范围变更为与以确定的横摆角度拍摄时的截取范围相当的范围。
返回到图1，编解码部20具有主编解码部21和传输用编解码部22。主编解码部21为了将由主信息生成部18生成并存储的主运动图像信息保管在影像存储部6中而进行编码，并暂时存储在存储部10中。然后，CPU 30将暂时存储在存储部10中的数据以文件格式形式保管在影像存储部6。另外，在经由网络接口部7向外部的服务器装置等发送时也进行编码。并且，主编解码部21在使编码后的主运动图像信息从外部监视器接口部8再现到显示装置等时或再现到显示部9时进行解码。
传输用编解码部22为了将由传输用信息生成部19A生成的传输用图像信息向智能手机那样的外部的终端装置传输而进行编码，并作为传输用运动图像信息存储在存储部10中。另外，传输用编解码部22在使编码后的传输用运动图像信息再现时进行解码。
CPU 30对上述的拍摄部(镜头2、CMOS传感器3)、横摆机构部4、输入部5、影像存储部6、网络接口部7、外部监视器接口部8、显示部9、存储部10、图像处理部11以及编解码部20的动作进行控制。
〈第一实施方式所涉及的拍摄装置的动作〉
接着，参照图3A、图3B的流程图，对本实施方式所涉及的拍摄装置1A的动作进行说明。首先，若用户从拍摄装置1A的输入部5进行指示开始运动图像的拍摄的操作(S1的“是”)，则在镜头2的拍摄方向被设定为横摆角度0°的正面方向(第一拍摄方向D1)的状态下，开始运动图像拍摄处理(S2)。
图4是从上方观察拍摄装置1A和拍摄装置1A的拍摄范围的图。拍摄装置1A的拍摄处理中的水平视角(HFOV)为60°，以镜头2朝向单点划线的箭头所示的第一拍摄方向D1(0°)的方式设定并进行拍摄时的拍摄视角的水平方向的范围为L1。
在拍摄处理中，从镜头2入射的被摄体光被CMOS传感器3转换为电信号，输出图像信号。在本实施方式中，CMOS传感器3的像素数(Hpixel)支持全高清(Full-HD)，是拍摄视角的水平方向1，920像素×垂直方向1，080像素。由图像处理部11对从CMOS传感器3输出的图像信号执行图像处理，通过CPU 30显示于显示部9。
接着，若用户从输入部5进行指示开始生成传输用运动图像的操作(S3的“是”)，则截取范围设定部191将所获取的帧内的规定大小及位置所示的范围设定为第一截取范围X1(S4)。如图5中粗线所示，该第一截取范围X1是在相应帧(水平方向1，920像素×垂直方向1，080像素)内具有与水平方向608像素×垂直方向1，080像素相应的大小的纵横比9：16的矩形范围。该第一截取范围X1的上端以及下端被设定为与该帧的上端以及下端一致，第一截取范围X1的水平方向的中心位置CX1被设定为与该帧的水平方向的中心位置CF(从帧的左端起960像素的位置)一致。即，第一截取范围X1是垂直方向的长度与拍摄到的运动图像信息的帧的垂直方向的长度一致的纵横比9：16的矩形范围，并且设定在该帧的水平方向的中心位置。
接着，截取部192从处理对象的运动图像信息的最初的帧中截取由截取范围设定部191设定的第一截取范围X1的部分图像信息。然后，调整处理部193将由截取部192截取的部分图像信息为了传输而以规定的放大率放大(调整)，生成传输用图像信息。之后，从通过拍摄依次获取的帧中截取在步骤S4中设定的第一截取范围X1，生成传输用图像信息。
另外，当开始传输用图像信息的生成处理时，拍摄时间测量部194开始当前的第一拍摄方向D1上的拍摄时间的测量(S5)。
在直到进行指示传输用运动图像生成的结束的操作为止的期间(传输用图像信息的生成处理中)(S6的“否”)，若用户从输入部5进行将镜头2的横摆角度从第一拍摄方向D1(0°)变更为如图4的粗线箭头所示那样向左方挪动10°的第二拍摄方向D2的操作(S7的“是”)，则拍摄视角的水平方向的范围成为L2。当横摆角度被变更时，拍摄方向信息获取部16获取该变更前的横摆角度0°的信息以及变更后的横摆角度10°的信息。
拍摄时间测量部194根据由拍摄方向信息获取部16获取的信息来计算变更前的第一拍摄方向D1上的拍摄时间，并存储到拍摄时间信息存储部195中(S8)。在此，将第一拍摄方向D1上的拍摄时间计算为从时刻9:00到时刻9:05的5分钟，与相应的横摆角度(0°)的信息一起作为列表编号No.1的信息存储到拍摄时间信息存储部195中。
接着，设定变更部196A若基于由拍摄方向信息获取部16获取的横摆角度信息检测到镜头2的拍摄方向被变更，则将拍摄时间信息存储部195中存储的拍摄时间最长的横摆角度的信息确定为用户最感兴趣的方向的信息(S9)。在此，拍摄时间信息存储部195中仅存储有列表编号No.1的拍摄时间信息，所以对应于列表编号No.1的横摆角度0°被确定为用户最感兴趣的方向的信息。
接着，设定变更部196A判定在以确定出的横摆角度0°拍摄了第一拍摄方向D1时获取的帧内的第一截取范围X1的部分图像信息是否被包含在拍摄了拍摄方向变更后的第二拍摄方向D2的拍摄视角中(S10)。
在此，在判定为拍摄了第一拍摄方向D1时获取的帧内的第一截取范围X1的部分图像信息被包含在拍摄了第二拍摄方向D2的拍摄视角中的情况下(S10的“是”)，设定变更部196A针对截取范围设定部191，将从以后获取的帧截取的范围变更为与以确定出的横摆角度0°进行拍摄时的第一截取范围X1的部分图像信息相应的第二截取范围X2(S11)。
以下，对第二截取范围X2的计算进行详细说明。设定变更部196A首先通过下述式(1)计算变更后的第二截取范围X2的水平方向的中心位置CX2。
CX2＝CF+1,920/2×(θb-θuser)/θa (1)
在式(1)中，CF是该帧的水平方向的中心位置，θb是当前的横摆角度，θuser是作为用户最感兴趣的方向的信息而确定的横摆角度，θa是拍摄装置1A的水平视角(HFOV/2)。以θb和θuser表示的横摆角度如图4的箭头E1所示，用正的数值表示拍摄方向从拍摄装置1A的正面方向0°向左方向的角度，用负的数值表示如箭头E2所示那样向右方向的角度。
在此，CF为1，920/2＝960像素的位置，θb为+10°，θuser为0°，θa为60/2＝30°，因此第二截取范围X2的水平方向的中心位置CX2使用式(1)如下算出。
CX2＝960+960×(+10-0)/30
＝1,280
由此，如图6所示，设定变更部196A将从帧的左端起1，280像素的位置确定为第二截取范围X2的水平方向的中心位置CX2。然后，计算以该位置CX2为中心的水平方向608像素×垂直方向1，080像素的范围作为第二截取范围X2，并设定到截取范围设定部191。
另外，在步骤S10中，判定为由于用户将镜头2的水平方向的拍摄方向变更为较大而拍摄了第一拍摄方向D1时获取的帧内的第一截取范围X1的部分图像信息没有被包含在变更后的拍摄方向的拍摄视角中的情况下(S10的“否”)，用户参照预先设定的“截取范围设定”来变更设定(S12)。
在这里，“截取范围设定”是用户对拍摄装置1A设定的设定值，例如是用户从在拍摄装置1A中准备的设定项目“复位到画面中央(中心位置)”或“继续事先的视角位置”中选择的设定值。使得设定变更部196A能够参照该设定值。当参照的设定值为“复位到画面中央(中心位置)”时，设定变更部196A将截取范围设定部191的设定变更为画面中央。另外，当参照的设定值为“继续事先的视角位置”时，设定变更部196A不变更截取范围设定部191的设定。在此，无论哪一个设定值，截取范围都被判断为第一截取范围X1，从以后获取的帧截取第一截取范围X1，生成传输用图像信息。
上述的步骤S5～S12的处理持续到进行指示结束传输用运动图像生成的操作为止。在该期间，例如，如图7所示，在拍摄时间信息存储部195中存储列表编号No.1的拍摄时间信息(横摆角度0°、拍摄时间5分钟)、列表编号No.2的拍摄时间信息(横摆角度10°、拍摄时间13分钟)、列表编号No.3的拍摄时间信息(横摆角度20°、拍摄时间2分钟)这3个拍摄时间信息，镜头2的横摆角度被变更为0°时，由于在该3个拍摄时间信息中列表编号No.2的横摆角度10°是拍摄时间最长的横摆角度，因此，设定变更部196A将横摆角度°10°的拍摄时间信息确定为用户最感兴趣的方向的信息。
并且，设定变更部196A若判定为以确定出的横摆角度10°拍摄第二拍摄方向D2时获取的帧内的第一截取范围X1的部分图像信息被包含在以拍摄方向变更后的横摆角度0°拍摄第一拍摄方向D1的拍摄视角中，则将从以后获取的帧截取的范围变更为与以确定出的横摆角度10°拍摄第二拍摄方向D2时的第一截取范围X1的部分图像信息相应的第三截取范围X3。之后，若进行了指示结束传输用运动图像生成的操作(S6的“是”)，则结束传输用运动图像信息的生成处理，若进行了指结束示运动图像拍摄的操作(S13的“是”)，则拍摄处理结束。
通过这样执行处理，在从拍摄信息中截取规定范围的图像信息来生成传输用图像信息时，即使拍摄方向由于某种原因、例如用户的误操作、用户的暂时的关注而暂时以小的角度进行变更，也不会受其影响，能够截取用户感兴趣的部分的图像信息来生成视角稳定的传输用图像信息。
《第二实施方式》
〈第二实施方式所涉及的拍摄装置1B的构成〉
本发明的第二实施方式所涉及的拍摄装置1B的构成与第一实施方式中说明的拍摄装置1A的构成相同，因此省略具有相同功能的部分的详细说明。
在本实施方式中，拍摄装置1B的传输用信息生成部19B的设定变更部196B基于存储在拍摄时间信息存储部195中的信息，在以规定时间间隔(5分钟间隔)到来的判定定时，执行来自帧的截取范围的判定处理。在截取范围的判定处理中，设定变更部196B将过去的规定期间(例如，从当前时刻过去10分钟)拍摄时间最长的横摆角度的信息确定为用户最感兴趣的方向的信息。并且，在判定为以确定出的横摆角度拍摄时获取的帧内的第一截取范围X1的部分图像信息被包含在当前拍摄中的拍摄视角的情况下，针对截取范围设定部191，将从以后获取的帧截取的范围设为与以确定出的横摆角度拍摄时的第一截取范围X1相当的部分图像信息的范围。
〈第二实施方式所涉及的拍摄装置1B的动作〉
参照图8A、图8B的流程图，对本实施方式所涉及的拍摄装置1B的动作进行说明。在图8A、图8B中，在步骤S21～S28中执行的处理与在第一实施方式中说明的步骤S1～S8的处理相同，因此省略详细的说明。
在直到进行指示结束传输用运动图像生成的操作为止的期间(传输用图像信息的生成处理中)(S27的“否”)，每当横摆角度变更时，计算每个拍摄方向的拍摄时间并存储时(S27的“是”、S29)，若来自帧的截取范围的判定定时到来(S29的“是”)，则设定变更部196B执行截取范围的判定处理。在该判定处理中，设定变更部196B将在过去的规定期间(例如，从当前时刻过去10分钟)拍摄时间最长的横摆角度的信息确定为用户最感兴趣的方向的信息(S30)。
然后，在判定为以确定出的横摆角度拍摄时获取的帧内的第一截取范围X1的部分图像信息被包含在当前拍摄中的拍摄视角的情况下(S31的“是”)，针对截取范围设定部191，将从以后获取的帧截取的范围变更为与以确定出的横摆角度拍摄时的第一截取范围X1的部分图像信息相应的范围(S32)。在此，在所确定的横摆角度与当前拍摄中的横摆角度相同的情况下，设定变更部196B不变更截取范围设定部191的设定。
另外，在步骤S31中，判定为由于用户将镜头2的水平方向的拍摄方向的变更较大而以确定出的横摆角度拍摄时获取的帧内的第一截取范围X1的部分图像信息没有包含在变更后的拍摄视角中的情况下(S31的“否”)，设定变更部196B与第一实施方式同样地，用户参照预先设定的“截取范围设定”来变更设定。例如，当参照的“截取范围设定”为“继续事先的视角位置”的设定时，不变更截取范围设定部191的设定(S33)。
上述的步骤S25～S33的处理持续直到进行指示结束传输用运动图像生成的操作为止。通过这样执行处理，例如如图9所示，在时刻10：00执行了截取范围的判定处理时，从当前起过去的10分钟中，横摆角度-20°的拍摄时间为5分钟，横摆角度0°的拍摄时间为2分钟，横摆角度+20°的拍摄时间为3分钟。在该情况下，拍摄时间最长的横摆角度为-20°，以该横摆角度拍摄时获取的帧内的第一截取范围X1的部分图像信息如图10中A所示那样被包含在横摆角度变更后的拍摄视角G中，因此，将从以后获取的帧截取的范围变更为A所示的范围。
同样地，在作为接下来的截取范围的判定定时的时刻10：05，通过截取范围的判定处理，将拍摄时间最长的横摆角度确定为0°，将从以后获取的帧截取的范围变更为图10的B所示的范围。同样地，在作为再接下来的截取范围的判定定时的时刻10：10，通过截取范围的判定处理，将拍摄时间最长的横摆角度确定为+20°，将从以后获取的帧截取的范围变更为图10的C所示的范围。之后，若进行了指示结束传输用运动图像生成的操作(S26的“是”)，则结束传输用运动图像信息的生成处理，若进行了指示运动图像拍摄结束的操作(S34的“是”)，则拍摄处理结束。
通过这样执行处理，例如当用户在图10所示的视角下长时间拍摄时，即使存在暂时关注视角内的靠右侧的人而使横摆角度向右方向移动的时间，如果这是短时间，则判定为用户最感兴趣的角度是在中心的B所示的范围，继续截取该范围B，能够提供稳定的视角的传输用图像信息。
根据以上的第二实施方式，当从拍摄信息中截取规定范围的图像信息来生成传输用图像信息时，能够基于最新的拍摄状况来判定用户感兴趣的部分，截取该部分的图像信息来生成视角稳定的传输用图像信息。
产业上的可利用性
能够提供一种拍摄装置，其在从拍摄信息中截取规定范围的图像信息来生成传输用图像信息时，即使拍摄方向暂时以小的角度进行变更，也不会受其影响，能够生成视角稳定的传输用图像信息。
符号说明
1A、1B拍摄装置
2镜头
3CMOS传感器
4横摆机构部
5输入部
6影像存储部
7网络接口部
8外部监视器接口部
9显示部
10存储部
11图像处理部
12传感器接口部
13缺陷修正/NR处理部
14解拜耳处理部
15颜色再现部
16拍摄方向信息获取部
17显示用信息生成部
18主信息生成部
19A、19B传输用信息生成部
20编解码部
21主编解码部
22传输用编解码部
191截取范围设定部
192截取部
193调整处理部
194拍摄时间测量部
195拍摄时间信息存储部
196A、196B设定变更部

Claims (7)

1.一种拍摄装置，其特征在于，包括：
拍摄部，通过进行拍摄处理来输出图像信号；
拍摄时间信息存储部，关于所述拍摄部的过去的所述拍摄处理，存储拍摄时间信息，该拍摄时间信息是针对所述拍摄部的每个拍摄方向计算拍摄时间而得的信息；以及
传输用信息生成部，从所述图像信号依次获取帧，并从获取到的各个帧中截取预先设定的截取范围的部分图像信息，来生成传输用图像信息，
所述传输用信息生成部在规定的判定定时，从存储在所述拍摄时间信息存储部中的所述拍摄时间信息中确定拍摄时间最长的所述拍摄方向，并判定在拍摄所确定的所述拍摄方向时获取的帧内的所述截取范围的部分图像信息是否被包含在正在拍摄处理中的拍摄视角内，如果判定为包含，则从以后获取的帧中截取与拍摄所确定的所述拍摄方向时的所述截取范围的部分图像信息相应的范围，来生成所述传输用图像信息。
2.根据权利要求1所述的拍摄装置，其中，
还包括横摆机构部，
所述横摆机构部使所述拍摄部的所述拍摄方向在水平方向上变更，
所述传输用信息生成部将检测到所述横摆机构部变更了所述拍摄方向的定时设为所述规定的判定定时。
3.根据权利要求1所述的拍摄装置，其中，
所述传输用信息生成部将以规定的时间间隔到来的定时设为所述规定的判定定时。
4.根据权利要求1至3中的任一项所述的拍摄装置，其中，
所述传输用信息生成部在规定的判定定时，从存储在所述拍摄时间信息存储部中的所述拍摄时间信息中确定拍摄时间最长的所述拍摄方向，并判定在拍摄所确定的所述拍摄方向时获取的帧内的所述截取范围的部分图像信息是否被包含在正在拍摄处理中的拍摄视角中，如果判定为没有包含，则从以后获取的帧中截取预先设定的截取范围的部分图像信息，来生成传输用图像信息。
5.根据权利要求1至3中的任一项所述的拍摄装置，其中，
所述传输用信息生成部使用从所述规定的判定定时过去的规定期间中的所述拍摄时间信息来确定拍摄时间最长的所述拍摄方向。
6. 根据权利要求1所述的拍摄装置，还包括：
编解码部，对所述传输用图像信息进行编码，生成传输用运动图像信息；以及
网络接口部，向外部的终端装置发送所述传输用运动图像信息。
7. 一种拍摄处理方法，其特征在于，由拍摄装置执行，所述拍摄装置包括拍摄部，所述拍摄部能够将拍摄方向在水平方向上变更，并通过进行拍摄处理来输出图像信号，
所述拍摄装置
关于所述拍摄部的过去的所述拍摄处理，存储拍摄时间信息，所述拍摄时间信息是针对每个所述拍摄方向计算拍摄时间而得的信息，
从所述图像信号依次获取帧，并从获取到的各个帧中截取预先设定的截取范围的部分图像信息，来生成传输用图像信息，并且在规定的判定定时，从存储的所述拍摄时间信息中确定拍摄时间最长的所述拍摄方向，并判定在拍摄所确定的所述拍摄方向时获取的帧内的所述截取范围的部分图像信息是否被包含在正在拍摄处理中的拍摄视角内，如果判定为包含，则从以后获取的帧中截取与拍摄所确定的所述拍摄方向时的所述截取范围的部分图像信息相应的范围，来生成所述传输用图像信息。
CN202180021534.0A 2021-02-09 2021-12-23 拍摄装置和拍摄处理方法 Active CN115299033B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021018807A JP7468391B2 (ja) 2021-02-09 2021-02-09 撮像装置および撮像処理方法
JP2021-018807 2021-02-09
PCT/JP2021/047793 WO2022172617A1 (ja) 2021-02-09 2021-12-23 撮像装置および撮像処理方法

Publications (2)

Publication Number Publication Date
CN115299033A CN115299033A (zh) 2022-11-04
CN115299033B true CN115299033B (zh) 2023-07-11

Family

ID=82838663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180021534.0A Active CN115299033B (zh) 2021-02-09 2021-12-23 拍摄装置和拍摄处理方法

Country Status (5)

Country Link
US (1) US20230023754A1 (zh)
EP (1) EP4293999A1 (zh)
JP (1) JP7468391B2 (zh)
CN (1) CN115299033B (zh)
WO (1) WO2022172617A1 (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009094741A (ja) * 2007-10-05 2009-04-30 Samsung Techwin Co Ltd 撮像装置、撮像方法及びプログラム
JP2012169714A (ja) * 2011-02-09 2012-09-06 Jvc Kenwood Corp 撮像装置および撮像方法
CN103067656A (zh) * 2011-10-18 2013-04-24 卡西欧计算机株式会社 摄像装置以及摄像方法
JP2014007653A (ja) * 2012-06-26 2014-01-16 Jvc Kenwood Corp 撮像装置、撮像方法、撮像システム及びプログラム
JP5594842B2 (ja) * 2011-02-25 2014-09-24 Ｋｄｄｉ株式会社 映像配信装置
JP2017191419A (ja) * 2016-04-13 2017-10-19 日本電信電話株式会社 画像処理装置及び画像処理方法
JP2017224981A (ja) * 2016-06-15 2017-12-21 キヤノン株式会社 動画再生装置とその制御方法、プログラム及び記憶媒体
JP2018033151A (ja) * 2017-10-05 2018-03-01 キヤノン株式会社 撮像装置、設定方法、および、プログラム
CN108297792A (zh) * 2017-01-11 2018-07-20 丰田自动车株式会社 图像显示装置
JP2019022026A (ja) * 2017-07-14 2019-02-07 キヤノン株式会社 撮像装置
CN110809746A (zh) * 2018-04-26 2020-02-18 深圳市大疆创新科技有限公司 控制装置、摄像装置、移动体、控制方法以及程序

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5701707B2 (ja) * 2011-07-25 2015-04-15 株式会社ソニー・コンピュータエンタテインメント 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法
JP5880210B2 (ja) * 2012-03-29 2016-03-08 株式会社Ｊｖｃケンウッド 通信装置、撮像装置、撮像システム及びプログラム
JP6295443B2 (ja) * 2013-03-26 2018-03-20 パナソニックＩｐマネジメント株式会社 画像生成装置、撮影装置、画像生成方法及びプログラム
JP6332996B2 (ja) * 2013-04-17 2018-05-30 キヤノン株式会社 動画像処理装置および撮像装置、動画像処理方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009094741A (ja) * 2007-10-05 2009-04-30 Samsung Techwin Co Ltd 撮像装置、撮像方法及びプログラム
JP2012169714A (ja) * 2011-02-09 2012-09-06 Jvc Kenwood Corp 撮像装置および撮像方法
JP5594842B2 (ja) * 2011-02-25 2014-09-24 Ｋｄｄｉ株式会社 映像配信装置
CN103067656A (zh) * 2011-10-18 2013-04-24 卡西欧计算机株式会社 摄像装置以及摄像方法
JP2014007653A (ja) * 2012-06-26 2014-01-16 Jvc Kenwood Corp 撮像装置、撮像方法、撮像システム及びプログラム
JP2017191419A (ja) * 2016-04-13 2017-10-19 日本電信電話株式会社 画像処理装置及び画像処理方法
JP2017224981A (ja) * 2016-06-15 2017-12-21 キヤノン株式会社 動画再生装置とその制御方法、プログラム及び記憶媒体
CN108297792A (zh) * 2017-01-11 2018-07-20 丰田自动车株式会社 图像显示装置
JP2019022026A (ja) * 2017-07-14 2019-02-07 キヤノン株式会社 撮像装置
JP2018033151A (ja) * 2017-10-05 2018-03-01 キヤノン株式会社 撮像装置、設定方法、および、プログラム
CN110809746A (zh) * 2018-04-26 2020-02-18 深圳市大疆创新科技有限公司 控制装置、摄像装置、移动体、控制方法以及程序

Also Published As

Publication number Publication date
US20230023754A1 (en) 2023-01-26
WO2022172617A1 (ja) 2022-08-18
CN115299033A (zh) 2022-11-04
JP7468391B2 (ja) 2024-04-16
JP2022121849A (ja) 2022-08-22
EP4293999A1 (en) 2023-12-20

Similar Documents

Publication Publication Date Title
US9554113B2 (en) Video frame processing method
US8558875B2 (en) Video signal processing device
EP1722329A1 (en) Method and system for resizing an image in a wireless terminal
CN112565589A (zh) 一种拍照预览方法、装置、存储介质和电子设备
CN107704798B (zh) 图像虚化方法、装置、计算机可读存储介质和计算机设备
US10616502B2 (en) Camera preview
KR100719841B1 (ko) 썸네일 생성 및 표시 방법
JP2010113012A (ja) 表示システム、画像出力装置及び画像表示装置
WO2016024546A1 (ja) 画像伝送装置、画像伝送方法および画像伝送プログラム
US20190306462A1 (en) Image processing apparatus, videoconference system, image processing method, and recording medium
JP2018061130A (ja) 画像処理装置、画像処理方法、及びプログラム
CN115299033B (zh) 拍摄装置和拍摄处理方法
WO2010070820A1 (ja) 画像通信装置及び画像通信方法
US20150215543A1 (en) Method and apparatus for displaying preview image and storage medium
US20200106821A1 (en) Video processing apparatus, video conference system, and video processing method
JP6445831B2 (ja) 撮像装置及びその制御方法ならびにプログラム
JP6004978B2 (ja) 被写体画像抽出装置および被写体画像抽出・合成装置
KR100746463B1 (ko) 영상회의 시스템에서의 영상 전송 장치 및 그 방법
JP2011082726A (ja) 画像再生装置及び撮像装置
JP2016096395A (ja) テレビ会議装置、テレビ会議システム及びプログラム
US11310442B2 (en) Display control apparatus for displaying image with/without a frame and control method thereof
JP2013190791A (ja) 携帯端末機のイメージ撮影装置及び方法
EP4258661A1 (en) Encoding/decoding method, electronic device, communication system, and storage medium
US20230222765A1 (en) Image processing device, image processing method, and storage medium
JP2018082221A (ja) インターホンシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant