CN111492649B - 图像记录方法、图像记录程序、数据处理设备和图像记录设备 - Google Patents

图像记录方法、图像记录程序、数据处理设备和图像记录设备 Download PDF

Info

Publication number
CN111492649B
CN111492649B CN201880081460.8A CN201880081460A CN111492649B CN 111492649 B CN111492649 B CN 111492649B CN 201880081460 A CN201880081460 A CN 201880081460A CN 111492649 B CN111492649 B CN 111492649B
Authority
CN
China
Prior art keywords
image
image recording
color
cameras
video images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880081460.8A
Other languages
English (en)
Other versions
CN111492649A (zh
Inventor
三轮哲也
杜加尔·琳赛
下田代雅文
高桥弘
新井敦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Okamoto Glass Co ltd
Japan Agency for Marine Earth Science and Technology
Original Assignee
Okamoto Glass Co ltd
Japan Agency for Marine Earth Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Okamoto Glass Co ltd, Japan Agency for Marine Earth Science and Technology filed Critical Okamoto Glass Co ltd
Publication of CN111492649A publication Critical patent/CN111492649A/zh
Application granted granted Critical
Publication of CN111492649B publication Critical patent/CN111492649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/08—Waterproof bodies or housings
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B2211/00—Applications
    • B63B2211/02—Oceanography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B2241/00—Design characteristics
    • B63B2241/02—Design characterised by particular shapes
    • B63B2241/10—Design characterised by particular shapes by particular three dimensional shapes
    • B63B2241/14—Design characterised by particular shapes by particular three dimensional shapes spherical
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00—Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05—Combinations of cameras with electronic flash units
    • G03B2215/0514—Separate unit
    • G03B2215/0517—Housing
    • G03B2215/0542—Housing watertight
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00—Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05—Combinations of cameras with electronic flash units
    • G03B2215/0514—Separate unit
    • G03B2215/0557—Multiple units, e.g. slave-unit
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00—Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05—Combinations of cameras with electronic flash units
    • G03B2215/0564—Combinations of cameras with electronic flash units characterised by the type of light source
    • G03B2215/0567—Solid-state light source, e.g. LED, laser

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Stroboscope Apparatuses (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种图像处理设备中的图像记录方法包括以下步骤：从多个相机获取相应的视频图像，多个相机在打开以第一颜色点亮的第一灯之前在海里开始捕获相应的视频图像，并在打开第一灯后接着打开以第二颜色点亮的第二灯之后结束捕获相应的视频图像；针对每个视频图像，检测视频图像中按时间顺序相邻的帧之间的亮度差；基于差关联视频图像之间的帧的时间；以及将具有关联的时间的视频图像记录在记录介质中。

Description

图像记录方法、图像记录程序、数据处理设备和图像记录设备
技术领域
本发明涉及图像记录方法、图像记录程序、图像处理设备和图像记录设备。
优先权益在2017年12月22日提交的日本专利申请第2017-246910中主张，该申请的全部内容在此纳入作为参考。
背景技术
图像记录设备可能长时间停留在海底，并捕获视频图像以调查海底的生态状况。由于深海很暗，为了使人能够确定所成像的生物体的确切颜色，图像记录设备需要打开白灯以对生物体进行成像。图像记录设备间歇地打开白灯来实现降低图像记录设备功耗的目的。图像记录设备在打开白灯的同时开始成像。
引文清单
专利文献
PTL1：日本未经审查的专利申请，第一公开号2003-69864
PTL2：日本未经审查的专利申请，第一公开号2016-89026
PTL3：PCT国际公开WO2014/171513
PTL4：日本未经审查的专利申请，第一公开号2012-245944
PTL5：日本经审查的专利申请，第二公开号S49-013196
发明内容
技术问题
当图像记录设备突然打开白灯时，待成像生物体会响应于白灯而突然移动。由于相机无法对突然移动并离开成像视角的生物体进行成像，因此现有技术的图像记录设备无法记录准确地表示海底生态的图像。
此外，当使用高灵敏度相机代替在图像记录设备中打开白灯来对生物体进行成像时，因为高灵敏度相机功耗较大，导致电池耗尽，所以图像记录设备无法长时间停留在海底。因而，图像记录设备需要使用白灯和低功耗相机来记录准确地表示海底生态的图像。因此，现有技术的图像记录设备存在无法长时间停留在海底，并且不能记录准确地表示海底生态的图像的问题。
另外，由位于海里的图像记录设备的多个相机产生的视频图像被记录在相机中的各个时间不同步的存储器中。因此，现有技术的数据处理设备存在即使已经获取由多个相机在海里产生的视频图像，也无法同步视频图像的时间并将它们记录在记录介质中的问题。
鉴于上述情况，本发明的目的是提供能够同步由多个相机在海里产生的视频图像的时间，并将这些视频图像记录在记录介质中图像记录方法、图像记录程序、数据处理设备和图像记录设备。
要解决的问题
本发明的一方面是一种图像处理设备中的图像记录方法，所述图像记录方法包括以下步骤：从多个相机获取相应的视频图像，所述多个相机在打开以第一颜色点亮的第一灯之前在海里开始捕获所述相应的视频图像，并在打开所述第一灯后接着打开以第二颜色点亮的第二灯之后结束捕获所述相应的视频图像；针对每个所述视频图像，检测所述视频图像中按时间顺序相邻的帧之间的亮度差；基于所述差关联所述视频图像之间的帧的时间；以及将具有所关联的时间的所述视频图像记录在记录介质中。
本发明的一方面是上述图像记录方法，其中在所述关联步骤中，关联所述视频图像之间的其中按时间顺序相邻的帧之间的亮度差等于或大于阈值的帧的时间。
本发明的一方面是上述图像记录方法，其中在记录步骤中，所述视频图像和相应的元数据按时间关联并且被记录在记录介质中。
本发明的一方面是上述图像记录方法，其中在所述获取步骤中，在所述第一灯中的至少一个以所述第一颜色点亮之后，所述多个第一灯中的至少一个以所述第一和第二颜色之外的第三颜色点亮，以及在所述第一灯以所述第三颜色点亮之后，所述第二灯以所述第二颜色点亮。
本发明的一方面是上述图像记录方法，其中所述第一颜色是蓝色以外的特定颜色，所述第二颜色是白色，以及所述第三颜色是蓝色和所述第一颜色以外的特定颜色。
本发明的一方面是一种计算机可读存储介质，其存储使计算机执行以下过程的图像记录程序：用于从多个相机获取相应的视频图像的过程，所述多个相机在打开以第一颜色点亮的第一灯之前在海里开始捕获所述相应的视频图像，并在打开所述第一灯后接着打开以第二颜色点亮的第二灯之后结束捕获所述相应的视频图像；用于针对每个所述视频图像，检测所述视频图像中按时间顺序相邻的帧之间的亮度差的过程；用于基于所述差关联所述视频图像之间的帧的时间的过程；以及用于将具有所关联的时间的所述视频图像记录在记录介质中的过程。
本发明的一方面是一种图像处理设备，包括获取器，其被配置为从多个相机获取相应的视频图像，所述多个相机在打开以第一颜色点亮的第一灯之前在海里开始捕获所述相应的视频图像，并在打开所述第一灯后接着打开以第二颜色点亮的第二灯之后结束捕获所述相应的视频图像；检测器，其被配置为针对每个所述视频图像，检测所述视频图像中按时间顺序相邻的帧之间的亮度差；关联器，其被配置为基于所述差关联所述视频图像之间的帧的时间；以及控制器，其被配置为将具有所关联的时间的所述视频图像记录在记录介质中。
本发明的一方面是一种图像记录设备，包括相机单元，其被配置为对所述海里的被摄体进行成像；第一发光单元，其具有以第一颜色点亮的第一灯；存储器，其被配置为存储由所述相机单元产生的图像；以及控制器，其被配置为在所述相机单元开始成像之后打开所述第一灯。
本发明的一方面是上述图像记录设备，进一步包括第二发光单元，其具有以第二颜色点亮的第二灯，其中所述控制器被配置为从打开所述第一发光单元开始经过预定时间之后打开所述第二灯。
本发明的一方面是上述图像记录设备，其中所述第一发光单元具有以预定参考空间的间隔布置的多个第一灯，以及所述相机单元被配置为对所述多个第一灯和所述被摄体进行成像。
本发明的一方面是上述图像记录设备，其中所述相机单元包括多个相机，以及所述多个相机被配置为从不同方向对所述被摄体进行成像。
本发明的一方面是上述图像记录设备，其中所述相机单元被配置为对投影在海底上的所述图像记录设备的阴影进行成像。
本发明的一方面是上述图像记录设备，其中所述存储器与所述图像相关联地存储所述图像记录设备的成像时间信息以及纬度、经度和水深中的至少一个。
本发明的有利效应
根据本发明，可以同步多个相机在海里产生的视频图像的时间，并将这些视频图像记录在记录介质中。
附图说明
图1是示出第一实施例中的图像记录系统的配置示例的图。
图2是示出第一实施例中的图像记录设备的外观示例的图。
图3是示出第一实施例中的特定颜色发光单元的外观示例的图。
图4是示出第一实施例中的白灯单元的外观示例的图。
图5是示出第一实施例中的相机单元的外观的第一示例的图。
图6是示出第一实施例中的相机单元的外观的第二示例的图。
图7是示出第一实施例中的成像范围的示例的图。
图8是示出第一实施例中的相机布置信息的格式示例的图。
图9是示出第一实施例中的CTD数据的格式示例的图。
图10是示出第一实施例中的作为待成像生物体的被摄体的长度示例的图。
图11是示出第一实施例中的图像记录设备的操作示例的序列图。
图12是示出第一实施例中的视频图像文件的示例的图。
图13是示出第一实施例中的用于产生视频图像文件的过程示例的图。
图14是示出第二实施例中的图像记录系统的配置示例的图。
图15是示出第二实施例中的阴影的示例的图。
图16是示出第二实施例中的成像的阴影的示例的图。
具体实施方式
将参考附图详细描述本发明的实施例。
(第一实施例)
图1是示出图像记录系统1a的配置的示例的图。图像记录系统1a是用于记录海底环境(水下环境)的图像的系统。水下环境的图像例如是海洋生物体的运动图像或静止图像。图像记录系统1a包括图像记录设备2、测量设备3a和定位设备4。
图像记录设备2是在海底环境中记录图像的设备(海底探索器)。图像记录设备2浸入海里并长时间停留在海底。长时间例如是指一年。图像记录设备2在漂浮到海面之后被回收到母船。
测量设备3a是数据处理设备(信息处理设备)。测量设备3a从已经被回收到母船的图像记录设备2获取图像以及诸如电导率、温度和深度(CTD)之类的元数据。测量设备3a是基于从图像记录设备2获取的图像等执行预定测量过程的设备。预定测量过程例如是基于图像测量由图像记录设备2成像的生物体的长度或大小的过程。
定位设备4安装在图像记录设备2的母船上。定位设备4通过海底图像记录设备2和定位设备4之间的声学通信来测量图像记录设备2和母船之间的距离。定位设备4基于从母船到图像记录设备2的距离和图像记录设备2的水深测量图像记录设备2在海底的位置。定位设备4还可通过在图像记录设备2被回收到母船之后使用存储在图像记录设备2的存储器中的水深数据的后处理，来确定图像记录设备2的位置。定位设备4将图像记录设备2的位置信息记录在存储器中，使得该位置信息与图像数据区分开。定位设备4例如使用从卫星发射的无线电波来测量母船的纬度和经度。
接下来，将描述图像记录设备2的配置示例。
图像记录设备2包括通信球20、应答器球21、换能器22、铅锤23(重物)、隔离器24、支柱25(臂)、照明球26、相机球27、电缆28和元数据生成设备29。
通信球20容纳无线电信标200。当图像记录设备2漂浮到海面时，无线电信标200使用无线电波发送信标信号。
应答器球21是容纳应答器210的耐压容器。耐压容器例如是耐压玻璃球。应答器210是声应答器。应答器210执行安装在母船中的定位设备4和应答器210之间的声通信。声通信的结果例如用于测量母船和图像记录设备2之间的距离。
应答器210通过声通信获取从母船发送的命令信号。命令信号例如是表示有关从图像记录设备2释放搁置在海底的铅锤23的命令的信号。当应答器210从母船获取通过声通信发送的命令信号时，应答器210可通过声通信发送响应信号。
换能器22根据由应答器210获取的命令信号产生电信号。换能器22将对应于命令信号的电信号输出到设置在相机球27中的控制器。换能器22放大从设置在相机球27中的控制器获取的电信号。换能器22将放大的电信号输出到应答器210。
图2是示出图像记录设备2的外观示例的图。具有浮力的图像记录设备2连接到搁置在海底的铅锤23，这样，图像记录设备2在距海底的预定海拔高度上保持垂直姿势。
当应答器210从母船获取有关从图像记录设备2释放铅锤23的命令信号时，隔离器24在设置在相机球27中的控制器的控制下释放铅锤23。这样可使图像记录设备2浮到海面上。
支柱25包括诱饵架250和特定颜色发光单元251。诱饵架250是用于向待成像生物体提供诱饵的框架。特定颜色发光单元251包括发射特定颜色光的灯。特定颜色发光单元251设置在诱饵架250附近。
图3是示出特定颜色发光单元251的外观示例的图。特定颜色发光单元251的颜色例如是透明的。特定颜色发光单元251的形状例如是管状的。将硅油注入特定颜色发光单元251的管中。这样使得特定颜色发光单元251能够承受高水压。
特定颜色发光单元251包括特定颜色的灯252-1至252-N(N是大于等于2的整数，并且在图3中以10为例)、灯板253和电源端子254。特定颜色发光单元251的长度例如是0.60m。特定颜色的灯252是蓝色以外的特定颜色的光。蓝色以外的特定颜色的光的波长例如是大约450至495nm以外的波长。蓝色以外的特定颜色例如是红色、黄色和橙色。例如，在以红色点亮另一特定颜色的灯252之后，多个特定颜色的灯252中的至少一个不以红色、蓝色或白色点亮，而是以黄色点亮。
从特定颜色的灯252输出的光可以包括蓝光，只要从特定颜色的灯252输出的光当中的蓝光强度相对低于蓝光以外的光的强度即可。
特定颜色的灯252-n(n为1至N中的任意数)例如以0.77W的输出(功耗)发射光。因此，特定颜色的灯252-1至252-10以7.7W的总输出功率发射光。特定颜色的灯252-1至252-10的总亮度例如是750(＝75×10)lm。
特定颜色的灯252不限于特定类型的光源，例如是红色发光二极管(LED)。特定颜色的灯252在设置在相机球27中的控制器的控制下打开或关闭。由于特定颜色的灯252设置在诱饵架250附近，因此特定颜色的灯252在待成像生物体(被摄体)附近发光。许多海洋生物体对蓝光高度敏感。因此，待成像生物体不太可能响应于红光或黄光而突然移动。
灯板253包括以预定参考空间(SC)的间隔(间距)布置的多个特定颜色的灯252(线光源)。参考空间例如是50mm。相机单元270对相邻的特定颜色的灯252和待成像生物体进行成像，使得这两者都被包括在同一图像(成像视角)中。
这使得图1所示的测量设备3a能够轻松地比较参考空间的长度和由相机单元270产生的图像中待成像生物体的长度。测量设备3a可以基于参考空间的长度和图像中待成像生物体的长度的比较结果测量待成像生物体的长度和大小。
返回图1，将继续描述图像记录设备2的配置示例。照明球26是容纳白灯单元260的耐压容器。白灯单元260包括白灯261-1至261-P(P是大于等于1的整数)。
图4是示出白灯单元260的外观示例的图。白灯261(探照灯)不限于特定类型的光源，并且例如是红色、绿色和蓝色LED。白灯单元260例如可以是包括蓝色LED和黄色荧光体的光。
白灯261将白灯输出到支柱25的诱饵架250及其周围区域。
白灯261-p(p为1至P中的任意数，在图4中以5为例)中的三个小灯之一例如以2.19W的输出发射光。因此，白灯261-p 1至261-5例如以32.9(＝2.19×3×5)W的输出发射光。白灯261-1至261-5的亮度例如是405(＝270×3×5)lm。
返回图1，将继续描述图像记录设备2的配置示例。相机球27是容纳相机单元270、控制器273和电池274的耐压容器。相机单元270包括相机271-1至271-M(M是大于等于2的整数)。相机271-m包括图像数据存储器272-m(m为1至M中的任意数)。相机271的分辨率例如是(3840×2160)。多个相机271是立体相机，并且从不同方向对被摄体进行成像。这样允许多个相机271以三维的方式捕获待成像生物体。
图5是示出相机单元270的外观的第一示例的图。相机271-1和271-2是沿水平方向布置的立体相机，并且从不同的水平方向对被摄体进行成像。当相机271-1和相机271-2是沿水平方向布置的立体相机时，图2和图3所示的特定颜色发光单元251沿水平方向布置。
图6是示出相机单元270的外观的第二示例的图。相机271-1和271-2是沿垂直方向布置的立体相机，并且从不同的垂直方向对被摄体进行成像。当相机271-1和相机271-2是沿垂直方向布置的立体相机时，图2和图3所示的特定颜色发光单元251可以沿垂直方向布置。即使相机271-1和相机271-2是沿垂直方向布置的立体相机，特定颜色发光单元251也可以沿水平方向布置。图像中的特定颜色发光单元251的布置方向可以通过图像处理来改变。
在图5和6中，相机271-3是下视相机，其例如从图像记录设备2向下对海底进行成像。相机271-3可以对搁置在海底的铅锤23进行成像。相机271的F值例如是6mm。
图7是示出成像范围(从位置A到位置D的范围)的示例的图。特定颜色发光单元251在控制器273的控制下输出蓝色以外的特定光。特定颜色发光单元251向诱饵架250周围的区域输出蓝色以外的特定光。白灯261在控制器273的控制下输出白光。白灯261向支柱25的诱饵架250及其周围区域输出白光。连接白灯261和位置B的线是视线。从白灯261输出的部分白光在到达海底100之前被相机球27遮挡。在图7中，从白灯261输出的白光未到达从海底100的位置A到位置B的范围。因此，白灯261在位于成像范围(从位置A到位置D的范围)内的从海底100的位置B到位置C的范围内输出白光。
多个相机271对从海底100的位置A到位置D的成像范围进行三维成像。例如，相机271-1可以对该成像范围进行成像，使得从相机271-1的位置拍摄的特定颜色发光单元251的图像和从相机271-1的位置拍摄的生物体的图像被包括在第一图像(相机271-1的成像视角)中。例如，相机271-2可以对该成像范围进行成像，使得从相机271-2的位置拍摄的特定颜色发光单元251的图像和从相机271-2的位置拍摄的生物体的图像被包括在第二图像(相机271-2的成像视角)中。
电缆28是海底线缆，电信号通过海底电缆在图像记录设备2的功能单元之间传播。电缆28连接无线电信标200、应答器210、特定颜色发光单元251、白灯单元260、相机单元270和控制器273，使得它们可以彼此通信。即使当图像记录设备2被淹没在海里时，通过电缆28彼此连接的功能单元也可以彼此同步和通信。电缆28还可以向每个功能单元供应电力。
控制器273是诸如CPU之类的数据处理装置。控制器273被容纳在相机球27中。
控制器273和元数据生成器290中的一些或全部是软件功能单元，诸如中央处理单元(CPU)之类的处理器通过执行存储在存储器中的程序而使这些软件功能单元中的每一者起作用。这些功能单元中的一些或全部也可以是硬件功能单元，诸如大规模集成(LSI)或专用集成电路(ASIC)。
图像数据存储器272和元数据存储器291是具有非易失性记录介质(非暂时性记录介质)的存储设备，诸如磁性硬盘设备或半导体存储设备。
元数据存储器291与图像相关联地存储元数据生成设备29的成像时间信息、纬度、经度和深度中的至少一个。
图像数据存储器272-m(m为1至M中的任意数)存储由相机单元271-m产生的图像。
元数据生成设备29包括元数据生成器290。元数据生成器290包括元数据存储器291。元数据生成器290是测量元数据生成设备29周围海水的电导率(电导性)、水温和水压的传感器。元数据生成器290可以独立于控制器273的控制执行操作，也可以在控制器273的控制下执行操作。在图1中，作为示例，元数据生成器290在控制器273的控制下执行操作。
当元数据生成器290独立于控制器273的控制执行操作时，元数据生成设备29进一步包括时钟。元数据生成设备29的时钟在图像记录设备2沉入大海之前立即进行时间调整。
元数据生成器290将时间信息和测量结果作为产生的元数据记录在元数据存储器291中。例如，元数据生成器290将由元数据生成器290产生的CTD数据作为元数据记录在元数据存储器291中。例如，元数据生成器290与图像成像时间或元数据生成设备29的时间中的任一者相关联地将图像记录设备2的位置处本地时间信息作为元数据记录在元数据存储器291中。在图像记录设备2漂浮到海面并被回收到母船之后，分析记录在元数据存储器291中的元数据。
水深基于表示图像记录设备2的位置的纬度和图像记录设备2周围的水压来确定。
元数据存储器291将由元数据生成器290产生的CTD数据存储为元数据。元数据存储器291与图像成像时间或元数据生成设备29的时间中的任一者相关联地将图像记录设备2的位置处的本地时间信息存储为元数据。
相机单元270的总功耗例如为2.85W。为了降低功耗，需要缩短特定颜色发光单元251和白灯261的累积开启时间。因此，控制器273间歇地打开特定颜色发光单元251和白灯261。
控制器273向相机单元270输出控制信号，使得相机单元270在特定颜色发光单元251和白灯261关闭的状态下，对海底拍摄约1至5秒或更长时间。
由于深海较暗，因此当白灯261打开时，待成像生物体可能响应于白灯而突然移动。为了降低在相机单元270对海底进行成像之前待成像生物体离开成像视角的可能性，控制器273在相机单元270对海底进行成像的状态下打开特定颜色发光单元251。这样允许相机单元270捕获待成像生物体，从特定颜色发光单元251输出的特定颜色光被投射在该待成像生物体上例如约1至5秒或更长时间。
在相机单元270对海底进行成像的状态下，控制器273在打开特定颜色发光单元251例如约1至5秒或更长时间之后，关闭特定颜色发光单元251，然后打开白灯单元260。在此，控制器273可以在特定颜色发光单元251的开启时间段结束之前打开白灯单元260。即，特定颜色发光单元251开启的时间段可以与白灯单元260开启的时间段的一部分重叠。
请注意，测量设备3a可通过沿时间方向对齐构成由各个相机271捕获的视频图像的多个帧当中的打开白灯261的帧，来同步由各个相机271捕获的视频图像。
电池274经由电缆28向图像记录设备的功能单元长时间(例如一年)供电。电池274例如被容纳在相机球27中。
接下来，将描述测量设备3a的配置示例。
测量设备3a包括获取器31、检测器32、关联器33、控制器34、存储器35、变量生成器36、尺寸测量装置37和输出单元38。获取器31获取存储在图像记录设备2的图像数据存储器272中的图像。获取器31获取存储在图像记录设备2的元数据存储器291中的诸如CTD数据之类的元数据。获取器31将图像或诸如CTD数据之类的元数据记录在存储器35中。检测器32检测每个视频图像中按时间顺序相邻的帧之间的亮度差。关联器33基于该差关联视频图像之间的帧的时间。
关联器33关联视频图像之间的其中按时间顺序相邻的帧之间的亮度差等于或大于阈值的帧的时间。控制器34将具有关联时间的视频图像记录在存储器35(非暂时性记录介质)中。
控制器34可通过连接存储在图像数据存储器272中的多个图像来从多个图像产生全景图像(宽范围图像)。控制器34可以产生全景图像，使得多个图像(帧)的轮廓彼此接触。控制器34可以产生全景图像，使得多个图像(帧)部分地重叠。
存储器35存储在图像记录设备2的图像数据存储器272中存储的图像。存储器35存储在图像记录设备2的元数据存储器291中存储的诸如CTD数据之类的元数据。存储器35将表示由相机271产生的图像之间的关系(以下称为“关联信息”)的信息存储在图像存储区域以外的存储区域中。关联信息例如是成像日期、成像时间信息或相机布置信息。尺寸测量装置37可以基于图像、元数据和关联信息轻松地执行海底生态等的数据分析。
图8是示出相机布置信息的格式示例的图。在相机布置信息中，“YYYYMMDD”表示本地时间的年、月和日。“HHMMSS”表示本地时间的时刻(小时、分钟、秒)。
“CAMERA 1”例如表示相机271-1。“CameraModelNumber”是表示相机制造商和型号的数字。“LensModelNumber”是表示相机镜头制造商和型号的数字。
当图像拾取元件的长轴为水平轴时，“旋转”被表示为“r_H(水平)”。例如，当显示图像的屏幕的纵横比(水平:垂直)为16:9时，“旋转”被表示为“r_H(水平)”。当图像拾取元件的长轴垂直时，“旋转”被表示为“r_V(垂直)”。
“ReferencePoint”表示相机球27的中心(参考点)。“参考点”还可以是相机球27的正面或反表的中心。相机271的图像拾取元件位于远离支撑相机271的立方体的侧面“Plane1”的位置。相机的距离由从参考点到图像拾取元件中心的距离表示。通常，由于相机271布置在参考点的左侧，因此，相机相对于x轴方向的距离为负值。在许多情况下，相机相对于y轴方向的距离为负值。当相机271的图像拾取元件位于侧面“Plane1”的前面，并且相机271的除图像拾取元件以外的组件位于侧面“Plane1”的后面时，相机相对于z轴方向的距离为正值。
“PanFromPlane 1”是相对于侧面“Plane 1”在水平方向上的平移值(光轴在左右方向上的倾斜)。平移值“0”表示侧面“Plane1”的法线方向。右侧的平移值为正。左侧的平移值为负。
“TiltFromPlane 1”是相对于侧面“Plane 1”在垂直方向上的倾斜值(光轴在垂直方向上的倾斜)。倾斜值“0”表示相对于侧面“平面1”的法线方向。向上的倾斜值为正。向下的倾斜值为负。“Comments”例如是指示是否已设定变焦比和设定的变焦比的注释。
图9是示出CTD数据的格式示例的图。“HHMMSS”表示本地时间的时刻(小时、分钟、秒)。当以比秒更高的精度表示时间时，本地时间以“HHMMSSpXXX”的格式表示。在此，“p”表示小数点。“XXX”表示秒的小数部分。
“Pressure”表示以分贝为单位的水压。“Depth_salt”表示基于以米为单位测量的位置纬度的“盐水中的水深”。“Temperature”表示以摄氏度为单位的水温。“Salinity”表示基于电导率、水温和水压的盐浓度，无度量单位。“userploy”区域是用户数据的记录区域。用户数据例如是可以与CTD数据一起记录的数据，例如氧浓度和浊度。
返回图1，将继续描述测量设备3a的配置示例。变量生成器36通过对由相机271产生的图像执行轮廓检测处理来产生测量变量。例如，变量生成器36通过对由相机271产生的图像执行轮廓检测来获取用于测量作为待成像生物体的被摄体的长度的变量。变量生成器36通过对由相机271产生的图像执行轮廓检测处理来获取表示图像中的彼此相邻的特定颜色的灯252之间的距离的变量。
图10是示出作为待成像生物体的被摄体110的长度示例的图。相机单元270的多个相机271对被摄体110和特定颜色发光单元251进行成像。在图10中，相机271-m和相机271-(m+1)之间的水平方向距离为D。
从每个相机271到特定颜色的灯252的预定距离为Zi。从每个相机271到被摄体110的距离为Zx。
尺寸测量装置37测量由第一相机271产生的图像中的被摄体110的位置和由第二相机271产生的图像中的被摄体110的位置之差(视差Bx)。尺寸测量装置37测量由第一相机271产生的图像中的特定颜色的灯252的位置和由第二相机271产生的图像中的特定颜色的灯252的位置之差(视差Bi)。特定颜色的灯252以预定参考空间SC的间隔布置在特定颜色发光单元251上。
尺寸测量装置37基于图像中被摄体110的尺寸和图像中特定颜色的灯252之间的参考空间确定表示参考空间SC和由相机271产生的图像中的被摄体110的图像长度之间的比率的系数K。尺寸测量装置37基于参考空间SC、系数K、距离Zi和距离Zx测量被摄体110的长度X。
预定距离Zi由等式(1)表示。
Zi＝D×Fs/Bi…(1)
在此，Fs表示相机271的镜头的焦距。Bi表示由相机271-m产生的图像中的特定颜色的灯252-n的图像位置和由相机271-(m+1)产生的图像中的特定颜色的灯252-n的图像位置之间的视差。即，Bi表示相机271-m的成像视角处的特定颜色的灯252-n的图像位置和相机271-(m+1)的成像视角处的特定颜色的灯252-n的图像位置之间的距离。
距离Zx由等式(2)表示。
Zx＝D×Fs/Bx...(2)
在此，Bx表示由相机271-m产生的图像中的被摄体110的图像位置和由相机271-(m+1)产生的图像中的被摄体110的图像位置之间的视差。即，Bx表示相机271-m的成像视角处的被摄体110的图像位置和相机271-(m+1)的成像视角处的被摄体110的图像位置之间的距离。
由相机271产生的图像中的被摄体110的长度与从相机271到被摄体110的距离成比例地变化。因此，等式(3)成立。
Zi:Zx＝K×SC:X…(3)
在此，K是表示参考空间SC和由相机271产生的图像中的被摄体110的图像长度之间的比率的系数。尺寸测量装置37基于等式(4)计算被摄体110的长度X。
X＝K×SC×Bi/Bx…(4)
输出单元38是显示装置。输出单元38显示表示被摄体110的长度X的信息。输出单元38还可以输出由每个相机271产生的图像。输出单元38可以显示叠加在由每个相机271产生的图像上的成像时间信息。
接下来，将描述图像记录设备2的操作示例。
图11是示出图像记录设备2的操作示例的序列图。控制器273指示元数据生成器290开始产生元数据。元数据可以包括指示白灯单元260的开启时间的信息。元数据生成器290将所产生的元数据记录在元数据存储器中(步骤S101)。控制器273指示相机单元270开始捕获视频图像。相机单元270将由相机271-m捕获的视频图像记录在图像数据存储器272-m中(步骤S102)。
在图11中，预定时间例如是5秒。在从步骤S102开始经过预定时间之后，控制器273指示特定颜色灯单元251打开特定颜色的灯252(步骤S103)。在从步骤S103开始经过预定时间之后，控制器273指示白灯单元260打开白灯261(步骤S104)。控制器273指示特定颜色发光单元251关闭特定颜色的灯252(步骤S105)。在从步骤S104开始经过预定时间之后，控制器273指示白灯单元260关闭白灯261(步骤S106)。
控制器273指示相机单元270停止捕获视频图像。相机单元270停止记录视频图像(步骤S107)。控制器273指示元数据生成器290停止产生元数据。元数据生成器290停止记录所产生的元数据(步骤S108)。
请注意，当元数据生成器290独立于控制器273的控制执行操作时，控制器273不需要执行步骤S101和S108。
接下来，将描述由测量设备3a产生的视频图像文件的示例。
图12是示出视频图像文件的示例的图。检测器32检测每个视频图像的按时间顺序相邻的帧之间的亮度差。帧300是由相机271-1产生的视频图像的时间顺序帧。在图12中，从白灯261输出的光在帧300-4中成像。因此，帧300-4的亮度高于帧300-3的亮度。因此，帧300-3的亮度和帧300-4的亮度之差等于或大于预定阈值。
帧301是由相机271-2产生的视频图像的时间顺序帧。在图12中，从白灯261输出的光在帧301-3中成像。因此，帧301-3的亮度高于帧301-2的亮度。因此，帧301-2的亮度和帧301-3的亮度之差等于或大于预定阈值。
帧302是由相机271-3产生的视频图像的时间顺序帧。在图12中，从白灯261输出的光在帧302-4中成像。因此，帧302-4的亮度高于帧302-3的亮度。因此，帧302-3的亮度和帧302-4的亮度之差等于或大于预定阈值。元数据400是诸如CTD之类的时间顺序数据。元数据400可以包括白灯261的开启时间信息。
在白灯261的开启时间为t0的情况下，关联器33关联其中按时间顺序的帧之间的亮度差等于或大于阈值的帧300-4、帧301-3和帧302-4。关联器33产生指示每个帧和元数据之间的时间对应性的信息作为关联信息。控制器273产生包括视频图像、元数据和关联信息的视频图像文件。
接下来，将描述测量设备3a的操作示例。
图13是示出用于产生视频图像文件的过程示例的图。获取器31针对多个相机271中的每一者获取由相机271在海底捕获的视频图像(步骤S201)。检测器32针对每个视频图像检测按时间顺序相邻的帧之间的亮度差(步骤S202)。关联器33基于该差关联视频图像之间的帧的时间(步骤S203)。控制器34将具有关联的时间的视频图像作为视频图像文件记录在存储器35(非暂时性记录介质)中(步骤S204)。
如上所述，第一实施例的测量设备3a包括获取器31、检测器32、关联器33和控制器34。获取器31从多个相机271获取相应的视频图像，多个相机271在打开特定颜色发光单元251的特定颜色的灯252之前开始在海里开始捕获相应的视频图像，并在打开特定颜色发光单元251的特定颜色的灯252后接着在打开白灯单元260的白灯261之后结束捕获相应的视频图像。检测器32检测每个视频图像的按时间顺序相邻的帧之间的亮度差。关联器33基于该差关联视频图像之间的帧的时间。例如，关联器33关联视频图像之间的其中按时间顺序相邻的帧之间的亮度差等于或大于阈值的帧的时间。控制器34将具有关联的时间的视频图像记录在存储器35(非暂时性记录介质)中。例如，在以蓝色以外的特定颜色(红色等)点亮特定颜色的灯252-1之后，可以进一步以蓝色和前一种特定颜色(红色等)以外另一特定颜色(黄色等)点亮特定颜色的灯252-2。
因此，第一实施例的测量设备3a可以同步由多个相机271在海里产生的视频图像的时间，并将这些视频图像记录在记录介质中。
第一实施例的图像记录设备2包括相机单元270、作为第一发光单元的特定颜色发光单元251、图像数据存储器272和控制器273。相机单元270对海里的被摄体进行成像。特定颜色发光单元251例如包括以红色点亮的多个特定颜色的灯252。图像数据存储器272存储由相机单元270产生的图像。在相机单元270开始成像之后，控制器273例如打开以红色点亮的特定颜色的灯252。
因此，第一实施例的图像记录设备2可以降低待成像生物体离开成像视角的可能性。即，第一实施例的图像记录设备2可以长时间停留在海底，并记录准确地表示海底生态的图像。
第一实施例的图像记录设备2是用于深海探索的自由落体式相机系统。第一实施例的图像记录设备2可以在长时间监视海底的同时间歇地捕获海底生物体的视频图像。第一实施例的测量设备3a可以从捕获的图像获取海底生物体的尺寸。根据第一实施例的测量设备3a可以基于诸如成像时间、纬度或经度和元数据(例如CTD数据和水深(深度))之类的关联信息准确地调查海底生态。
第一实施例的图像记录设备2不需要包括昂贵的高灵敏度相机。因此，图像记录设备2的制造成本较低。由于制造成本低，图像记录设备2适合于海量生产。海量生产的图像记录设备2可以捕获许多位置。
由于第一实施例的图像记录设备2间歇地对海底进行成像，因此可降低功耗。由于第一实施例的图像记录设备2使用灯来间歇地照射海底，因此可降低功耗。
由于通过立体相机对以参考空间SC的间隔布置的红灯进行成像，因此，测量设备3a能够基于由立体相机产生的图像测量待成像生物体的尺寸。测量设备3a可以确定光敏生物体的生态。测量设备3a可以获取底栖生物体的数量。
根据第一实施例的图像记录设备2和测量设备3a中的至少一个将关联信息与每个相机271记录的每个图像进行关联。第一实施例的测量设备3a可以基于关联信息轻松地从图像获得信息。
磷虾之类的海洋生物体具有接近光的特性。如果大量这样的海洋生物体聚集在图像记录设备2周围，相机271便会对不需要成像的海洋生物体(诸如磷虾)进行成像。由于第一实施例的图像记录设备2仅在短时间内用灯照射海底，因此可以防止许多不需要成像的海洋生物体(诸如磷虾)聚集在图像记录设备2周围。
第一实施例的测量设备3a包括尺寸测量装置37。尺寸测量装置37基于参考空间SC、系数K、距离Zi和距离Zx测量被摄体110的长度X。
因此，第一实施例的图像记录设备2可以基于图像测量待成像生物体的尺寸。即，第一实施例的图像记录设备2可以长时间停留在海底，并记录准确地表示海底生态的图像。
(第二实施例)
第二实施例与第一实施例的不同之处在于，测量设备具有海拔高度测量装置，该海拔高度测量装置测量海底处的图像记录设备的海拔高度。在第二实施例中，将仅描述与第一实施例的不同之处。
图14是示出图像记录系统1b的配置示例的图。图像记录系统1b是用于在海底环境中记录图像的系统。图像记录系统1b包括图像记录设备2、测量设备3b和定位设备4。
图像记录设备2的铅锤23所搁置的海底有时可能是软土。当图像记录设备2的铅锤23所搁置的海底是软土时，铅锤23在一段时间过后被埋在海底，因此图像记录设备2在海底处的海拔高度发生变化。因此，在图像记录系统1b中，需要在图像记录设备2被回收到母船上之后准确地获得相机271在海底的位置的海拔高度。
图15是示出阴影120的示例的图。白灯261和相机球27之间的相对位置关系是恒定的。投影在海底100上的相机球27的阴影120的实际直径与图像记录设备2的海拔高度成正比。阴影120的实际直径随着图像记录设备2相对于海底100的海拔高度的增加而增加。被容纳在相机球27中的相机271中的至少一个对投影在海底100上的相机球27的阴影120进行成像。
阴影120的直径或面积与图像记录设备2的海拔高度之间的关系是基于图15所示的几何条件预先计算的。阴影120的直径或面积与图像记录设备2的海拔高度之间的关系还可通过实验测量来获得。
图16是示出成像的阴影120的示例的图。由至少一个相机271产生的图像中的阴影120的图像的直径与图像记录设备2相对于海底的海拔高度成比例。随着图像记录设备2相对于海底100的海拔高度的减小，由相机271中的至少一个产生的图像中的阴影120的图像的直径增大。在图16中，时间显示区域130是用于显示时间信息等的区域。
返回图14，将描述测量设备3b的配置示例。测量设备3b是数据处理设备。测量设备3b包括获取器31、检测器32、关联器33、控制器34、存储器35、变量生成器36、尺寸测量装置37、输出单元38、海拔高度测量装置39。海拔高度测量装置39是根据程序执行操作的诸如CPU之类的数据处理装置。
在图像记录设备2被回收到母船之后，海拔高度测量装置39可以基于由相机271产生的图像中的投影在海底100上的相机球27的阴影120的直径或面积，测量图像记录设备2相对于海底100的海拔高度。海拔高度测量装置39可以在使用表示海拔高度的变量的测量过程中校正表示测量的海拔高度的变量。
在图像记录设备2被回收到母船之后，海拔高度测量装置39还可以基于由相机271产生的图像中的支柱25和投影在海底100上的支柱25的阴影的位置关系，测量图像记录设备2相对于海底100的姿态(倾斜度)。
输出单元38显示表示图像记录设备2相对于海底100的海拔高度的信息。输出单元38还可以显示表示图像记录设备2相对于海底100的姿态(倾斜)的信息。输出单元38可以显示叠加在由相机271产生的图像中定义的时间显示区域130中的时间信息。
可以在铅锤23的表面上绘制用于测量沉降到海底100中的量的刻度。相机271-3可以对搁置在海底100的铅锤23进行成像。
相机271-3可以将搁置在海底100的铅锤23的图像记录在图像数据存储器272-3中。在图像记录设备2被回收到母船之后，海拔高度测量装置39可以基于绘制在铅锤23的表面上的刻度的图像，测量相机271在海底100的位置的海拔高度。在图像记录设备2被回收到母船之后，海拔高度测量装置39可以基于绘制在铅锤23的表面上的刻度的图像，校正相机271的位置的海拔高度信息。
如上所述，第二实施例的测量设备3b包括海拔高度测量装置39。海拔高度测量装置39基于由相机271产生的图像中的相机球27投影在海底100上的阴影120的直径或面积，测量图像记录设备2相对于海底100的海拔高度。海拔高度测量装置39还可以基于绘制在铅锤23的表面上的刻度的图像，测量相机271在海底100的位置的海拔高度。
因此，第二实施例的测量设备3b可以测量相机271在海底的位置的海拔高度。第二实施例的测量设备3b可以在预定的测量过程中校正表示图像记录设备2的海拔高度的变量。即，第二实施例的图像记录设备2可以长时间停留在海底，并记录准确地表示海底生态的图像。
图像记录设备2的每个相机271还可通过对使用特定颜色的灯(诸如红灯、黄灯或白灯)照射的海底进行成像来长时间监视海底沉积物的色调变化。
另外，在回收已经长时间(例如，一年)监视海底生物体和环境的图像记录设备2之后，测量设备的检测器32可以比较相机271的视频图像之间的其中相机271的视频图像中按时间顺序相邻的帧之间的亮度差等于或大于阈值的时间。因此，即使由于电缆28等的故障而无法进行相机271的时间同步，检测器32也可以基于比较结果检测相机271的视频图像的时间同步。此外，检测器32可以以视频图像帧为单位检测相机271的视频图像的时间同步。
根据上述实施例的图像记录系统、图像记录设备和测量设备的至少一部分可通过计算机来实现。在这种情况下，可通过在计算机可读记录介质上记录用于实现相应功能的程序，并使计算机系统读取并执行记录在记录介质中的程序，来实现根据上述实施例的图像记录系统、图像记录设备和测量设备的至少一部分。这里所说的“计算机系统”包括OS或诸如外围设备之类的硬件。“计算机可读记录介质”是指便携式介质(例如，软盘、磁光盘、ROM或CD-ROM)或存储设备(例如，计算机系统中提供的硬盘)。“计算机可读记录介质”可以包括短时间内动态地保存程序的制品，例如在经由电话线之类的通信线或因特网之类的网络发送程序的情况下，诸如通信线之类的制品，或者包括在一定时间内保存程序的制品，例如在上述情况下用作服务器或客户机的计算机系统的内部易失性存储器。上述程序可以是用于实现一些上述功能的程序，也可以是结合已经记录在计算机系统中的程序来实现上述功能的程序，或者可以使用诸如现场可编程门阵列(FPGA)之类的可编程逻辑设备实现。
尽管上面已经参考附图详细描述了本发明的实施例，但是其具体配置不限于实施例的那些配置，并且在不脱离本发明的精神的情况下还包括设计等。
工业适用性
本发明适用于记录海底环境监视图像的系统，该系统是监视海底环境的系统。
参考标号清单
1a、1b 图像记录系统
2 图像记录设备
3a、3b 测量设备
4 定位设备
20 通信球
21 应答器球
22 换能器
23 铅锤
24 隔离器
25 支柱
26 照明球
27 相机球
28 电缆
29 元数据生成设备
31 获取器
32 检测器
33 关联器
34 控制器
35 储存器
36 变量发生器
37 尺寸测量装置
38 输出单元
39 海拔高度测量装置
100 海底
110 被摄体
120 阴影
130 时间显示区域
200 无线电信标
250 诱饵架
251 特定颜色发光单元
252 特定颜色的灯
253 灯板
254 电源端子
260 白灯单元
261 白灯
270 相机单元
271 相机
272 图像数据存储器
273 控制器
274 电池
290 元数据生成器
291 元数据存储器
300 帧
301 帧
301 帧
400 元数据
500 关联信息

Claims (11)

1.一种图像处理设备中的图像记录方法，所述图像记录方法包括以下步骤：
从时间不同步的多个相机获取相应的视频图像，所述多个相机在打开以第一颜色点亮的第一灯之前在海里开始捕获所述相应的视频图像，并在打开所述第一灯后接着打开以第二颜色点亮的第二灯之后结束捕获所述相应的视频图像；
针对从所述多个相机获取的每个所述相应的视频图像，检测从所述多个相机之一获取的所述视频图像中按时间顺序相邻的帧之间的亮度差；
基于所述差关联所述视频图像之间的帧的时间；以及
将具有所关联的时间的所述视频图像记录在记录介质中。
2.根据权利要求1所述的图像记录方法，其中在所述关联步骤中，关联所述视频图像之间的其中按时间顺序相邻的帧之间的亮度差等于或大于阈值的帧的时间。
3.根据权利要求1所述的图像记录方法，其中在记录步骤中，所述视频图像和相应的元数据按时间关联并且被记录在记录介质中。
4.根据权利要求1所述的图像记录方法，其中在所述获取步骤中，在所述第一灯中的至少一个以所述第一颜色点亮之后，所述多个第一灯中的至少一个以所述第一和第二颜色之外的第三颜色点亮，以及
在所述第一灯以所述第三颜色点亮之后，所述第二灯以所述第二颜色点亮。
5.根据权利要求4所述的图像记录方法，其中所述第一颜色是蓝色以外的特定颜色，
所述第二颜色是白色，以及
所述第三颜色是蓝色和所述第一颜色以外的特定颜色。
6.一种计算机可读存储介质，其存储使计算机执行以下过程的图像记录程序：
用于从时间不同步的多个相机获取相应的视频图像的过程，所述多个相机在打开以第一颜色点亮的第一灯之前在海里开始捕获所述相应的视频图像，并在打开所述第一灯后接着打开以第二颜色点亮的第二灯之后结束捕获所述相应的视频图像；
用于针对从所述多个相机获取的每个所述视频图像，检测从所述多个相机之一获取的所述视频图像中按时间顺序相邻的帧之间的亮度差的过程；
用于基于所述差关联所述视频图像之间的帧的时间的过程；以及
用于将具有所关联的时间的所述视频图像记录在记录介质中的过程。
7.一种图像处理设备，包括：
获取器，其被配置为从时间不同步的多个相机获取相应的视频图像，所述多个相机在打开以第一颜色点亮的第一灯之前在海里开始捕获所述相应的视频图像，并在打开所述第一灯后接着打开以第二颜色点亮的第二灯之后结束捕获所述相应的视频图像；
检测器，其被配置为针对从所述多个相机获取的每个所述视频图像，检测从所述多个相机之一获取的所述视频图像中按时间顺序相邻的帧之间的亮度差；
关联器，其被配置为基于所述差来关联所述视频图像之间的帧的时间；以及
控制器，其被配置为将具有所关联的时间的所述视频图像记录在记录介质中。
8.一种图像记录设备，包括：
多个相机，其被配置为对海里的被摄体进行成像，其中所述多个相机时间不同步；
以第一颜色点亮并以预定参考空间的间隔布置的多个第一灯；
存储器，其被配置为存储由所述多个相机产生的图像；
控制器，其被配置为在所述多个相机开始成像之后打开所述第一灯；以及
以第二颜色点亮的第二灯，
其中所述控制器被配置为从打开所述第一灯的至少一个开始经过预定时间之后打开所述第二灯，以及所述多个相机被配置为指引对所述多个第一灯和所述被摄体进行成像。
9.根据权利要求8所述的图像记录设备，其中所述多个相机被配置为从不同方向对所述被摄体进行成像。
10.根据权利要求8所述的图像记录设备，其中所述多个相机被配置为对投影在海底上的所述图像记录设备的阴影进行成像。
11.根据权利要求8所述的图像记录设备，其中所述存储器与所述图像相关联地存储所述图像记录设备的成像时间信息以及纬度、经度和水深中的至少一个。
CN201880081460.8A 2017-12-22 2018-12-11 图像记录方法、图像记录程序、数据处理设备和图像记录设备 Active CN111492649B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017246910A JP7165320B2 (ja) 2017-12-22 2017-12-22 画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置
JP2017-246910 2017-12-22
PCT/JP2018/046228 WO2019124287A1 (en) 2017-12-22 2018-12-11 Image recording method, image recording program, data processing apparatus, and image recording apparatus

Publications (2)

Publication Number Publication Date
CN111492649A CN111492649A (zh) 2020-08-04
CN111492649B true CN111492649B (zh) 2023-02-28

Family

ID=66992708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880081460.8A Active CN111492649B (zh) 2017-12-22 2018-12-11 图像记录方法、图像记录程序、数据处理设备和图像记录设备

Country Status (5)

Country Link
US (1) US11423947B2 (zh)
EP (1) EP3729798A4 (zh)
JP (1) JP7165320B2 (zh)
CN (1) CN111492649B (zh)
WO (1) WO2019124287A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11449256B2 (en) * 2018-05-15 2022-09-20 Samsung Electronics Co., Ltd. Method for accelerating image storing and retrieving differential latency storage devices based on access rates
CN113382223A (zh) * 2021-06-03 2021-09-10 浙江大学 一种基于多目视觉的水下三维立体成像装置及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012220859A (ja) * 2011-04-13 2012-11-12 Fujita Corp 全方位撮影システム
TW201308251A (zh) * 2011-08-04 2013-02-16 Yi-Wu Chiang 水下影像強化系統
US8508624B1 (en) * 2010-03-19 2013-08-13 Ambarella, Inc. Camera with color correction after luminance and chrominance separation
CN104914082A (zh) * 2015-05-20 2015-09-16 中国石油大学(华东) 一种紫外诱导荧光多光谱成像的海洋溢油油种识别方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4913196B1 (zh) 1970-07-01 1974-03-29
JP2003069864A (ja) 2001-08-27 2003-03-07 Fisheries Research Agency 水中の映像を長期間にわたって記録する方法及びその方法に使用する水中映像記録装置
JP2012134585A (ja) 2010-12-20 2012-07-12 Nikon Corp カメラ
JP5615229B2 (ja) 2011-05-31 2014-10-29 株式会社杉野ゴム化学工業所 海底探査装置
EP2810018A4 (en) * 2012-01-30 2015-12-30 Google Inc DEVICE AND METHOD FOR RECORDING IMAGES UNDER WATER
EP2909811B1 (en) * 2012-10-17 2020-02-19 Cathx Research Ltd. Improvements in and relating to gathering range and dimensional information underwater surveys
WO2014171513A1 (ja) 2013-04-18 2014-10-23 岡本硝子株式会社 水中ビデオカメラ用ハウジング
GB201407267D0 (en) * 2014-04-24 2014-06-11 Cathx Res Ltd Underwater surveys
US20160180884A1 (en) * 2014-10-15 2016-06-23 Benjamin Nowak Method and system for synchronization of multiple content streams
JP2016089026A (ja) 2014-11-04 2016-05-23 バキュームモールド工業株式会社 軽量材及びこれを用いたフリーフォール式耐圧ガラス球入り深海探査システム用フレーム材

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8508624B1 (en) * 2010-03-19 2013-08-13 Ambarella, Inc. Camera with color correction after luminance and chrominance separation
JP2012220859A (ja) * 2011-04-13 2012-11-12 Fujita Corp 全方位撮影システム
TW201308251A (zh) * 2011-08-04 2013-02-16 Yi-Wu Chiang 水下影像強化系統
CN104914082A (zh) * 2015-05-20 2015-09-16 中国石油大学(华东) 一种紫外诱导荧光多光谱成像的海洋溢油油种识别方法

Also Published As

Publication number Publication date
JP7165320B2 (ja) 2022-11-04
US20210166733A1 (en) 2021-06-03
JP2019114923A (ja) 2019-07-11
EP3729798A4 (en) 2021-10-06
EP3729798A1 (en) 2020-10-28
CN111492649A (zh) 2020-08-04
WO2019124287A1 (en) 2019-06-27
US11423947B2 (en) 2022-08-23

Similar Documents

Publication Publication Date Title
US11962943B1 (en) Inspection camera devices and methods
US10116842B2 (en) Gathering range and dimensional information for underwater surveys
JP6205465B2 (ja) 浅水域観測システム
EP3248374B1 (en) Method and apparatus for multiple technology depth map acquisition and fusion
CN111492649B (zh) 图像记录方法、图像记录程序、数据处理设备和图像记录设备
JP2017003593A5 (zh)
CN108140066A (zh) 图面制作装置及图面制作方法
JP2017126150A (ja) 船舶情報検索システム、船舶情報検索方法、および船舶情報検索サーバ
US11568636B2 (en) Reflective cable locating system
US12020452B2 (en) Reflective cable locating system
Rinke et al. Macro camera temperature logger array for deep‐sea hydrothermal vent and benthic studies
RU33239U1 (ru) Лазерный измеритель масштаба видеоизображения
Curran A strategy for the use of light emitting diodes by autonomous underwater vehicles
Tan et al. LoBSTAS: Low-cost Benthic Weather Station To Monitor Seabed Dynamics And Coastal Hypoxia
Delaunoy et al. Small scale underwater change detection
JP2011223311A (ja) 撮影支援システム、観察装置および撮像装置
Edgerton et al. Application of photography to observations in the sea

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant