CN115668965A - 拍摄装置 - Google Patents

拍摄装置 Download PDF

Info

Publication number
CN115668965A
CN115668965A CN202180036095.0A CN202180036095A CN115668965A CN 115668965 A CN115668965 A CN 115668965A CN 202180036095 A CN202180036095 A CN 202180036095A CN 115668965 A CN115668965 A CN 115668965A
Authority
CN
China
Prior art keywords
imaging
unit
image
vehicle
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180036095.0A
Other languages
English (en)
Inventor
间岛义喜
小林广幸
二神拓也
高桥雄介
大岳达哉
加藤纪康
服部阳平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Publication of CN115668965A publication Critical patent/CN115668965A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/617Upgrading or updating of programs or applications for camera control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00Indicators provided on the vehicle or vehicle train for signalling purposes ; On-board control or communication systems
    • B61L15/0072On-board train data handling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00Indicators provided on the vehicle or vehicle train for signalling purposes ; On-board control or communication systems
    • B61L15/0081On-board diagnosis or maintenance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00Control, warning, or like safety means along the route or between vehicles or vehicle trains
    • B61L23/04Control, warning, or like safety means along the route or between vehicles or vehicle trains for monitoring the mechanical state of the route
    • B61L23/041Obstacle detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L25/00Recording or indicating positions or identities of vehicles or vehicle trains or setting of track apparatus
    • B61L25/02Indicating or recording positions or identities of vehicles or vehicle trains
    • B61L25/025Absolute localisation, e.g. providing geodetic coordinates
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00Indicators provided on the vehicle or vehicle train for signalling purposes ; On-board control or communication systems
    • B61L15/02Head or tail indicators, e.g. light

Abstract

本实施方式的拍摄装置具备拍摄部、车辆信息取得部以及拍摄参数更新部。拍摄部设置于车辆,基于与拍摄条件相关的拍摄参数,对拍摄对象进行拍摄。车辆信息取得部取得行驶中的车辆的行驶环境信息。拍摄参数更新部基于拍摄部拍摄的图像以及车辆信息取得部取得的行驶环境信息,更新拍摄参数。

Description

拍摄装置
技术领域
本发明的实施方式涉及拍摄装置。
背景技术
在车辆前方以监视为目的而设置有相机。存在如下的障碍物检测系统:根据由该相机取得的图像,检测存在与车辆碰撞的可能性的障碍物,并通知给驾驶员。从确保行驶安全性的观点出发,障碍物检测系统对于铁道的自动运转也是重要的。此外,障碍物检测系统要求在整个行驶区间维持较高的障碍物检测精度。
但是,对于在容易发生高光溢出或者暗部缺失的隧道、站台等照度变化显著的场景下拍摄的相机图像,有时品质(例如,对比度等)显著降低。对于这样的品质降低的图像,难以使用图像识别技术检测障碍物。
现有技术文献
专利文献
专利文献1:日本特开2018-037061号公报
专利文献2:日本特开2018-002007号公报
专利文献3:日本特开2009-027651号公报
专利文献4:日本特开2019-221115号公报
专利文献5:日本特开2018-181254号公报
发明内容
发明所要解决的课题
目的在于提供一种能够抑制因环境变化而引起的拍摄图像的品质降低的拍摄装置。
用于解决课题的手段
本实施方式的拍摄装置具备拍摄部、车辆信息取得部以及拍摄参数更新部。拍摄部设置于车辆,基于与拍摄条件相关的拍摄参数,对拍摄对象进行拍摄。车辆信息取得部取得行驶中的车辆的行驶环境信息。拍摄参数更新部基于拍摄部拍摄的图像以及车辆信息取得部取得的行驶环境信息,更新拍摄参数。
附图说明
图1是包括第1实施方式的拍摄装置的监视系统的构成的示意图。
图2是第1实施方式的监视系统所包括的各装置的功能构成的示意图。
图3是第1实施方式的监视系统的动作流程图。
图4是表示从拍摄参数词典参照的调整区域和图像特征量的基准值的一例的图。
图5是表示在隧道附近行驶的铁道车辆的调整区域的选择的一例的图。
图6是将在隧道入口附近以及隧道出口附近行驶中实施障碍物检测的事例作为一例进行说明的图。
图7是第2实施方式的监视系统所包括的各装置的功能构成的示意图。
具体实施方式
以下,参照附图对本发明的实施方式进行说明。本实施方式并不限定本发明。附图是示意性的或者概念性的,各部分的比例等未必与现实的相同。在说明书和附图中,对关于已经出现的附图而与上述的要素相同的要素标注相同的附图标记并适当省略详细的说明。
(第1实施方式)
要求驾驶员在铁道车辆的运转时迅速地发现可能会成为行驶的障碍的原因。驾驶员例如在车辆的行进方向的线路附近发现可能会成为障碍的飞来物、动物等的障碍物时,迅速地实施车辆的紧急停止。为了机械地实施这样的障碍物的迅速发现,例如有时使用相机等的拍摄器材实施障碍物检测。第1实施方式表示在铁道车辆的行驶中更高精度地检测在车辆前方的线路附近成为障碍的障碍物的一例。
首先,对实施方式1的构成进行说明。图1是包括第1实施方式的拍摄装置1的监视系统100的构成的示意图。监视系统100搭载于在构成为一对的行驶线路R上沿着方向G行驶的铁道车辆RV。监视系统100具备拍摄装置1、检测装置2以及接口装置3。拍摄装置1例如设置在驾驶座窗边附近,能够拍摄铁道车辆RV的行驶方向G(铁道车辆前方)的风景。
图2是第1实施方式的监视系统100所包括的各装置的功能构成的示意图。拍摄装置1具备车辆信息取得部1A、拍摄部1B、图像取得部1C、拍摄参数更新部1D以及图像输出部1E。检测装置2具备检测部2A以及检测结果输出控制部2B。接口装置3具备检测结果输出部3A。
拍摄装置1所具有的车辆信息取得部1A具有取得车辆的周边信息的功能,具备天气信息取得部1A1、运行信息取得部1A2、当前位置信息取得部1A3以及前照灯信息取得部1A4。天气信息取得部1A1具有取得车辆的行驶或者停止时的晴、多云、雨、雪、冰雹、风向、风速、太阳的位置等与天气相关的信息的功能。运行信息取得部1A2具有取得在车辆运行时能够获得的当前速度、行驶中的行进方向、行进预定的线路形状、设备信息等的车辆信息的功能。当前位置信息取得部1A3具有取得车辆的当前位置信息的功能。前照灯信息取得部1A4具有取得设置在车辆前方的前照灯的亮度、照射角度等的信息的功能。
即,车辆信息取得部1A取得行驶中的铁道车辆RV(车辆)的行驶环境信息。行驶环境信息例如如上所述包括铁道车辆RV的周边的天气状态、速度、行进方向、行进预定的线路信息、行进预定的设备信息、位置以及前照灯的状态的至少一个。车辆信息取得部1A例如可以从设置在铁道车辆RV内的各种传感器取得行驶环境信息,也可以通过与铁道车辆RV的外部通信来取得行驶环境信息。车辆信息取得部1A将车辆环境信息发送到拍摄参数更新部1D。
拍摄装置1所具有的拍摄部1B是指基于由拍摄参数决定部1D3设定的拍摄参数进行拍摄的拍摄设备。
即,拍摄部1B设置于铁道车辆RV,基于与拍摄条件相关的拍摄参数,对拍摄对象进行拍摄。所拍摄的图像由图像取得部1C取得。拍摄条件例如包含拍摄部1B的快门速度、增益、光圈值、HDR(High Dynamic Range)参数以及视场角的至少一个。拍摄对象例如包括铁道车辆RV的行驶路径(行驶线路R)、该行驶路径的周边以及设置在该周边的标识的至少一个。拍摄对象可以根据监视对象或者监视目的而变更。
拍摄装置1所具有的图像取得部1C取得由拍摄部1B拍摄的图像。即,图像取得部1C基于拍摄参数取得拍摄部1B拍摄的拍摄图像。图像取得部1C将拍摄图像发送到拍摄参数更新部1D。拍摄部1B将拍摄图像发送到图像取得部1C以及图像输出部1E,并从拍摄参数更新部1D接收拍摄参数。
拍摄装置1所具有的拍摄参数更新部1D具备拍摄参数词典部1D1、拍摄参数调整区域决定部1D2以及拍摄参数决定部1D3。拍摄参数词典部1D1是用于取得作为进行拍摄参数的调整的基准的调整区域和图像特征量等的基准值的参照词典部。此时,基于由车辆信息取得部1A得到的上述信息参照向参照词典输入的值。拍摄参数调整区域决定部1D2设定由上述拍摄参数词典部1D1参照的调整区域。拍摄参数决定部1D3基于所设定的调整区域和由图像取得部1C得到的图像设定各拍摄参数的值,以免产生高光溢出或者暗部缺失等。此处所示的拍摄参数是快门速度、增益、光圈值、HDR参数、视场角等的拍摄条件的参数(值)。此时,为了决定拍摄参数,也可以参照由上述车辆信息取得部1A得到的信息。
即,拍摄参数更新部1D基于图像取得部1C取得的拍摄图像(拍摄部1B拍摄的拍摄图像)以及车辆信息取得部1A取得的行驶环境信息,更新拍摄参数。拍摄部1B基于更新后的拍摄参数,对拍摄对象进行拍摄。图像取得部1C取得拍摄部1B基于更新后的拍摄参数拍摄的拍摄对象的拍摄图像。由此,拍摄装置1能够抑制因环境变化而引起的拍摄图像的品质降低(例如,高光溢出或者暗部缺失等)而对拍摄对象进行拍摄。拍摄参数更新部1D从车辆信息取得部1A以及图像取得部1C分别接收行驶环境信息以及拍摄图像,并将拍摄参数发送到拍摄部1B。
另外,下面参照图3~图5对使用了调整区域的拍摄参数的更新的详细情况进行说明。
拍摄装置1所具有的图像输出部1E接收上述图像取得部1C取得的拍摄物,并输出到后述的检测装置2所具有的检测部2A。
检测装置2具备检测部2A以及检测结果输出控制部2B。检测装置2所具有的检测部2A从上述图像输出部1E取得拍摄物并实施障碍物检测。
更详细来说,检测部2A(检测装置2)基于图像检测拍摄对象的异常。拍摄对象的异常并不限定于行驶线路R上的障碍物,例如也可以是动物接近行驶线路R周边、以及标识的异常等。
检测装置2所具有的检测结果输出控制部2B将障碍物检测的结果输出到后述的接口装置3所具有的检测结果输出部3A。
接口装置3具备检测结果输出部3A。接口装置3所具有的检测结果输出部3A从上述检测结果输出控制部2B取得障碍物检测的结果,并通过各接口装置进行通知。接收通知的对象是驾驶员、乘客、铁道指挥站、行驶周边的普通人、动物等。通知方法只要是接收通知的对象者能够理解的形式,便没有特别指定。能够理解的形式例如有:在接收通知的对象者位于车内的情况下,通过车辆内的显示器、布告栏等的记述或附属的扬声器进行通知,或者在通知对象者位于车外的情况下,通过车辆的警笛、外部扬声器等的声音进行通知;等等。即,作为显示装置的检测结果输出部3A显示图像或者检测装置2的检测结果。
图3表示第1实施方式的监视系统100的动作流程图。图3例如表示拍摄参数更新一次的动作的流程。图3所示的动作例如在铁道车辆RV的行驶中反复执行。
首先,在步骤S001中,车辆信息取得部1A取得用于决定拍摄参数的天气信息、运行信息、当前位置以及前照灯信息。天气信息例如是指车辆的行驶或者停止时的晴、多云、雨、雪、冰雹、风向、风速、太阳的位置等。运行信息例如是指包括行进方向的线路形状、线路分支、设备信息的隧道、车站站台、高架桥以及铁路道口等的信息。当前位置信息例如是指使用了被称作GNSS(Global Navigation Satellite System)或者TG(Tachogenerator)的位置检测装置的铁道车辆RV的当前位置。当前位置例如用纬度、经度、里程表记。此处,里程例如表示从始发站等的起点起以100m为单位表现的车辆的行驶位置,纬度、经度表示能够从位置检测装置取得的测量值。前照灯信息是指设置在铁道车辆RV的前方的前照灯的亮度、照射角度等。
接着,在步骤S002中,图像取得部1C取得拍摄部1B拍摄的图像。在步骤S002中拍摄的图像为调整拍摄参数之前的图像。例如,当将实施检测处理的图像的时刻设为t时,使用在时刻t-1的时刻拍摄的图像。此时,也可以使用在时刻t-1调整拍摄参数而拍摄的图像。
接着,在步骤S003中,拍摄参数更新部1D基于所取得的信息从拍摄参数词典部1D1取得调整区域和图像特征量的基准值。另外,以下有时也将图像特征量的基准值称作特征基准值。
图4是表示从拍摄参数词典参照的调整区域和图像特征量的基准值的一例的图。图4的(a)是表示保存在拍摄参数词典部1D1中的行驶环境信息与调整区域以及特征基准值的对应关系的关系信息。对应关系在拍摄参数词典部1D1内保存有多个(例如,在图4的(a)所示的例子中为n个)。当前位置例如用纬度Xn°(n=1、2、……)以及经度Yn°(n=1、2、……)表示。前照灯角度用Zm°(m=1、2、……)表示。此外,在行驶环境信息的各模式中,调整区域An(n=1、2、……)以及特征基准值CVn(n=1、2、……)相关联。图4的(b)表示拍摄图像以及拍摄图像内的调整区域。
调整区域的候补例如可举出以四边形那样的任意的大小、形状划分的拍摄画面上的任意的各格子等。此外,通过选择多个各格子,能够实施可放大、缩小的调整区域的选择、以及不限定于邻接的格子的选择的调整区域的选择。图4的(b)表示调整区域A1、A2。有时根据行驶环境信息来变更调整区域。
图5是表示在隧道T附近行驶的铁道车辆RV中的调整区域A的选择的一例的图。图5的(a)是从上方观察铁道车辆RV的图。图5的(b)表示从铁道车辆RV拍摄的拍摄图像。
在图5的(b)中,从在拍摄画面C中划分为64个格子的行列的调整区域的候补AC中取得行驶线路R附近的格子的集合作为调整区域A。即,即使线路是曲线,也根据线路的形状设定调整区域A。此外,图像特征量的基准值例如也可以将所取得的图像的调整区域内的边缘量作为基准来使用。基准值例如是由驾驶员或者管理员判断为足够鲜明的调整区域中的边缘量。在该情况下,根据各天气、运行信息、当前位置、前照灯得到适合于调整区域内的边缘量的基准值。基于该基准值,在后续的步骤中动态地决定拍摄参数。
接着,在步骤S004中,拍摄参数更新部1D使用图像处理或者信号处理从在步骤S002中取得的图像取得调整区域内的规定的图像特征。图像特征是指拍摄参数词典中设定的图像特征,例如是边缘量。另外,图像特征量并不限定于边缘量,也可以是其他的特征量。
接着,在步骤S005中,拍摄参数更新部1D判定是否需要拍摄参数的更新。例如,如果所取得的图像特征量在拍摄参数词典中参照的图像特征量的基准值的范围内,则不需要拍摄参数的更新。拍摄参数更新部1D在判定为不需要更新的情况下,转移到步骤S009,继续处理。另一方面,如果所取得的图像特征量在特征基准值的范围内,则拍摄参数更新部1D判定为更新拍摄参数,转移到步骤S006。
接着,在步骤S006中,拍摄参数更新部1D更新拍摄参数。通过根据行驶场景更新拍摄参数,取得适合于将高光溢出、暗部缺失等考虑在内的检测的拍摄图像。此处,拍摄参数是指快门速度、增益、光圈值、HDR参数、视场角等的拍摄条件的参数(值)。作为拍摄参数的变更方法,例如也可以根据汇总了基于使增益的拍摄参数上升一个等级等见解的一定的规则的词典,决定拍摄参数。也可以在该词典中包含行驶环境信息与拍摄参数的对应关系。此外,也可以设定目的函数,以使该目的函数最小化的方式决定拍摄参数。
即,拍摄参数更新部1D基于从拍摄图像内设定的调整区域,更新拍摄参数。更详细来说,拍摄参数更新部1D更新拍摄参数,以维持或者提高调整区域的图像品质。
另外,下面参照图6对与步骤S003~S006相关的拍摄参数的更新的详细情况进行说明。
接着,在步骤S007中,拍摄参数更新部1D将调整后的拍摄参数发送到拍摄部1B。
接着,在步骤S008中,拍摄部1B应用接收到的调整完毕的拍摄参数再次实施拍摄。图像取得部1C取得由拍摄部1B再次拍摄的图像。
接着,在步骤S009中,图像取得部1C将应用调整完毕的拍摄参数取得的图像发送到图像输出部1E。或者,当在步骤S005中判定为不需要拍摄参数的更新的情况下,图像取得部1C将调整拍摄参数之前取得的图像(根据未调整的拍摄参数拍摄的图像)发送到图像输出部1E。
接着,在步骤S010中,图像输出部1E将接收到的图像发送到检测装置2。
接着,在步骤S011中,检测装置2实施根据接收到的图像检测对象物的检测处理。此时,可以在图像上显示检测结果。此外,也可以采用在图像上不明示检测结果而记述在其他文件中的方式。对于检测方法,例如可以参照专利文献4、专利文献5那样的公知例。
最后,在步骤S012中,接口装置3所具有的检测结果输出部3A通知在上述步骤S011中得到的检测结果。此处,在通知方法是通过显示器等那样的可输出图像的设备的检测输出图像的显示、描绘的情况下,如果未适当地设定显示、描绘更新频率,则有时会对驾驶员的车辆操纵造成妨碍。例如,在通过将检测结果图像描绘在从图像输出部1E得到的图像上并通过显示器通知给驾驶员的情况下,由于伴随行驶环境的急剧变化的图像的亮度的变化、画面的闪烁,有可能对驾驶员的车辆操纵造成妨碍。在该情况下,也可以使在接口装置3的设备上描绘的检测结果图像的显示、描绘更新频率为与检测装置2检测的频率相同的程度或者减少。
接着,参照图6对与图3的步骤S003~S006相关的具体的实施场景下的拍摄参数的动态更新的一例进行说明。
在图3的步骤S003中,使用通过在设定拍摄参数时输入各环境条件而输出拍摄参数的调整区域和图像特征量的基准值的词典(参照图4的(a))。该词典可以从安装的车辆事先取得。此外,该词典也可以通过软件上的模拟事先收集。
词典的具体构成的一例如图4的(a)所示。即,拍摄参数更新部1D将从拍摄装置1的车辆信息取得部1A取得的天气信息、运行信息、当前位置、前照灯信息作为关键字,取得调整区域和图像特征量的基准值作为值。各调整区域的一例如该图所示。
图6是将在隧道T入口附近以及隧道T出口附近的行驶中实施障碍物检测的事例作为一例进行说明的图。图6的(a)表示铁道车辆RV相对于隧道T的位置关系的一例。图6的(b)与图4的(b)大致相同。
首先,以即将通过隧道T入口之前的拍摄状况ST1为例进行说明。在即将通过隧道T入口之前检测装置2检测到障碍物的情况下,由于检测到障碍物的区域位于隧道内部的线路上,所以需要动态地决定调整区域和拍摄参数。假设从车辆信息取得部1A取得的天气信息为晴、运行信息为下次行驶线路形状为直线、设备信息为隧道入口、当前位置为纬度X1°、经度Y1°、前照灯熄灭。在该情况下,拍摄参数更新部1D从图4的(a)所示的拍摄参数词典部1D1参照调整区域和图像特征量的基准值,取得在图6的(b)的拍摄画面C1上显示的调整区域A1。
接着,拍摄参数更新部1D基于该调整区域A1以及图像取得部1C取得的图像信息决定拍摄参数。首先,拍摄参数更新部1D将焦点置于调整区域A1内并通过图像处理或者信号处理取得图像特征量。此处,图像特征量例如是指边缘量等。在该图像特征量在由拍摄参数词典部1D1得到的图像特征量的基准值的范围内的情况下,拍摄参数更新部1D判定为不需要拍摄参数的更新。另一方面,在从调整区域A1取得的图像特征量在图像特征量的基准值的范围外的情况下,拍摄参数更新部1D判定为需要拍摄参数的更新。在需要拍摄参数的更新的情况下,拍摄参数更新部1D例如根据汇总了基于使增益等的拍摄参数上升一个等级等见解的一定的规则的词典决定拍摄参数。由于调整区域在隧道T内部的线路上,所以拍摄参数更新部1D例如将快门速度设定为1/30s,将增益设定为较高,将光圈值(F值)设定为较低,以EV值2级取得HDR参数,将视场角设定为较高,以使得调整区域内显示在图像中央。拍摄参数更新部1D将该决定的拍摄参数应用于拍摄部1B,图像取得部1C再次取得图像。之后,图像输出部1E向检测装置2输出图像,检测装置2以更适合障碍物检测的图像进行检测处理。
即,拍摄参数更新部1D基于车辆信息取得部1A取得的行驶环境信息,从拍摄图像内设定(决定)至少包括拍摄对象的规定区域(调整区域)。更详细来说,拍摄参数更新部1D将车辆信息取得部1A取得的行驶环境信息应用于预先得到的行驶环境信息与预先得到的拍摄图像内的调整区域建立关系的第1关系,由此从拍摄部1B拍摄的拍摄图像内设定调整区域。另外,“预先得到的行驶环境信息”例如包含车辆信息取得部1A过去取得的铁道车辆RV的过去行驶环境信息或者通过模拟得到的行驶环境信息等。“预先得到的拍摄图像”例如包含图像取得部1C过去取得(拍摄部1B过去拍摄)的过去拍摄图像或者通过模拟得到的拍摄图像等。模拟例如在软件上模拟车辆行驶。实际上现场取得行驶环境信息以及拍摄图像的成本较高,因此有时使用上述的模拟。“车辆信息取得部1A取得的行驶环境信息”表示当前(行驶中)的行驶环境信息。当前的行驶环境信息将来有时作为过去行驶环境信息而用于拍摄参数的更新。“拍摄部1B拍摄的拍摄图像”表示当前(行驶中)的拍摄图像。当前的拍摄图像将来有时作为过去拍摄图像而用于拍摄参数的更新。此外,第1关系是拍摄参数词典部1D1的一部分。拍摄参数词典部1D1的调整区域例如可以由驾驶员或者管理员从预先得到的拍摄图像内选择,也可以通过从通过图像识别预先得到的拍摄图像确定拍摄对象来选择。
此外,拍摄参数更新部1D基于车辆信息取得部1A取得的行驶环境信息,取得调整区域中的图像特征量的特征基准值。特征基准值是预先得到的拍摄图像内的调整区域中的图像特征量。更详细来说,拍摄参数更新部1D通过将车辆信息取得部1A取得的行驶环境信息应用于预先得到的行驶环境信息与特征基准值建立关系的第2关系,取得特征基准值。第2关系是拍摄参数词典部1D1的一部分。
另外,在图4的(a)所示的例子中,包括第1关系以及第2关系的拍摄参数词典部1D1将车辆信息取得部1A过去取得的铁道车辆RV的过去行驶环境信息与拍摄部1B过去拍摄的过去拍摄图像内的调整区域以及特征基准值建立关系。
进而,拍摄参数更新部1D每当设定调整区域时,更新拍摄参数。更详细来说,拍摄参数更新部1D每当更新调整区域时,判定是否更新拍摄参数。此外,拍摄参数更新部1D基于从拍摄图像内设定的调整区域中的图像特征量与特征基准值的比较,更新拍摄参数。更详细来说,拍摄参数更新部1D在从拍摄图像内设定的调整区域中的图像特征量处于包括特征基准值的规定范围外的情况下,更新拍摄参数。拍摄参数更新部1D在从拍摄图像内设定的调整区域中的图像特征量处于规定范围内的情况下,不更新拍摄参数。因而,在图像特征量处于规定范围内的情况下,由于拍摄图像对障碍物检测十分有用,所以能够省略拍摄参数的更新处理。
接着,以即将通过隧道T出口之前的拍摄状况ST2为例进行说明。与即将通过隧道T入口之前的拍摄状况ST1不同,由于检测到障碍物的区域在隧道T外部的线路上,所以与拍摄状况ST1相同动态地决定调整区域和拍摄参数的可能性较高。假设从车辆信息取得部1A取得的天气信息为晴、行驶信息为下次行驶线路形状为直线、设备信息为隧道出口、当前位置为纬度X2°、经度Y2°、前照灯点亮,前照灯角度为Z1°。在该情况下,拍摄参数更新部1D从图4的(a)所示的拍摄参数词典部1D1参照调整区域和图像特征量的基准值,取得在图6的(b)的拍摄画面C2上显示的调整区域A2。
接着,拍摄参数更新部1D基于该调整区域A2以及图像取得部1C取得的图像信息决定拍摄参数。拍摄参数更新部1D与拍摄状况ST1相同,从取得调整区域内的图像特征量的图像,通过图像处理或者信号处理求出图像特征量。拍摄参数更新部1D将所求出的图像特征量与在拍摄参数词典部1D1中参照的图像特征量的基准值进行比较,判定是否需要拍摄参数的更新。假设在需要更新的情况下,由于调整区域在隧道T外部的线路上,所以拍摄参数更新部1D例如将快门速度设定为1/30s,将增益设定为较低,将光圈值(F值)设定为较高,以EV值2级取得HDR参数,将视场角设定为较高,以使调整区域内显示在图像中央。之后,检测装置2与拍摄状况ST1相同地实施障碍物检测,更高精度地检测障碍物。
即,拍摄参数更新部1D每隔铁道车辆RV的行驶路径上的规定区间,再次设定(更新)拍摄图像内的调整区域。规定区间例如在图6所示的拍摄状况ST1、ST2的周围500m的范围内。但是,并不限定于此,规定区间可以进一步设置在图6的拍摄状况ST1、ST2之间,在图6中未示出的行驶线路R上也设置有多个。因而,拍摄参数在铁道车辆RV的行驶中反复更新。
如以上那样,根据第1实施方式,拍摄部1B基于与拍摄条件相关的拍摄参数,对拍摄对象进行拍摄。此外,拍摄参数更新部1D基于拍摄部1B拍摄的拍摄图像以及车辆信息取得部1A取得的行驶环境信息,更新拍摄参数。此外,拍摄部1B基于更新后的拍摄参数,对拍摄对象进行拍摄。由此,能够根据隧道附近的照度变化等的环境变化变更拍摄参数。其结果,能够抑制因环境变化而引起的拍摄图像的品质降低,能够提高图像品质。因而,例如,能够取得对于在车辆前方的线路附近成为障碍的障碍物的更高精度的检测有用的图像。另外,根据行驶环境信息的种类,可应对的环境变化有时发生改变。行驶环境信息的种类并不限定于上述,此外,也可以根据需要限制也用作词典的个数。此外,环境变化并不限定于隧道,例如也可以是因夕阳而引起的照度变化等。
此外,上述拍摄参数更新部1D基于从拍摄图像内决定的调整区域,更新拍摄参数。
假设在设定了鲜明地拍摄图像整体的拍摄参数的情况下,有可能无法鲜明地拍摄作为监视对象的拍摄对象。
与此相对,在第1实施方式中,能够将焦点置于拍摄图像内的调整区域,调整拍摄参数。由此,能够提高拍摄对象的图像品质,检测装置2能够容易地从拍摄图像内识别拍摄对象。其结果,能够提高检测装置2的检测精度。
另外,调整区域可以根据行驶中的各状况动态地变化。此外,使调整区域变化的期间也可以是任意的。例如,在由拍摄装置1取得的相机(拍摄部1B)的帧速率为30fps的情况下,拍摄参数更新部1D也可以每当取得1帧时更新调整区域。另一方面,拍摄参数更新部1D也可以与相机的帧速率无关地每隔1秒更新调整区域。即,拍摄参数更新部1D也可以每隔规定时间再次设定拍摄图像内的调整区域。另外,规定时间并不限定于上述的帧速率以及1秒。此外,拍摄参数更新部1D也可以将每隔规定区间以及每隔规定时间组合来更新调整区域。
此外,拍摄部1B也可以拍摄铁道车辆RV的行进方向(行驶方向G)以及与该行进方向相反方向的至少一方的拍摄对象。在该情况下,拍摄装置1例如也可以还具备拍摄设置于铁道车辆RV的后方的车辆后方的拍摄对象的拍摄部1B。另外,在前方和后方,拍摄对象可以不同,此外,拍摄参数的更新方法也可以相同。此外,拍摄部1B也可以不拍摄前方的拍摄对象,而拍摄后方的拍摄对象。
此外,也可以不进行图3所示的步骤S004、S005的基于图像特征量的判定。即,拍摄参数更新部1D每当调整区域的再设定时,不省略而进行拍摄参数的更新。在该情况下,不需要拍摄参数词典部1D1中的特征基准值的关系建立。因而,能够削减拍摄参数词典部1D1的制作的工时。
(第2实施方式)
图7表示第2实施方式的监视系统100所包括的各装置的功能构成的示意图。第2实施方式在有时不进行基于检测装置2的检测这点与第1实施方式不同。
接口装置3还具备图像显示部3B。
作为显示装置的图像显示部3B显示图像。更详细来说,图像显示部3B不经由检测装置2而显示图像输出部1E输出的图像。这是因为,有时要求不进行障碍物检测而更鲜明地拍摄拍摄对象。因而,拍摄装置1例如能够设定拍摄参数,以使得人容易从拍摄图像内识别拍摄对象。
图像输出部1E将拍摄部1B基于更新后的拍摄参数拍摄的拍摄图像输出到检测部2A和图像显示部3B中的至少一方。
另外,在图7中,示出了检测装置2以及检测结果输出部3A,但也可以不设置它们。
第2实施方式的拍摄装置1以及监视系统100的其他构成与第1实施方式的拍摄装置1以及监视系统100的对应的构成相同,因此省略其详细说明。
第2实施方式的拍摄装置1能够得到与第1实施方式相同的效果。
本实施方式的拍摄装置1的至少一部分可以由硬件构成,也可以由软件构成。在由软件构成的情况下,也可以将实现拍摄装置1的至少一部分的功能的程序收纳在软盘、CD-ROM等的记录介质中,由计算机读入并执行。记录介质并不限定于磁盘、光盘等的可拆装的介质,也可以是硬盘装置、存储器等的固定型的记录介质。此外,也可以将实现拍摄装置1的至少一部分的功能的程序经由因特网等的通信线路(也包括无线通信)分发。进而,也可以将该程序加密或者调制,在压缩的状态下经由因特网等的有线线路或无线线路或者收纳在记录介质中进行分发。
对本发明的几个实施方式进行了说明,但这些实施方式是作为例子而提示的,并不意图对发明的范围进行限定。这些实施方式能够以其他各种方式加以实施,在不脱离发明的主旨的范围内能够进行各种省略、置换、变更。这些实施方式及其变形包含于发明的范围及主旨中,并同样包含于技术方案所记载的发明和与其等同的范围中。

Claims (10)

1.一种拍摄装置,具备:
拍摄部,设置于车辆,基于与拍摄条件相关的拍摄参数,对拍摄对象进行拍摄;
车辆信息取得部,取得行驶中的上述车辆的行驶环境信息;以及
拍摄参数更新部,基于上述拍摄部拍摄的拍摄图像以及上述车辆信息取得部取得的上述行驶环境信息,更新上述拍摄参数。
2.根据权利要求1所述的拍摄装置,其中,
上述拍摄参数更新部为,
基于上述车辆信息取得部取得的上述行驶环境信息,从上述拍摄图像内设定至少包括上述拍摄对象的规定区域,
基于从上述拍摄图像内设定的上述规定区域更新上述拍摄参数。
3.根据权利要求2所述的拍摄装置,其中,
上述拍摄参数更新部通过将上述车辆信息取得部取得的上述行驶环境信息应用于预先得到的上述行驶环境信息与预先得到的上述拍摄图像内的上述规定区域建立关系的第1关系,从上述拍摄部拍摄的上述拍摄图像内设定上述规定区域。
4.根据权利要求2或3所述的拍摄装置,其中,
上述拍摄参数更新部为,
基于上述车辆信息取得部取得的上述行驶环境信息,取得上述规定区域中的图像特征量的基准值,
基于从上述拍摄图像内设定的上述规定区域中的图像特征量与上述基准值的比较,更新上述拍摄参数。
5.根据权利要求4所述的拍摄装置,其中,
上述基准值是预先得到的上述拍摄图像内的上述规定区域中的图像特征量。
6.根据权利要求4或5所述的拍摄装置,其中,
上述拍摄参数更新部通过将上述车辆信息取得部取得的上述行驶环境信息应用于预先得到的上述行驶环境信息与上述基准值建立关系的第2关系,取得上述基准值。
7.根据权利要求4至6中任一项所述的拍摄装置,其中,
上述拍摄参数更新部为,
在从上述拍摄图像内设定的上述规定区域中的图像特征量处于包括上述基准值的规定范围外的情况下,更新上述拍摄参数,
在从上述拍摄图像内设定的上述规定区域中的图像特征量处于上述规定范围内的情况下,不更新上述拍摄参数。
8.根据权利要求2至7中任一项所述的拍摄装置,其中,
上述拍摄参数更新部每隔上述车辆的行驶路径上的规定区间,再次设定上述拍摄图像内的上述规定区域。
9.根据权利要求2至8中任一项所述的拍摄装置,其中,
上述拍摄参数更新部每隔规定时间再次设定上述拍摄图像内的上述规定区域。
10.根据权利要求2至9中任一项所述的拍摄装置,其中,
上述拍摄参数更新部每当设定上述规定区域时,更新上述拍摄参数。
CN202180036095.0A 2020-07-07 2021-04-23 拍摄装置 Pending CN115668965A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-117266 2020-07-07
JP2020117266A JP2022014743A (ja) 2020-07-07 2020-07-07 撮影装置
PCT/JP2021/016438 WO2022009506A1 (ja) 2020-07-07 2021-04-23 撮影装置

Publications (1)

Publication Number Publication Date
CN115668965A true CN115668965A (zh) 2023-01-31

Family

ID=79552902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180036095.0A Pending CN115668965A (zh) 2020-07-07 2021-04-23 拍摄装置

Country Status (4)

Country Link
EP (1) EP4181500A1 (zh)
JP (1) JP2022014743A (zh)
CN (1) CN115668965A (zh)
WO (1) WO2022009506A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024023906A1 (ja) * 2022-07-26 2024-02-01 日立Astemo株式会社 外界センサの更新装置及び外界センサの更新方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027651A (ja) 2007-07-23 2009-02-05 Sony Corp 監視システム、監視カメラ、監視方法および監視プログラム
JP4996402B2 (ja) * 2007-09-14 2012-08-08 株式会社東芝 撮像装置
JP2009177250A (ja) * 2008-01-21 2009-08-06 Fujitsu Ten Ltd 車載用画像認識装置、車両状況判定装置および車載用画像認識方法
JP6369432B2 (ja) * 2015-09-18 2018-08-08 株式会社ニコン 撮像装置
JP6722529B2 (ja) 2016-07-05 2020-07-15 日立造船株式会社 鉄道用障害物検知システム
KR20180025591A (ko) 2016-09-01 2018-03-09 삼성전자주식회사 자율 주행 차량을 위한 비전 센서의 제어 방법 및 장치
JP6903477B2 (ja) 2017-04-21 2021-07-14 株式会社東芝 軌道識別装置、およびプログラム
JP2019209734A (ja) * 2018-05-31 2019-12-12 株式会社東芝 軌道識別装置
JP2019221115A (ja) 2018-06-22 2019-12-26 株式会社東芝 走行状況提示装置

Also Published As

Publication number Publication date
EP4181500A1 (en) 2023-05-17
WO2022009506A1 (ja) 2022-01-13
JP2022014743A (ja) 2022-01-20

Similar Documents

Publication Publication Date Title
CN108513059B (zh) 图像处理方法、设备以及自动驾驶车辆
CN110706282B (zh) 全景系统自动标定方法、装置、可读存储介质及电子设备
EP3700198B1 (en) Imaging device, image processing apparatus, and image processing method
WO2015129045A1 (ja) 画像取得システム、端末、画像取得方法および画像取得プログラム
JP7200946B2 (ja) 情報処理装置、制御システム、情報処理方法及びプログラム
KR102541560B1 (ko) 객체 인식 방법 및 장치
WO2014054289A1 (ja) 車両用ナビゲーションシステムおよび車両用撮影装置
WO2014054288A1 (ja) 車両用ナビゲーションシステム
JP2014074626A (ja) 車両用ナビゲーションシステム
CN116580567A (zh) 基于智能交通灯的道路拥堵原因获取方法、系统及设备
CN115668965A (zh) 拍摄装置
US20190197730A1 (en) Semiconductor device, imaging system, and program
JP6934386B2 (ja) 動体追尾装置及びそのプログラム
US20220242446A1 (en) Automatic driving control device and automatic driving control method
CN113170057B (zh) 摄像部控制装置
JP5910449B2 (ja) 車両用ナビゲーションシステム
KR101940273B1 (ko) 무인비행기를 이용한 버스전용차로 단속 시스템
US20180278862A1 (en) Image generating apparatus, image generating method, and recording medium having the program stored thereon
WO2022102425A1 (ja) 信号処理装置及び信号処理方法
JP6523907B2 (ja) 車間距離検出システム、車間距離検出方法、およびプログラム
US11702094B2 (en) Driving support apparatus and driving support method
US20230276133A1 (en) Exposure time control using map data
JP7371679B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20240127604A1 (en) Road surface information collecting device, road surface deterioration detecting system, and road surface information collecting method
WO2022153838A1 (ja) 情報処理装置、情報処理システム、および方法、並びにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination