JP2023116151A - 画像改善システム、画像改善方法、及び画像改善プログラム - Google Patents

Abstract

【課題】カメラによって撮像された画像の視認性を低下させる要因を自動的に考慮して、その画像の視認性を適切に改善することができる技術を提供する。【解決手段】画像改善システムは、カメラによって撮像された画像の視認性を改善する。画像改善システムは、カメラによって撮像された画像に基づいて、その画像が撮像されたときの環境条件を判別する。そして、画像改善システムは、環境条件に応じて視認性を改善するために必要な視認性改善処理を複数種類の処理候補の中から特定し、必要な視認性改善処理を所定の順番で画像に適用することによって、視認性が改善された改善画像を生成する。【選択図】図３

Description

本開示は、カメラによって撮像された画像の視認性を改善する技術に関する。

特許文献１は、画像全体の視認性を維持したまま、局所的に視認性の悪い領域の視認性を改善する技術を開示している。具体的には、撮像装置で撮像された画像の中の影領域が認識される。そして、影領域の特徴量（例：輝度）がその他の領域の特徴量と一致するように、影領域に属する各画素の画素値が変更される。

特許文献２は、画像処理装置を開示している。画像処理装置は、領域設定手段と、解析手段と、補正処理手段とを有する。領域設定手段は、表示された画像に対して補正対象の領域を設定する。解析手段は、領域設定手段により設定された領域の特徴量を解析して、補正対象の領域内の画像に対して実施すべき補正の種類及び補正パラメータを決定する。補正処理手段は、解析手段により決定された内容に従い、補正対象の領域内の画像に補正を行う。

非特許文献１は、ResNet（Deep Residual Net）を用いた画像認識技術を開示している。

非特許文献２は、Deep Residual Learningを用いることによって、画像から天気等のシーンを認識する技術を開示している。

非特許文献３は、Convolutional Neural Network (CNN)を用いて、霧等でかすんだ画像を改善する技術（dehazing, defogging）を開示している。

非特許文献４は、ディープラーニングを利用して、低照度画像を通常光画像へ変換する技術（EnlightenGAN）を開示している。これにより、例えば、夜間や逆光といったシーンにおいて撮像された画像を適度な明るさに補正することができる。

非特許文献５は、霧や雨等でかすんだ画像を改善する技術（dehazing, deraining）を開示している。

特開２００７－２７２４７７号公報 特開２０１８－０１４６３５号公報

Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun, "Deep Residual Learning for Image Recognition", arXiv:1512.03385v1 [cs.CV], December 10, 2015 (https://arxiv.org/pdf/1512.03385.pdf) Mohamed R. Ibrahim, James Haworth, and Tao Cheng, "WeatherNet: Recognising weather and visual conditions from street-level images using deep residual learning", arXiv:1910.09910v1 [cs.CV], October 22, 2019 (https://arxiv.org/ftp/arxiv/papers/1910/1910.09910.pdf) Boyi Li, Xiulian Peng, Zhangyang Wang, Jizheng Xu, and Dan Feng, "AOD-Net: All-in-One Dehazing Network", ICCV, 2017 (https://openaccess.thecvf.com/content_ICCV_2017/papers/Li_AOD-Net_All-In-One_Dehazing_ICCV_2017_paper.pdf) Yifan Jiang, Xinyu Gong, Ding Liu, Yu Cheng, Chen Fang, Xiaohui Shen, Jianchao Yang, Pan Zhou, and Zhangyang Wang, "EnlightenGAN: Deep Light Enhancement without Paired Supervision", arXiv:1906.06972v1 [cs.CV], June 17, 2019 (https://arxiv.org/pdf/1906.06972.pdf) Dongdong Chen, Mingming He, Qingnan Fan, Jing Liao, Liheng Zhang, Dongdong Hou, Lu Yuan, and Gang Hua, "Gated Context Aggregation Network for Image Dehazing and Deraining", arXiv:1811.08747v2 [cs.CV], December 15, 2018 (https://arxiv.org/abs/1811.08747)

カメラによって撮像された画像の視認性が悪いと、その画像を利用した認識や処理の精度が低下する。例えば、ユーザが画像内の物体や事象を認識する必要がある場合に、その画像の視認性が悪いと認識精度が低下する。よって、カメラによって撮像された画像の視認性を改善してクリアな画像を取得することは有用である。但し、画像の視認性を改善するためにどのような処理をどのような順番で行うべきかをユーザが判断することは困難であり且つ煩わしい。

本開示の１つの目的は、カメラによって撮像された画像の視認性を低下させる要因を自動的に考慮して、その画像の視認性を適切に改善することができる技術を提供することにある。

第１の観点は、カメラによって撮像された画像の視認性を改善する画像改善システムに関連する。
画像改善システムは、１又は複数のプロセッサを備える。
１又は複数のプロセッサは、
画像に基づいて、画像が撮像されたときの環境条件を判別する環境条件判別処理と、
環境条件に応じて視認性を改善するために必要な視認性改善処理を複数種類の処理候補の中から特定し、必要な視認性改善処理を所定の順番で画像に適用することによって、視認性が改善された改善画像を生成する視認性改善処理と
を実行するように構成される。

第２の観点は、カメラによって撮像された画像の視認性を改善する画像改善方法に関連する。
画像改善方法は、
画像に基づいて、画像が撮像されたときの環境条件を判別する環境条件判別処理と、
環境条件に応じて視認性を改善するために必要な視認性改善処理を複数種類の処理候補の中から特定し、必要な視認性改善処理を所定の順番で画像に適用することによって、視認性が改善された改善画像を生成する視認性改善処理と
を含む。

第３の観点は、コンピュータによって実行され、カメラによって撮像された画像の視認性を改善する画像改善プログラムに関連する。
画像改善プログラムは、
画像に基づいて、画像が撮像されたときの環境条件を判別する環境条件判別処理と、
環境条件に応じて視認性を改善するために必要な視認性改善処理を複数種類の処理候補の中から特定し、必要な視認性改善処理を所定の順番で画像に適用することによって、視認性が改善された改善画像を生成する視認性改善処理と
をコンピュータに実行させる。

本開示によれば、カメラによって撮像された画像に基づいて、その画像の撮像時の環境条件が判別される。更に、その環境条件に応じて必要な視認性改善処理が特定され、必要な視認性改善処理が所定の順番で画像に適用され、改善画像が生成される。視認性を低下させる要因に応じた適切な視認性改善処理が適切な順番で実行されるため、優れた視認性改善効果が得られる。また、ユーザによる個別判断は不要であるため、ユーザの負荷が軽減される。ユーザは、視認性が改善された改善画像を手軽に取得することができる。

本開示の実施の形態に係る画像改善システムの構成例を示すブロック図である。 本開示の実施の形態に係る画像改善システムの機能構成例を示すブロック図である。 本開示の実施の形態に係る画像改善システムによる処理を示すフローチャートである。 本開示の実施の形態に係る環境条件判別処理（ステップＳ２０）を説明するための概念図である。 本開示の実施の形態に係る視認性改善処理（ステップＳ３０）の一例を示すフローチャートである。 本開示の実施の形態に係る遠隔支援システムを示す概念図である。 本開示の実施の形態に係る遠隔オペレータ端末の構成例を示すブロック図である。 本開示の実施の形態に係る自動運転システムを示す概念図である。 本開示の実施の形態に係る地図管理システムを示す概念図である。 本開示の実施の形態に係る監視システムを示す概念図である。

添付図面を参照して、本開示の実施の形態を説明する。

１．画像改善システム
１－１．概要
図１は、本実施の形態に係る画像改善システム１の構成例を示すブロック図である。画像改善システム１は、カメラＣによって撮像された画像ＩＭＧを取得し、その画像ＩＭＧを改善する。特に、画像改善システム１は、画像ＩＭＧの「視認性」を改善する。画像ＩＭＧの視認性を改善する処理を、以下、「視認性改善処理」と呼ぶ。また、視認性が改善された画像を、以下、「改善画像ＩＭＧ＿Ｓ」と呼ぶ。

画像改善システム１は、視認性改善処理を含む各種の情報処理を実行するコンピュータである。画像改善システム１は、単体の装置で構成されてもよいし、分散された複数の装置の組み合わせにより構成されてもよい。後者の場合、複数の装置が連携して必要な情報処理を行う。

より詳細には、画像改善システム１は、Ｉ／Ｏインタフェース２、１又は複数のプロセッサ３（以下、単にプロセッサ３と呼ぶ）、及び１又は複数の記憶装置４（以下、単に記憶装置４と呼ぶ）を含んでいる。Ｉ／Ｏインタフェース２は、カメラＣによって撮像された画像ＩＭＧを入力し、また、改善画像ＩＭＧ＿Ｓを出力する。プロセッサ３は、各種の情報処理を実行する。例えば、プロセッサ３は、ＣＰＵ（Central Processing Unit）を含んでいる。記憶装置４は、プロセッサ３による処理に必要な各種情報を格納する。記憶装置４としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、等が例示される。

画像改善プログラム５は、プロセッサ３によって実行されるコンピュータプログラムである。プロセッサ３が画像改善プログラム５を実行することにより、画像改善システム１の機能が実現される。画像改善プログラム５は、記憶装置４に格納される。画像改善プログラム５は、コンピュータ読み取り可能な記録媒体に記録されてもよい。画像改善プログラム５は、ネットワーク経由で提供されてもよい。

カメラＣによって撮像される画像ＩＭＧの視認性を低下させる要因としては様々考えられる。本実施の形態では、特に、画像ＩＭＧが撮影されたときの「環境条件（シーン）」が視認性に与える影響について考える。環境条件（シーン）とは、天気、時間帯、逆光か否か、霧の有無、等を意味する。例えば、雨天時に撮像された画像ＩＭＧの視認性は低い。他の例として、夜間等の暗い状況で撮像された画像ＩＭＧの視認性は低い。更に他の例として、逆光条件下で撮像された画像ＩＭＧの視認性は低い。更に他の例として、霧が発生しているときに撮像された画像ＩＭＧの視認性は低い。このように、カメラＣによって撮像される画像ＩＭＧの視認性を低下させる要因としては、雨、暗闇、逆光、霧、等が挙げられる。

このような環境条件を考慮して画像ＩＭＧの視認性を改善し、クリアな改善画像ＩＭＧ＿Ｓを取得することが望まれる。但し、画像ＩＭＧの視認性を改善するためにどのような処理をどのような順番で行うべきかをユーザが判断することは困難であり且つ煩わしい。そこで、本実施の形態に係る画像改善システム１は、カメラＣによって撮像された画像ＩＭＧの視認性を低下させる要因を自動的に判別し、その要因に応じた適切な視認性改善処理を適切な順番で実行することができるように構成される。

以下、本実施の形態に係る画像改善システム１による処理について更に詳しく説明する。

１－２．機能構成例及び処理例
図２は、本実施の形態に係る画像改善システム１の機能構成例を示すブロック図である。画像改善システム１は、画像取得部１０、環境条件判別部２０、視認性改善処理部３０、及び画像出力部４０を含んでいる。これら機能ブロックは、画像改善プログラム５を実行するプロセッサ３と記憶装置４との協働により実現される。

図３は、本実施の形態に係る画像改善システム１による処理を示すフローチャートである。以下、図２及び図３を参照して、本実施の形態に係る画像改善システム１による処理例を説明する。

１－２－１．画像取得処理（ステップＳ１０）
画像取得部１０は、Ｉ／Ｏインタフェース２を介して、カメラＣによって撮像された画像ＩＭＧを取得する。画像取得部１０は、取得した画像ＩＭＧを環境条件判別部２０と視認性改善処理部３０に送る。

１－２－２．環境条件判別処理（ステップＳ２０）
環境条件判別部２０は、取得した画像ＩＭＧに基づいて、その画像ＩＭＧが撮像されたときの環境条件（シーン）を自動的に判別する。画像ＩＭＧに基づいて環境条件を判別するための技術としては、上述の非特許文献１や非特許文献２に記載されている技術が挙げられる。

図４は、環境条件判別処理（ステップＳ２０）を説明するための概念図である。環境条件判別部２０は、天気判別部２１、時間帯判別部２２、グレア判別部２３、及び霧判別部２４を含んでいる。

天気判別部２１は、画像ＩＭＧに基づいて、その画像ＩＭＧが撮像されたときの天気を判別する。天気としては、晴れ（sunny）、曇り（cloudy）、雨（rainy）、及び雪（snowy）が挙げられる。天気判別部２１は、該当する天気を出力する。

時間帯判別部２２は、画像ＩＭＧに基づいて、その画像ＩＭＧが撮像されたときの時間帯を判別する。時間帯としては、昼間（day）、朝夕（dawn/dusk）、及び夜間（night）が挙げられる。「夜間」は「暗闇」に相当する。時間帯判別部２２は、該当する時間帯を出力する。

グレア判別部２３は、画像ＩＭＧに基づいて、その画像ＩＭＧが逆光条件下で撮像されたか否かを判別する。グレア判別部２３は、逆光条件か否かを出力する。

霧判別部２４は、画像ＩＭＧに基づいて、その画像ＩＭＧが撮像されたときの霧の有無を判別する。霧判別部２４は、霧の有無を出力する。

画像ＩＭＧが撮像されたときの環境条件は、天気判別部２１、時間帯判別部２２、グレア判別部２３、及び霧判別部２４のそれぞれからの出力の組み合わせである。図４に示される例では、環境条件は、「雨＆夜間（暗闇）＆逆光無し＆霧」である。環境条件判別部２０は、得られた環境条件の情報を視認性改善処理部３０に出力する。

１－２－３．視認性改善処理（ステップＳ３０）
視認性改善処理部３０は、画像ＩＭＧと、その画像ＩＭＧが撮像されたときの環境条件の情報を受け取る。そして、視認性改善処理部３０は、環境条件に応じて、画像ＩＭＧの視認性を改善するために必要な視認性改善処理を特定する。

環境条件が「霧」を含んでいる場合に必要な視認性改善処理は、「霧除去処理（defogging)」である。霧除去処理は、画像ＩＭＧ内の霧によるかすみを除去し、視認性を改善する。この霧除去処理は、例えば、上記の非特許文献３に記載されている技術により実現される。霧の度合いが閾値を超えたときに霧除去処理が行われてもよい。

環境条件が「暗闇」あるいは「逆光」を含んでいる場合に必要な視認性改善処理は、「明るさ補正処理」である。明るさ補正処理は、夜間や逆光といったシーンにおいて撮像された画像ＩＭＧを適度な明るさに補正し、視認性を改善する。この明るさ補正処理は、例えば、上記の非特許文献４に記載されている技術により実現される。

環境条件が「雨」を含んでいる場合に必要な視認性改善処理は、「雨除去処理（deraining）」である。雨除去処理は、画像ＩＭＧ内の雨によるかすみを除去し、視認性を改善する。この雨除去処理は、例えば、上記の非特許文献５に記載されている技術により実現される。

このように、環境条件に関連する視認性改善処理の候補としては、霧除去処理、明るさ補正処理、及び雨除去処理の三種類が挙げられる。本願発明者は、これら複数種類の視認性改善処理をどのような順番で行えば視認性改善効果が最も高くなるかについて研究を行った。そして、本願発明者の研究努力の結果、「１．霧除去処理」、「２．明るさ補正処理」、「３．雨除去処理」の順番に行う場合に視認性改善効果が最も高くなることが判明した。本実施の形態では、この順番が採用される。すなわち、霧除去処理が明るさ補正処理よりも先に実行され、明るさ補正処理が雨除去処理よりも先に実行されるように、処理順が予め設定される。

視認性改善処理部３０は、環境条件判別部２０によって判別された環境条件に応じて、複数種類の処理候補（霧除去処理、明るさ補正処理、及び雨除去処理）の中から必要な視認性改善処理を特定する。複数の処理候補の処理順は予め決まっている。視認性改善処理部３０は、特定した必要な視認性改善処理を所定の順番で画像ＩＭＧに適用することによって、視認性が改善された改善画像ＩＭＧ＿Ｓを生成する。つまり、視認性改善処理部３０は、必要な視認性改善処理をやみくもに行うのではなく、所定の順番に従って行う。これにより、優れた視認性改善効果が得られ、可能な限りクリアな改善画像ＩＭＧ＿Ｓが得られる。

尚、環境条件に関連する複数種類の処理候補は、霧除去処理、明るさ補正処理、及び雨除去処理のうち２つであってもよい。その場合の前後関係も同じである。

視認性改善処理部３０は、更に、環境条件とは関係ない視認性改善処理を行ってもよい。例えば、視認性改善処理部３０は、周知のブレ改善やコントラスト調整（平均化）といった画像処理を行ってもよい。

以下、視認性改善処理部３０による視認性改善処理の一例を説明する。図２に示されるように、視認性改善処理部３０は、ブレ補正部３１、霧除去処理部３３、明るさ補正処理部３５、雨除去処理部３７、及びコントラスト調整部３９を含んでいる。図５は、視認性改善処理（ステップＳ３０）の一例を示すフローチャートである。

ステップＳ３１において、ブレ補正部３１は、画像ＩＭＧに対して周知のブレ補正処理を行う。ブレ補正部３１は、ブレ補正処理後の画像ＩＭＧを霧除去処理部３３に出力する。

続くステップＳ３２において、霧除去処理部３３は、環境条件判別部２０によって判別された環境条件が「霧」を含むか否かを判定する。環境条件が「霧」を含む場合（ステップＳ３２；Ｙｅｓ）、霧除去処理部３３は、霧除去処理が必要であると判断し、霧除去処理を行う（ステップＳ３３）。そして、霧除去処理部３３は、霧除去処理後の画像ＩＭＧを明るさ補正処理部３５に出力する。一方、環境条件が「霧」を含まない場合（ステップＳ３２；Ｎｏ）、霧除去処理部３３は、霧除去処理を行うことなく、画像ＩＭＧを明るさ補正処理部３５に出力する。

続くステップＳ３４において、明るさ補正処理部３５は、環境条件判別部２０によって判別された環境条件が「暗闇」あるいは「逆光」を含むか否かを判定する。環境条件が「暗闇」あるいは「逆光」を含む場合（ステップＳ３４；Ｙｅｓ）、明るさ補正処理部３５は、明るさ補正処理が必要であると判断し、明るさ補正処理を行う（ステップＳ３５）。そして、明るさ補正処理部３５は、明るさ補正処理後の画像ＩＭＧを雨除去処理部３７に出力する。一方、環境条件が「暗闇」も「逆光」も含まない場合（ステップＳ３４；Ｎｏ）、明るさ補正処理部３５は、明るさ補正処理を行うことなく、画像ＩＭＧを雨除去処理部３７に出力する。

続くステップＳ３６において、雨除去処理部３７は、環境条件判別部２０によって判別された環境条件が「雨」を含むか否かを判定する。環境条件が「雨」を含む場合（ステップＳ３６；Ｙｅｓ）、雨除去処理部３７は、雨除去処理が必要であると判断し、雨除去処理を行う（ステップＳ３７）。そして、雨除去処理部３７は、雨除去処理後の画像ＩＭＧをコントラスト調整部３９に出力する。一方、環境条件が「雨」を含まない場合（ステップＳ３６；Ｎｏ）、雨除去処理部３７は、雨除去処理を行うことなく、画像ＩＭＧをコントラスト調整部３９に出力する。

続くステップＳ３９において、コントラスト調整部３９は、画像ＩＭＧに対して周知のコントラスト調整処理を行う。

このように視認性改善処理を段階的に経た後の画像ＩＭＧが、改善画像ＩＭＧ＿Ｓである。視認性改善処理部３０は、このようにして生成した改善画像ＩＭＧ＿Ｓを画像出力部４０に出力する。

１－２－４．画像出力処理（ステップＳ４０）
画像出力部４０は、Ｉ／Ｏインタフェース２を介して、改善画像ＩＭＧ＿Ｓを外部に出力する。改善画像ＩＭＧ＿Ｓは、様々な用途に使用される。

１－３．効果
以上に説明されたように、本実施の形態に係る画像改善システム１は、カメラＣによって撮像された画像ＩＭＧに基づいて、その画像ＩＭＧの撮像時の環境条件を判別する。更に、画像改善システム１は、環境条件に応じて必要な視認性改善処理を特定し、必要な視認性改善処理を所定の順番で画像ＩＭＧに適用することによって改善画像ＩＭＧ＿Ｓを生成する。視認性を低下させる要因に応じた適切な視認性改善処理が適切な順番で実行されるため、優れた視認性改善効果が得られる。また、ユーザによる個別判断は不要であるため、ユーザの負荷が軽減される。ユーザは、視認性が改善された改善画像ＩＭＧ＿Ｓを手軽に取得することができる。

元の画像ＩＭＧの代わりに改善画像ＩＭＧ＿Ｓを用いることによって、画像ＩＭＧに基づく認識や処理の精度が向上する。例えば、ユーザが画像ＩＭＧ内の物体や事象を認識する必要がある場合、視認性が改善された改善画像ＩＭＧ＿Ｓを用いることによって認識精度が向上する。他の例として、コンピュータが画像ＩＭＧから特定の物体を抽出する処理を行う場合、視認性が改善された改善画像ＩＭＧ＿Ｓを用いることによって抽出処理精度が向上する。

２．様々な適用例
以下、本実施の形態に係る画像改善システム１の様々な適用例について説明する。

２－１．遠隔支援システム
図６は、本実施の形態に係る遠隔支援システム１００を示す概念図である。遠隔支援システム１００は、遠隔オペレータＯが移動体１１０を遠隔支援するためのシステムである。遠隔支援は、遠隔操作（遠隔運転）、遠隔指示、遠隔監視、等を含む。遠隔支援の対象である移動体１１０としては、車両、ロボット、飛翔体、等が例示される。車両は、自動運転車両であってもよいし、ドライバが運転する車両であってもよい。ロボットとしては、物流ロボット、作業ロボット、等が例示される。飛翔体としては、飛行機、ドローン、等が例示される。

遠隔支援システム１００は、移動体１１０、管理装置１２０、及び遠隔オペレータ端末１３０を含んでいる。遠隔オペレータ端末１３０は、遠隔オペレータＯが移動体１１０を遠隔支援する際に使用する端末装置である。管理装置１２０は、移動体１１０及び遠隔支援の管理を行う。管理装置１２０は、通信ネットワークを介して移動体１１０及び遠隔オペレータ端末１３０と通信可能である。典型的には、管理装置１２０は、クラウド上の管理サーバである。管理サーバは、分散処理を行う複数のサーバにより構成されていてもよい。

一例として、移動体１１０が車両である場合について考える。車両以外の場合も同様である。

車両１１０には、カメラＣを含む各種センサが搭載されている。カメラＣは、車両１１０の周囲の状況を撮像し、車両１１０の周囲の状況を示す画像ＩＭＧを取得する。車両１１０は、各種センサを用いて、画像ＩＭＧを含む車両情報ＶＣＬを取得する。車両１１０は、管理装置１２０と通信を行い、車両情報ＶＣＬを管理装置１２０に送信する。管理装置１２０は、受け取った車両情報ＶＣＬを遠隔オペレータ端末１３０に転送する。

遠隔オペレータ端末１３０は、車両情報ＶＣＬを受け取る。遠隔オペレータ端末１３０は、少なくとも画像ＩＭＧを含む車両情報ＶＣＬを遠隔オペレータＯに提示する。具体的には、遠隔オペレータ端末１３０は、表示装置を備えており、画像ＩＭＧを表示装置に表示する。遠隔オペレータＯは、表示装置に表示された画像ＩＭＧをみて、車両１１０の周囲の状況を認識し、車両１１０の遠隔支援を行う。遠隔オペレータ端末１３０は、遠隔オペレータＯによる操作を示す操作情報ＯＰＥを管理装置１２０に送信する。管理装置１２０は、受け取った操作情報ＯＰＥを車両１１０に転送する。車両１１０は、受け取った操作情報ＯＰＥに従って車両走行制御を行う。

このような遠隔支援システム１００において、画像ＩＭＧの視認性を改善する画像改善システム１は有用である。例えば、画像改善システム１は、管理装置１２０に組み込まれる。この場合、管理装置１２０は、車両１１０から受け取る画像ＩＭＧの視認性を改善して改善画像ＩＭＧ＿Ｓを生成し、改善画像ＩＭＧ＿Ｓを遠隔オペレータ端末１３０に送信する。他の例として、画像改善システム１は、遠隔オペレータ端末１３０に組み込まれてもよい。この場合、遠隔オペレータ端末１３０は、管理装置１２０を介して車両１１０から受け取る画像ＩＭＧの視認性を改善し、改善画像ＩＭＧ＿Ｓを生成する。いずれの場合であっても、遠隔オペレータ端末１３０は、視認性が改善された改善画像ＩＭＧ＿Ｓを遠隔オペレータＯに提示することができる。

遠隔オペレータＯは、改善画像ＩＭＧ＿Ｓに基づいて遠隔支援を行うことができる。車両１１０の置かれた環境条件によっては画像ＩＭＧの視認性が低下する場合もあるが、その場合であっても、環境条件の影響が軽減されたクリアな改善画像ＩＭＧ＿Ｓを用いることができる。その結果、遠隔オペレータＯによる認識精度が向上し、それにより遠隔支援の精度も向上する。また、環境条件の影響が軽減されるため、運行設計領域（ODD: Operational Design Domain）を拡大することが可能となる。このことは、サービス向上の観点から好ましい。

図７は、遠隔オペレータ端末１３０の構成例を示すブロック図である。遠隔オペレータ端末１３０は、通信装置１３１、表示装置１３２、入力装置１３３、及び制御装置１３４を含んでいる。

通信装置１３１は、管理装置１２０と通信を行う。

表示装置１３２は、各種情報を表示することにより、各種情報を遠隔オペレータＯに提示する。

入力装置１３３は、遠隔オペレータＯからの入力を受け付ける。例えば、入力装置１３３は、遠隔オペレータＯが車両１１０を遠隔運転する際に操作する遠隔運転部材を含む。遠隔運転部材は、ハンドル、アクセルペダル、ブレーキペダル、方向指示器、等を含んでいる。

制御装置１３４は、遠隔オペレータ端末１３０を制御する。制御装置１３４は、１又は複数のプロセッサ１３５（以下、単にプロセッサ１３５と呼ぶ）と１又は複数の記憶装置１３６（以下、単に記憶装置１３６と呼ぶ）を含んでいる。プロセッサ１３５は、各種処理を実行する。例えば、プロセッサ１３５は、ＣＰＵを含んでいる。記憶装置１３６は、プロセッサ１３５による処理に必要な各種情報を格納する。記憶装置１３６としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ、ＳＳＤ、等が例示される。

遠隔支援プログラム１３７は、プロセッサ１３５によって実行されるコンピュータプログラムである。プロセッサ１３５が遠隔支援プログラム１３７を実行することにより、制御装置１３４の機能が実現される。遠隔支援プログラム１３７は、記憶装置１３６に格納される。あるいは、遠隔支援プログラム１３７は、コンピュータ読み取り可能な記録媒体に記録されてもよい。遠隔支援プログラム１３７は、ネットワーク経由で提供されてもよい。

制御装置１３４は、通信装置１３１を介して、管理装置１２０と通信を行う。制御装置１３４は、車両１１０から送信される車両情報ＶＣＬを管理装置１２０を介して受け取る。車両情報ＶＣＬは、記憶装置１３６に格納される。制御装置１３４は、車両情報ＶＣＬを表示装置１３２に表示することによって、車両情報ＶＣＬを遠隔オペレータＯに提示する。遠隔オペレータＯは、表示装置１３２に表示される車両情報ＶＣＬに基づいて、車両１１０やその周囲の状況を認識することができる。

遠隔オペレータＯは、遠隔運転部材を操作してもよい。制御装置１３４は、遠隔オペレータＯによる遠隔運転部材の操作量を取得する。制御装置１３４は、操作量を反映した操作情報ＯＰＥを生成し、その操作情報ＯＰＥを通信装置１３１を介して管理装置１２０に送信する。

遠隔オペレータ端末１３０の制御装置１３４は、本実施の形態に係る画像改善システム１の機能を備えていてもよい。その場合、制御装置１３４（プロセッサ１３５）は、車両情報ＶＣＬに含まれる画像ＩＭＧの視認性を改善して、改善画像ＩＭＧ＿Ｓを生成する。そして、制御装置１３４は、改善画像ＩＭＧ＿Ｓを表示装置１３２に表示することによって、改善画像ＩＭＧ＿Ｓを遠隔オペレータＯに提示する。これにより、遠隔オペレータＯによる認識精度が向上し、遠隔支援の精度が向上する。

入力装置１３３は、画像改善システム１の機能のＯＮ／ＯＦＦを切り替えるスイッチを含んでいてもよい。遠隔オペレータＯは、スイッチをＯＮすることによって、画像改善システム１を起動し、視認性改善機能を手軽に利用することができる。

２－２．自動運転システム
図８は、本実施の形態に係る自動運転システム２００を示す概念図である。自動運転システム２００は、車両２１０の自動運転を制御する。特に、自動運転システム２００は、車両２１０の周囲の状況を撮像するカメラＣを含んでおり、カメラＣによって撮像された画像ＩＭＧに基づいて、車両２１０の周囲の状況を認識する。例えば、自動運転システム２００は、画像ＩＭＧに基づいて、車両２１０の周囲の物体（歩行者、先行車両、等）を認識する。自動運転システム２００は、その認識結果に基づいて車両２１０の自動運転を制御する。

自動運転システム２００は、本実施の形態に係る画像改善システム１の機能を備えていてもよい。その場合、自動運転システム２００は、カメラＣによって撮像された画像ＩＭＧの視認性を改善して、改善画像ＩＭＧ＿Ｓを生成する。そして、自動運転システム２００は、改善画像ＩＭＧ＿Ｓに基づいて、車両２１０の周囲の状況を認識し、車両２１０の自動運転を制御する。その結果、自動運転システム２００による認識精度が向上し、自動運転の精度が向上する。また、環境条件の影響が軽減されるため、運行設計領域を拡大することが可能となる。

２－３．地図管理システム
図９は、本実施の形態に係る地図管理システム３００を示す概念図である。地図管理システム３００は、車両３１０と管理装置３２０を含んでいる。車両３１０は、カメラＣを搭載している。車両３１０は、走行しながらカメラＣを用いて画像ＩＭＧを収集する。車両３１０は、管理装置３２０と通信を行い、画像ＩＭＧを管理装置３２０に送信する。尚、画像ＩＭＧの送信は、リアルタイムに行われてもよいし、一定期間毎に行われてもよいし、走行完了後に行われてもよい。

管理装置３２０は、複数の車両３１０から画像ＩＭＧを収集する。そして、管理装置３２０は、収集した画像ＩＭＧを統合して地図情報を生成、更新する。管理装置３２０は、地図情報を配信してもよい。例えば、管理装置３２０は、車両３１０からの要求に応答して最新の地図情報を提供する。

管理装置３２０は、本実施の形態に係る画像改善システム１の機能を備えていてもよい。その場合、管理装置３２０は、車両３１０から受け取った画像ＩＭＧの視認性を改善して、改善画像ＩＭＧ＿Ｓを生成する。そして、管理装置３２０は、改善画像ＩＭＧ＿Ｓに基づいて地図情報を生成、更新する。環境条件の影響が軽減されたクリアな改善画像ＩＭＧ＿Ｓが用いられるため、地図情報の品質が向上する。また、環境条件によらず地図情報を更新することができるため、地図情報の更新頻度を高めることができる。

２－４．監視システム
図１０は、本実施の形態に係る監視システム４００を示す概念図である。監視システム４００は、街や建物内の様子を監視する。監視システム４００は、カメラ装置４１０と管理装置４２０を含んでいる。カメラ装置４１０は、カメラＣと通信機能を備えており、カメラＣによって撮像された画像ＩＭＧを管理装置４２０に送信する。管理装置４２０は、受信した画像ＩＭＧを記憶装置に記録する。管理装置４２０は、受信した画像ＩＭＧを表示装置に表示し、監視員に提示してもよい。

管理装置４２０は、本実施の形態に係る画像改善システム１の機能を備えていてもよい。その場合、管理装置４２０は、カメラ装置４１０から受け取った画像ＩＭＧの視認性を改善して、改善画像ＩＭＧ＿Ｓを生成する。そして、管理装置４２０は、改善画像ＩＭＧ＿Ｓを記憶装置に記録したり、表示装置に表示したりする。視認性が改善された改善画像ＩＭＧ＿Ｓを用いることにより、街や建物内の様子をより正確に把握することが可能となる。

１ 画像改善システム
３ プロセッサ
４ 記憶装置
５ 画像改善プログラム
１０ 画像取得部
２０ 環境条件判別部
２１ 天気判別部
２２ 時間帯判別部
２３ グレア判別部
２４ 霧判別部
３０ 視認性改善処理部
３１ ブレ補正部
３３ 霧除去処理部
３５ 明るさ補正処理部
３７ 雨除去処理部
３９ コントラスト調整部
４０ 画像出力部
１００ 遠隔支援システム
１１０ 移動体、車両
１２０ 管理装置
１３０ 遠隔オペレータ端末
２００ 自動運転システム
３００ 地図管理システム
４００ 監視システム
Ｃ カメラ
ＩＭＧ 画像
ＩＭＧ＿Ｓ 改善画像

Claims (9)

1. カメラによって撮像された画像の視認性を改善する画像改善システムであって、
   １又は複数のプロセッサを備え、
   前記１又は複数のプロセッサは、
   前記画像に基づいて、前記画像が撮像されたときの環境条件を判別する環境条件判別処理と、
   前記環境条件に応じて前記視認性を改善するために必要な視認性改善処理を複数種類の処理候補の中から特定し、前記必要な視認性改善処理を所定の順番で前記画像に適用することによって、前記視認性が改善された改善画像を生成する視認性改善処理と
   を実行するように構成された
   画像改善システム。
2. 請求項１に記載の画像改善システムであって、
   前記複数種類の処理候補は、
   前記環境条件が霧である場合の前記視認性改善処理である霧除去処理と、
   前記環境条件が暗闇あるいは逆光である場合の前記視認性改善処理である明るさ補正処理と
   を含み、
   前記所定の順番は、前記霧除去処理が前記明るさ補正処理よりも先に実行されるように設定される
   画像改善システム。
3. 請求項２に記載の画像改善システムであって、
   前記複数種類の処理候補は、更に、前記環境条件が雨である場合の前記視認性改善処理である雨除去処理を含み、
   前記所定の順番は、前記明るさ補正処理が前記雨除去処理よりも先に実行されるように設定される
   画像改善システム。
4. 請求項１に記載の画像改善システムであって、
   前記複数種類の処理候補は、
   前記環境条件が霧である場合の前記視認性改善処理である霧除去処理と、
   前記環境条件が雨である場合の前記視認性改善処理である雨除去処理と
   を含み、
   前記所定の順番は、前記霧除去処理が前記雨除去処理よりも先に実行されように設定される
   画像改善システム。
5. 請求項１に記載の画像改善システムであって、
   前記複数種類の処理候補は、
   前記環境条件が暗闇あるいは逆光である場合の前記視認性改善処理である明るさ補正処理と、
   前記環境条件が雨である場合の前記視認性改善処理である雨除去処理と
   を含み、
   前記所定の順番は、前記明るさ補正処理が前記雨除去処理よりも先に実行されるように設定される
   画像改善システム。
6. 請求項１乃至５のいずれか一項に記載の画像改善システムであって、
   前記カメラは、移動体に搭載されている
   画像改善システム。
7. 請求項６に記載の画像改善システムであって、
   前記画像取得処理において、前記１又は複数のプロセッサは、前記移動体と通信を行うことによって前記移動体から前記画像を取得し、
   前記１又は複数のプロセッサは、更に、前記改善画像を、前記移動体を遠隔支援する遠隔オペレータに提示する
   画像改善システム。
8. カメラによって撮像された画像の視認性を改善する画像改善方法であって、
   前記画像に基づいて、前記画像が撮像されたときの環境条件を判別する環境条件判別処理と、
   前記環境条件に応じて前記視認性を改善するために必要な視認性改善処理を複数種類の処理候補の中から特定し、前記必要な視認性改善処理を所定の順番で前記画像に適用することによって、前記視認性が改善された改善画像を生成する視認性改善処理と
   を含む
   画像改善方法。
9. コンピュータによって実行され、カメラによって撮像された画像の視認性を改善する画像改善プログラムであって、
   前記画像に基づいて、前記画像が撮像されたときの環境条件を判別する環境条件判別処理と、
   前記環境条件に応じて前記視認性を改善するために必要な視認性改善処理を複数種類の処理候補の中から特定し、前記必要な視認性改善処理を所定の順番で前記画像に適用することによって、前記視認性が改善された改善画像を生成する視認性改善処理と
   を前記コンピュータに実行させる
   画像改善プログラム。

Images