JP2022186138A - 画像処理装置 - Google Patents

Abstract

【課題】重要部分を自動で設定することができると共に、重要部分が設定されていない状態では、記録データ量をさらに削減することを可能とする画像処理装置を提供する。【解決手段】撮影手段２０と、撮影手段２０の撮影画像中の重要部分を切り出すと共に、前記撮影画像の画質を落とす画質変更手段３０と、を有する装置本体と、音情報、あるいは速度情報を取得する検知手段７０と、検知手段７０を介して取得される情報に基づいて前記重要部分を特定する人工知能８０と、を備える構成としたことを特徴とする。【選択図】図１

Description

本発明は、移動体に付帯された撮影手段や監視カメラなどにおける撮影画像の記録処理を行う画像処理装置に関する。

車両の運転状況又は駐車状況を録画するドライブレコーダーは、事故解析、安全運転の技術確認、防犯などの目的に利用されている。このようなドライブレコーダーには、車室内に全天球カメラを配置して車両を中心とする全天球画像を取得するものがある。

しかしながら、従来の全天球型ドライブレコーダーは、画像全体を低解像度で録画することによりデータ量を低減している。このため、画質が悪くなり、自車両から約十メートル先の前方車両のナンバープレートを読み取ることができない等の不都合が生じる。

一方、高解像度で撮影可能な全天球カメラの高解像度画像は、データ量が過大となり、画像処理に伴う稼働時の発熱量も多くなりレコーダー本体に負荷が掛かってしまう。また、高解像度の画像データを保存するために高価な大容量の記録媒体（メモリ）が必要となる。

また例えば、レコーダー本体に全天球カメラと高解像度カメラを設置して、全天球画像と高解像度画像を別々に保存して後処理で高解像度画像を全天球画像に合成するレコーダーを製造した場合には、全天球カメラと高解像度カメラの異なる２種類のカメラを組み合わせているため、レコーダー本体が高価となってしまう。

さらに、複数の光学レンズで全天球画像を取得する特許文献１の撮像システムがある。この撮像システムは、全天球画像における歪みにくい中央部分に注目点を中心とした画像が配置されるよう座標変換処理が施され、中央部分に対応する画像が切り出されて表示画像として出力される。しかしながら、切り出し画像は、閲覧者にとって自然に見える画像であり、単に画像の一部を切り出す機能、解像度を低下させる機能などであるため、約十メートル先の前方車両のナンバープレートを読み取ることができないといった問題を解決することはできていない。

そうした実状の中、本願出願人は、特許文献２に開示されているような画像処理装置を提案している。具体的には、１つの撮影手段により撮影した画像の中から任意に重要部分を切り出し、重要部分以外の部分における画像の解像度を低下させ、重要部分のみを高解像度の画像で記録するというものである。このような構成の画像処理装置によれば、記録画像全体のデータ量を抑制することができると共に、ナンバープレート等の重要部分に関しては、読取可能な精細画像を得る事が可能となる。

特開２０１６－１７１５７７号公報 特開２０２０－５１４８号公報

特許文献２に開示している画像処理装置によれば、画像の中の重要部分を容易に視認できると共に、記録するデータ量も低減され、稼働時における装置の負荷も低減できると考えられる。しかし、特許文献２に開示している画像処理装置では、重要部分は、予め定められた範囲とされるため、無人監視状態や状況に応じ設定を自動で行う事ができない。

本発明では上記問題を解決し、重要部分を自動で設定することができると共に、重要部分が設定されていない状態では、記録データ量をさらに削減することを可能とする画像処理装置を提供することを目的とする。

上記目的を達成するための本発明に係る画像処理装置は、撮影手段と、前記撮影手段の撮影画像中の重要部分を切り出すと共に、前記撮影画像の画質を落とす画質変更手段と、を有する装置本体と、音情報、あるいは速度情報を取得する検知手段と、前記検知手段を介して取得される情報に基づいて前記重要部分を特定する人工知能と、を備える構成としたことを特徴とする。

また、上記のような特徴を有する画像処理装置は、通信手段を備え、前記装置本体と前記人工知能、あるいは前記検知手段と前記人工知能との情報の授受を通信回線を通じて行う構成とすると良い。このような特徴を有する事によれば、装置本体を小型化することが可能となる。

また、上記のような特徴を有する画像処理装置において前記検知手段はステレオマイクであり、前記人工知能は、前記ステレオマイクによる集音データに基づいて音源の方向を検出し、前記音源の方向に前記重要部分を設定する処理を行うようにすることもできる。このような特徴を有する事によれば、無人監視状態のように、操作者（撮影者）が重要部分の指定を行う事ができない場合であっても、重要と考えられる部位を自動で切り出す事が可能となる。

また、上記のような特徴を有する画像処理装置において前記検知手段はＧＰＳ受信機であり、前記人工知能は、前記ＧＰＳ受信機の移動に伴う位置情報の変化と移動距離に基づいて算出される移動速度の変化により、前記重要部分の範囲を変更するようにすることもできる。このような特徴を有する事によれば、撮影環境に応じた重要部分の変更を自動で行う事が可能となり、記録されるデータ量の抑制にも寄与することができる。

さらに、上記のような特徴を有する画像処理装置において前記重要部分は、前記移動速度が速くなるほど、進行方向の一点に集約されるようにすると良い。このような特徴を有する事によれば、高速走行時には高画質で記録する範囲を縮小することができ、記録するデータ量を抑制することができる。

上記のような特徴を有する画像処理装置によれば、重要部分を自動で設定することができることとなる。また、重要部分が設定されていない状態では、記録されるデータ量をさらに削減することも可能となる。

本発明の画像処理装置のブロック図である。 録画データの重要部分の実施例１の説明図１である。 録画データの重要部分の実施例１の説明図２である。 実施例１の重要部分の説明図である。 変形例の録画データの重要部分の実施例２の説明図１である。 変形例の録画データの重要部分の実施例２の説明図２である。 変形例の録画データの重要部分の実施例３の説明図１である。 変形例の録画データの重要部分の実施例３の説明図２である。 変形例の録画データの重要部分の実施例３の説明図３である。 本発明の画像処理装置による録画処理フロー図である。 本発明の再生手段による再生処理のフロー図である。

以下、本発明の画像処理装置に係る実施の形態について、図面を参照して詳細に説明する。
図１は、本発明の画像処理装置のブロック図である。図２は録画データの重要部分の実施例１の説明図１である。図３は、録画データの重要部分の実施例２の説明図２である。図４は、実施例１の重要部分の説明図である。図５は、変形例の録画データの重要部分の実施例２の説明図１である。図６は、変形例の録画データの重要部分の実施例２の説明図２である。図７は、変形例の録画データの重要部分の実施例３の説明図１である。図８は、変形例の録画データの重要部分の実施例３の説明図２である。図９は変形例の録画データの重要部分の実施例３の説明図３である。図１０は、本発明の画像処理装置による録画処理フロー図である。図１１は、本発明の再生手段による再生処理のフロー図である。

［構成］
本実施形態に係る画像処理装置１０は、撮影手段２０と画質変更手段３０、および記憶手段４０を有する装置本体の他、再生手段５０、表示手段６０、検知手段７０、及び人工知能８０を備えることで構成する。なお、以下の実施形態では、少なくとも装置本体を車両に取り付け、ドライブレコーダーとして使用する事を例に挙げて説明する。

［撮影手段］
撮影手段２０は、画像を取得するための手段であり、ドライブレコーダーとして使用する場合、車両の内部に着脱可能とし、例えば前方車両を含む車両の周囲を撮影可能としている。撮影手段２０は複数の広角（魚眼レンズを含む）レンズを有し、本実施形態では一例として、装置本体の正面（前方）及び背面（後方）に２つの広角（魚眼）レンズ（前方及び後方レンズ）を配置して全方位の画像を取得できる撮像素子（前方及び後方撮像素子）を有するものを採用する。このような撮影手段２０は撮像素子として、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを採用することができる。

［画質変更手段］
例えば、撮影手段で撮影する画素数を横７，８０８×縦３，９０４の約３，０００万がその高解像度とする場合、そのまま動画として記録するとデータ量が膨大となってしまう。一方、画素数を横２，８８０×縦１，４４０の約４００万がその低解像度とする場合、記録するデータ量は抑えられるものの解像度の低下によって前方車両のナンバープレート等など録画した画像中の重要部分が見えなくなるという問題が生じる。

そこで実施形態に係る画質変更手段３０は、録画した画像中での重要部分として指定された部位を切り出して、切り出した部分（例えば全体画像の１／１０の範囲）の画質が、重要部分を含む全体画像の画質よりも高くなるように、全体画像の画質を低下させる処理を行う。具体的には、切り出した部分の画像の画素数を約１，９２０×縦１，０８０の約２００万画素、前方車両の周囲などの重要部分（切り出した部分）を含む全体画像の画素数を横２，８８０×縦１，４４０の約４００万画素とするような変換処理を行う。

このような処理では、画素数自体は全体画像の画素数の方が多いが、画像の範囲（画角）の差から、重要部分の画像の方が高画質となる。なお、画質変更手段３０での処理は、高画質で撮影した画像のうち、重要部分以外の全体画像の画質を低下させる処理となる（図２から図４参照）。

この結果合計画素数は約６００万画素となり、前述の画像全体を高画質とした場合（約３，０００万画素）と比べて１／５の画素数に押さえることができる。そして重要部分については高画質の画像を維持することができるため、例えば前方車両のナンバープレート等を全体画像に比べて鮮明に映し出すことができる。また処理するデータ量も低減できるために装置全体（ここでは装置本体）の発熱量も抑えるころができる。

なお、本実施形態の画質とは、映像の質であり、例えばドライブレコーダーとして使用した場合には、約十メートル離れた前方車両のナンバープレートの記載が見えるなど鮮明な画像を高画質といい、ナンバープレートの記載が見えない（見えにくい）画像を低画質という。また、画質は、画素数、フレームレートで数値的に規定しても良い。

画素数の場合、重要部分は車両から約十メートル離れた前方車両のナンバープレートが視認できる解像度であり、重要部分以外は、画像全体の様子が判れば良く、重要部分ほどの解像度は必要ないため、前記高解像度よりも画素数を落とした低解像度である。

従って、実施形態に係る撮影手段２０には、高画質の録画データを取得可能なものを用いている。なお、重要部分の指定は、詳細を後述する人工知能（ＡＩ）８０による自動判定により成されるようにすれば良い。

画質変更手段３０の具体的な構成は図１に示すように、前方撮像素子からの撮影画像を一時保存する前方一時保存部と、後方撮像素子からの撮影画像を一時保存する後方一時保存部、前方一時保存部で一時保存した録画画像中の重要部分の切り出し部、前方の録画画像の画質を変更する前方全体画質変更部、及び後方の録画画像の画質を変更する後方全体画質変更部を有するものとすることができる。

このような構成の画質変更手段３０は、画像の位置座標に基づいて重要部分の大きさ又は位置を任意に変更可能に構成している。この切り出しの範囲となる重要部分は、例えば図５、図６に示すように、車両の前方及び側方及び後方の連続した箇所、換言すると、パノラマ状に設定することもできる。このような範囲では、前方車両のナンバープレートに加えて、自車両の周囲の様子（側方及び後方車両、歩道の歩行者、信号機など）も確認することができるようになる。

また、重要部分は、複数設定することができるようにしても良い（図７から図９参照）。このような構成とした場合例えば図８、図９に示すように正面側における前方車両のナンバープレートと、背面側におけるドライバー自身を重要部分としても良い。

また、画質変更手段３０は、保存する撮影画像を重要部分よりも画質を落とす範囲内で装置のスペック（メモリ容量など）に応じて任意に設定変更することができるようにすると良い。

［記憶手段］
記憶手段４０は、画質変更手段３０によって画像処理された画像データを保存するための要素である。記憶手段４０は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を適用することができる。なお、記憶手段４０は、外部端末（携帯端末など）で録画画像を再生する際に容易に持ち出せるＳＤメモリ等の外部ストレージを付帯させた構成を採用しても良い。

図１に示すように具体的な記憶手段４０の構成は、重要部分切り出し部からの高解像度の重要部分を記憶する重要部分記憶部と、前方全体画質変更部からの画質を落とした（低解像度の）前方撮影画像及び後方全体画質変更部からの画質を落とした（低解像度の）後方撮影画像を記録する前後全体記憶部を有する構成とすることができる。

［再生手段］
再生手段５０は、記憶手段４０に保存された録画画像を再生可能なアプリケーションソフトである。再生手段５０は、録画画像中の重要部分を囲む枠を設定して再生中に表示させている（図３、図６参照）。再生中、この枠（図３、図６においては破線で示す）を選択すると、重要部分のファイル（画像データ）に切り替えて、この部分を拡大表示するように構成している（図４参照）。ここで、再生手段５０は、撮影手段２０による全体の録画画像と、重要部分の録画データを同期させて再生している。このため、再生中の任意の時間で重要部分を選択すると、その時間における重要部分に切り替えて再生することができる。

なお、再生手段５０は、装置本体と有線又は無線を介して通信可能な外部端末、又は装置本体にインストールするプログラム等であれば良い。また、録画画像を再生する際には、ケーブル接続（有線）の他にも、図示しない通信手段を介した通信回線（３Ｇ／ＬＴＥ／５Ｇ）を通じて装置本体からデータ転送を行うようにすることができる。

また、あらかじめ重要部分を複数設定した場合には、再生時において、ユーザが任意に選択し、選択した重要部分を拡大表示で再生する構成とすれば良い。

［表示手段］
表示手段６０は、再生手段５０を介して再生される画像や、各種設定や操作を行うための情報を視認可能に表示するための手段である。表示手段６０は、再生手段５０と同様に、外部端末や装置本体に備えられていれば良く、外部端末に備える場合には、ケーブル接続の他、通信手段を介した通信回線を通じて、装置本体からデータ転送を行うようにすれば良い。なお、再生手段５０を表示手段６０と共通な外部端末に備える場合には、再生手段５０を介して得られる画像を再生可能な構成とすれば良い。

［検知手段］
検知手段７０は、音情報、あるいは速度情報を取得するための要素である。具体的には、ステレオマイクやＧＰＳ受信機などであれば良い。ステレオマイクは、２つ以上のマイクにより、撮影手段２０の周囲で発生する音を集音し、音源の方向を検出するための要素である。音源の方向の特定は、装置本体や外部端末に、検出された音データの波長の位相差（到達時間差）と、マイク間の距離とに基づいて行うものであれば良く、詳細を後述する人工知能８０に、このような処理を行うプログラムが備えられていれば良い。

また、ＧＰＳ受信機は、撮影手段２０を備える物体（例えば車両）の移動速度を検出するための要素である。移動速度は、ＧＰＳ受信機が受信する位置情報と、特定時間内における移動距離とに基づいて算出されれば良く、詳細を後述する人工知能８０に、このような処理を行うプログラムが備えられていれば良い。

［人工知能］
人工知能８０は、装置本体や装置本体に付帯される検知手段７０によって検出される情報に基づいて重要部分の指定を行うための要素である。人工知能８０は、装置本体とは別体として設けられ、ケーブル接続や、通信手段を介した通信回線を通じて検知手段７０や装置本体との間での情報の授受を行うようにすれば良い。なお、外部端末に人工知能８０を設ける構成とすることで、装置本体を小型化することができる。

例えば検知手段７０がステレオマイクである場合、検出される音のレベル（音量）が閾値以上となった場合に、音の発生源の方向とを組体し、その方向を中心として重要部分を定めるように指令信号を出力すれば良い。このような特定によれば、車両において駐車監視機能作動中に、車上荒らし等がドアをこじあけようとした場合に、車上荒らしの容姿を重要部分に含める事が可能となる。

また、ＧＰＳ受信機を検知手段７０とした場合には、検知速度により重要部分の切り出し範囲を変更すると良い。例えば低速（９０ｋｍ／ｈ未満）と高速（９０ｋｍ／ｈ以上）の場合で切り出し範囲を切り替え、低速の場合に比べて高速の場合の切り出し範囲を狭めるようにすると良い。高速道路などの高速走行が想定される場面では、信号や交差点など周辺情報の有用性が低くなるためである。なお、この場合の重要部分は、進行方向の中心を基準として定めるようにすることが望ましい。このような構成とすることで、高速走行であるほど、記録するデータ量を抑制することができることとなる。

なお、人工知能８０により定められた重要部分は、重要部分を指定する情報（重要部分指定情報）として装置本体（画質変更手段３０）に送信され、重要部分の切り出しに用いられる。また、重要部分指定情報は、必ずしも１箇所とする必要は無く、複数個所を指定するようにしても良い。
上記構成による画像処理装置を用いた画像処理方法について以下説明する。
撮影画像の保存は以下のように行う（図１０参照）。

［重要部分の切り出し］
重要部分の切り出しは、画質変更手段３０に対して重要部分指定情報が入力される事により実行される。このため、重要部分指定情報の入力が無い場合には、前画像を低画質で記録しておくようにすることで、記録するデータ量の削減を図ることができる。

重要部分指定情報の入力があった場合には、撮影手段２０で撮影した撮影画像の内で、指定された重要部分を切り出す処理を行う。切り出す範囲は、重要部分指定情報に含まれる画像データの位置座標に基づいて定めれば良い。また、重要部分指定情報が複数存在する場合には、当該指定数に応じた重要部分の切り出しを行うこととなる。

［撮影］
撮影手段２０で撮影する。撮影画像は前方及び後方一時保存部で一時保存される。

［保存（切り出し部分は高解像度／撮影画像は低解像度）］
画質変更手段３０によって画像処理された画像データを記憶手段４０に保存する。例えば、画質変更手段で切り出した重要部分は高解像度で保存する。これにより、重要部分に含まれる範囲の画像は精細なものとなり、その内容をはっきりと認識することが可能となる。また、全体を低解像度で保存することで処理するデータ量も低減できるため、装置全体の発熱量も抑えることができる。

録画画像の再生は、以下のように行う（図１１参照）。
［再生］
例えば、再生手段５０を導入した外部端末に画像処理装置１０を接続して、表示手段６０に全天球の録画画像を表示（再生）する。このとき、重要部分よりも画質を落とした全天球の録画画像が再生され、重要部分として切り出された画像が存在する場合には、枠（点線など）で囲われた重要部分が表示されている。

［重要部分を選択］
全天球の録画画像を再生中に任意の箇所で重要部分を示す枠を選択することができる。

［切り替えファイルの再生］
再生している全天球の録画画像と同期した重要部分の録画画像に切り替えたファイルが再生される。この切り替えファイルは全天球の録画画像よりも画質が良く、例えば自車両から約十メートル離れた前方車両のナンバープレートを容易に視認することができる程度の画像となる。

このような本発明の画像処理方法によれば、再生画像中の重要部分を容易に視認できると共に、稼働時の負荷を低減できる。また、重要部分指定情報の入力が無い場合には、重要部分の切り出しが行われないため、重要部分指定情報の入力が無い状態では、画質変更手段３０による処理負荷を小さくすることができると共に、記憶手段４０に記録するデータ量も削減することができる。

以上、本発明の好ましい実施形態について説明した。しかしながら、本発明は、上記実施形態に何ら制限されることなく、本発明の趣旨を逸脱しない範囲において、種々の変更が可能である。また、本発明は、実施形態において示された組み合わせに限定されることなく、種々の組み合わせによって実施可能である。

１０………画像処理装置、２０………撮影手段、３０………画質変更手段、４０………記憶手段、５０………再生手段、６０………表示手段、７０………検知手段、８０………人工知能。

Claims (5)

1. 撮影手段と、前記撮影手段の撮影画像中の重要部分を切り出すと共に、前記撮影画像の画質を落とす画質変更手段と、を有する装置本体と、
   音情報、あるいは速度情報を取得する検知手段と、
   前記検知手段を介して取得される情報に基づいて前記重要部分を特定する人工知能と、を備える構成としたことを特徴とする画像処理装置。
2. 通信手段を備え、
   前記装置本体と前記人工知能、あるいは前記検知手段と前記人工知能との情報の授受を通信回線を通じて行う構成としたことを特徴とする請求項１に記載の画像処理装置。
3. 前記検知手段はステレオマイクであり、
   前記人工知能は、前記ステレオマイクによる集音データに基づいて音源の方向を検出し、
   前記音源の方向に前記重要部分を設定する処理を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記検知手段はＧＰＳ受信機であり、
   前記人工知能は、前記ＧＰＳ受信機の移動に伴う位置情報の変化と移動距離に基づいて算出される移動速度の変化により、前記重要部分の範囲を変更することを特徴とする請求項１または２に記載の画像処理装置。
5. 前記重要部分は、前記移動速度が速くなるほど、進行方向の一点に集約されることを特徴とする請求項４に記載の画像処理装置。

Images