JP2022507399A - ロボット画像強調方法及び装置、プロセッサ、機器、媒体及びプログラム - Google Patents

Abstract

本願の実施例は、ロボット画像強調方法及び装置、プロセッサ、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラムを提供する。前記ロボット画像強調方法は、ロボットのカメラにより、処理されるべき画像を取得することと、前記処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得ることと、前記第１特徴データに対して復号処理を行い、強調された画像を得ることと、を含む。本願の実施例は、ロボット画像強調方法を提供する。前記ロボット画像強調方法は、ロボットのカメラにより、処理されるべき画像を取得することと、前記処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得ることと、前記第１特徴データに対して復号処理を行い、強調された画像を得ることと、を含む。

Description

（関連出願の相互参照）
本願は、２０１９年０７月１７日に提出された、出願番号が２０１９１０６４５９９０．７である中国特許出願に基づく優先権を主張し、その全内容が参照として本願に組み込まれる。

本願の実施例は、画像処理技術分野に関し、ロボット画像強調方法及び装置、プロセッサ、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラムに関するが、これらに限定されない。

関連技術において、自律制御上でのロボットの適用は、ますます広くなってきた。ロボットのカメラにより撮られた画像に基づいて、ロボットに対する自律制御を実現させることができるが、撮られた画像の品質が低い場合、ロボットに対する制御の制御が低い。撮影効果がより高いカメラに交換することで、撮られた画像の品質を向上させることができる。

本願の実施例は、ロボット画像強調方法及び装置、プロセッサ、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラムを提供する。

本願の実施例は、ロボット画像強調方法を提供する。前記ロボット画像強調方法は、ロボットのカメラにより、処理されるべき画像を取得することと、前記処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得ることと、前記第１特徴データに対して復号処理を行い、強調された画像を得ることと、を含む。

上記から分かるように、本願の実施例は、ロボットのカメラにより、処理されるべき画像を取得し、処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得て、第１特徴データに対して復号処理を行い、強調された画像を得ることで、カメラにより撮られた画像の品質を向上させることができる。

本願の幾つかの実施例において、前記強調された画像は、所定の路線の路線標識を含み、前記ロボット画像強調方法は、前記強調された画像に対して特徴抽出処理を行い、第２特徴データを得ることであって、前記第２特徴データは、前記所定の路線の路線標識の特徴を含む、ことと、前記第２特徴データ及び第１マッピング関係に基づいて、制御情報を得ることであって、前記第１マッピング関係は、特徴データと制御情報とのマッピング関係であり、前記制御情報は、速度及び／又はステアリング角を含む、ことと、を更に含む。

このような方式により、所定の路線の路線標識の特徴と制御情報とのマッピング関係に基づいて、ロボットの速度及び／又はステアリング角を得ることができる。更に、速度及び／又はステアリング角に基づいて、ロボットに対する制御を正確に実現させることができる。

本願の幾つかの実施例において、前記強調された画像は、ボールを含み、前記ロボット画像強調方法は、前記強調された画像に基づいて、前記ボールの運動軌跡を得ることと、前記運動軌跡に基づいて、制御情報を得ることであって、前記制御情報は、速度及び／又はステアリング角を含む、ことと、を更に含む。

このような方式により、ボールの運動軌跡に基づいて、ロボットの速度及び／又はステアリング角を得ることができる。更に、速度及び／又はステアリング角に基づいて、ロボットに対する制御を正確に実現させることができる。

本願の幾つかの実施例において、前記強調された画像は、手、顔又はターゲット物体のうちのいずれか１つを含み、前記ロボット画像強調方法は、前記強調された画像に対して、顔認識、ジェスチャー認識、ターゲット物体認識のうちの少なくとも１つを行うことと、認識結果に基づいて、制御情報を得ることであって、前記制御情報は、速度及び／又はステアリング角を含む、ことと、を更に含む。

一実施形態において、ロボット内の深層ニューラルネットワークは、強調された画像に対して、ジェスチャー、顔又はターゲット物体の特徴抽出を行い、抽出されたジェスチャー、顔又はターゲット物体特徴に基づいて、ロボットの速度及び／又はステアリング角を得る。更に、速度及び／又はステアリング角に基づいて、ロボットに対する制御を正確に実現させることができる。

本願の幾つかの実施例において、前記処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得ることは、前記処理されるべき画像に対して畳み込み処理を行い、第３特徴データを得ることと、前記処理されるべき画像と前記第３特徴データを融合処理し、前記第１特徴データを得ることと、を含む。

上記から分かるように、ロボットは、処理されるべき画像に対して畳み込み処理を行い、処理されるべき画像の特徴データを得て、処理されるべき画像と処理されるべき画像の特徴データを融合処理することで、画像の寸法を縮小し、演算量を減少させ、演算速度を向上させることができる。

本願の幾つかの実施例において、前記第１特徴データに対して復号処理を行い、強調された画像を得ることは、前記処理されるべき画像の前のフレームの画像を取得することと、前記前のフレームの画像に対して畳み込み処理を行い、第４特徴データを得ることと、前記第１特徴データと前記第４特徴データをマージ処理し、第５特徴データを得ることと、前記第５特徴データに対して復号処理を行い、前記強調された画像を得ることと、を含む。

上記から分かるように、前のフレームの画像の特徴データと処理されるべき画像の特徴データをマージ処理することで、画像特徴情報を豊かにすることができ、画像強調に寄与し、強調された画像の品質を向上させる。

本願の幾つかの実施例において、前記第５特徴データに対して復号処理を行い、前記強調された画像を得ることは、前記第５特徴データに対して逆畳み込み処理を行い、前記強調された画像を得ることを含む。

このような方式により、第５特徴データに対する復号を実現させ、強調された画像を得ることができる。強調された画像を得るプロセス全体をロボットで実行し、処理速度を向上させ、且つプロセス全体は処理されるべき画像を取得した後にリアルタイムに完了したため、後続で、強調された画像に基づく処理の速度を更に向上させることができる。

本願の幾つかの実施例において、前記処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得る前に、前記ロボット画像強調方法は、前記処理されるべき画像に対して畳み込み処理、正規化処理、線形変換、非線形変換を順に行い、前記処理されるべき画像における対象が属するカテゴリを決定することと、前記カテゴリ及び第２マッピング関係に基づいて、閾値を決定することであって、前記第２マッピング関係は、カテゴリと解像度閾値とのマッピング関係である、ことと、前記処理されるべき画像の解像度が前記閾値以下である場合、前記処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得るステップを実行することと、を更に含む。

上記から分かるように、処理されるべき画像における対象が属するカテゴリにより、対応する解像度閾値を決定することで、処理されるべき画像に対して意図的に処理を行い、処理効率を向上させることができる。

本願の実施例は、ロボット画像強調装置を提供する。前記ロボット画像強調装置は、ロボットのカメラにより、処理されるべき画像を取得するように構成される画像収集部と、前記処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得るように構成される第１特徴抽出部と、前記第１特徴データに対して復号処理を行い、強調された画像を得るように構成される復号処理部と、を備える。

上記から分かるように、本願の実施例は、ロボットのカメラにより、処理されるべき画像を取得し、処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得て、第１特徴データに対して復号処理を行い、強調された画像を得ることで、カメラにより撮られた画像の品質を向上させることができる。

本願の幾つかの実施例において、前記強調された画像は、所定の路線の路線標識を含み、前記ロボット画像強調装置は、前記強調された画像に対して特徴抽出処理を行い、第２特徴データを得るように構成される第２特徴抽出部であって、前記第２特徴データは、前記所定の路線の路線標識の特徴を含む、第２特徴抽出部と、前記第２特徴データ及び第１マッピング関係に基づいて、制御情報を得るように構成される第１処理部であって、前記第１マッピング関係は、特徴データと制御情報とのマッピング関係であり、前記制御情報は、速度及び／又はステアリング角を含む、第１処理部と、を更に備える。

このような方式により、所定の路線の路線標識の特徴と制御情報とのマッピング関係に基づいて、ロボットの速度及び／又はステアリング角を得ることができる。更に、速度及び／又はステアリング角に基づいて、ロボットに対する制御を正確に実現させることができる。

本願の幾つかの実施例において、前記強調された画像は、ボールを含み、前記ロボット画像強調装置は、前記強調された画像に基づいて、前記ボールの運動軌跡を得るように構成される第２処理部と、前記運動軌跡に基づいて、制御情報を得るように構成される第３処理部であって、前記制御情報は、速度及び／又はステアリング角を含む、第３処理部と、を更に備える。

このような方式により、ボールの運動軌跡に基づいて、ロボットの速度及び／又はステアリング角を得ることができる。更に、速度及び／又はステアリング角に基づいて、ロボットに対する制御を正確に実現させることができる。

本願の幾つかの実施例において、前記強調された画像は、手、顔又はターゲット物体のうちのいずれか１つを含み、前記ロボット画像強調装置は、前記強調された画像に対して、顔認識、ジェスチャー認識、ターゲット物体認識のうちの少なくとも１つを行うように構成される認識部と、認識結果に基づいて、制御情報を得るように構成される第４処理部であって、前記制御情報は、速度及び／又はステアリング角を含む、第４処理部と、を更に備える。

一実施形態において、ロボット内の深層ニューラルネットワークは、強調された画像に対して、ジェスチャー、顔又はターゲット物体の特徴抽出を行い、抽出されたジェスチャー、顔又はターゲット物体特徴に基づいて、ロボットの速度及び／又はステアリング角を得る。更に、速度及び／又はステアリング角に基づいて、ロボットに対する制御を正確に実現させることができる。

本願の幾つかの実施例において、前記第１特徴抽出部は、前記処理されるべき画像に対して畳み込み処理を行い、第３特徴データを得るように構成される第１畳み込み処理サブ部と、前記処理されるべき画像と前記第３特徴データを融合処理し、前記第１特徴データを得るように構成される融合処理サブ部と、を備える。

上記から分かるように、ロボットは、処理されるべき画像に対して畳み込み処理を行い、処理されるべき画像の特徴データを得て、処理されるべき画像と処理されるべき画像の特徴データを融合処理することで、画像の寸法を縮小し、演算量を減少させ、演算速度を向上させることができる。

本願の幾つかの実施例において、前記復号処理部は、前記処理されるべき画像の前のフレームの画像を取得するように構成される取得サブ部と、前記前のフレームの画像に対して畳み込み処理を行い、第４特徴データを得るように構成される第２畳み込み処理サブ部と、前記第１特徴データと前記第４特徴データをマージ処理し、第５特徴データを得るように構成されるマージ処理サブ部と、前記第５特徴データに対して復号処理を行い、前記強調された画像を得るように構成される復号処理サブ部と、を備える。

上記から分かるように、前のフレームの画像の特徴データと処理されるべき画像の特徴データをマージ処理することで、画像特徴情報を豊かにすることができ、画像強調に寄与し、強調された画像の品質を向上させる。

本願の幾つかの実施例において、前記復号処理サブ部は、前記第５特徴データに対して逆畳み込み処理を行い、前記強調された画像を得るように構成される。

このような方式により、第５特徴データに対する復号を実現させ、強調された画像を得ることができる。強調された画像を得るプロセス全体をロボットで実行し、処理速度を向上させ、且つプロセス全体は処理されるべき画像を取得した後にリアルタイムに完了したため、後続で、強調された画像に基づく処理の速度を更に向上させることができる。

本願の幾つかの実施例において、前記ロボット画像強調装置は、前記処理されるべき画像に対して畳み込み処理、正規化処理、線形変換、非線形変換を順に行い、前記処理されるべき画像における対象が属するカテゴリを決定するように構成される第５処理部と、前記カテゴリ及び第２マッピング関係に基づいて、閾値を決定するように構成される第６処理部であって、前記第２マッピング関係は、カテゴリと解像度閾値とのマッピング関係である、第６処理部と、を更に備え、前記第１特徴抽出部は更に、前記処理されるべき画像の解像度が前記閾値以下である場合、前記処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得るステップを実行するように構成される。

上記から分かるように、処理されるべき画像における対象が属するカテゴリにより、対応する解像度閾値を決定することで、処理されるべき画像に対して意図的に処理を行い、処理効率を向上させることができる。

本願の実施例は、プロセッサを提供する。前記プロセッサは、上記いずれか一項に記載のロボット画像強調方法を実行する。

本願の実施例は、電子機器を提供する。前記電子機器は、プロセッサと、入力装置、出力装置と、メモリと、を備え、前記プロセッサ、入力装置、出力装置及びメモリは、互いに接続され、前記メモリにプログラム命令が記憶されており、前記プロセッサは、前記プログラム命令を実行して、上記いずれか一項に記載のロボット画像強調方法を実行するように構成される。

本願の実施例は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムは、プログラム命令を含み、前記プログラム命令が電子機器のプロセッサにより実行されるときに、前記プロセッサに、上記いずれか一項に記載のロボット画像強調方法を実行させる。

本願の実施例は、コンピュータプログラムを更に提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器におけるプロセッサに、上記いずれか１つのロボット画像強調方法を実行させる。

本願の実施例は、ロボット画像強調方法及び装置、プロセッサ、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラムを提供する。ロボットのカメラにより、処理されるべき画像を取得し、処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得て、第１特徴データに対して復号処理を行い、強調された画像を得ることで、カメラにより撮られた画像の品質を向上させることができる。

上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。

本願の実施例によるロボット画像強調方法を示すフローチャートである。 本願の実施例の１つの適用シーンを示す概略図である。 本願の実施例によるもう１つのロボット画像強調方法を示すフローチャートである。 本願の実施例によるロボット画像強調装置の構造を示す概略図である。 本願の実施例によるロボット画像強調装置のハードウェア構造を示す概略図である。

本願の実施例又は背景技術における技術的解決手段をより明確に説明するために、以下、本願の実施例又は背景技術に必要な図面を説明する。

ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本願に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。

当業者に本願の技術的解決手段をより良く理解させるために、以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明瞭かつ完全に説明する。勿論、記述される実施例は、全ての実施例ではなく、ただ本願の一部の実施例である。本願における実施例に基づいて、当業者が創造的な労力なしに得られる他の実施例の全ては、本願の保護範囲に含まれる。

本願の明細書及び特許請求の範囲並びに上記図面に言及された用語は、異なる対象を区別するためのものであり、特定の順番を説明するためのものではない。なお、「備える」と「有する」という用語及びそれらの変形は、非排他的な包含を網羅することを意図している。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は装置は、明記されたステップ又はユニットに限定されず、明記されていないか又はこれらのプロセス、方法、製品又は装置固有の他のステップ又はユニットを任意選択的に含んでもよい。

本明細書における「実施例」という記載は、当実施例に関して説明する特定の特徴、構造または特性が、本願の少なくとも１つの実施例に含まれることを意味する。明細書の各箇所で現れる該語句は、同一の実施例を指すものとは限らず、他の実施例と相互排他的である独立した実施例又は候補実施例を指すものではない。本明細書に記載の実施例は他の実施例と組み合わせられてもよいことは、当業者であれば、明示的又は暗黙的に理解すべきである。

以下、本願の実施例における図面を参照しながら、本願の実施例を説明する。

本願の実施例によるロボット画像強調方法を示すフローチャートである図１を参照すると、前記ロボット画像強調方法は、以下を含む。

ステップ１０１において、ロボットのカメラにより、処理されるべき画像を取得する。

本願の幾つかの実施例において、ロボットは、自律制御可能な機械である。上記自律制御は、人物追跡、トラッキング走行、障害物自動回避走行などのうちの少なくとも１つを含んでもよい。本願の実施例は、ロボットの形状を限定しない。ロボットは、インテリジェントカーであってもよく、人形ロボットであってもよい。

ロボットにカメラが搭載されている。ロボットは、カメラにより、ロボット周辺の環境に対してリアルタイムで撮影を行うことができる。ここで、撮影方式は、ビデオを撮影するという方式であてもよく、画像を撮影するという方式であってもよく、本願の実施例は、これを限定しない。

本願の幾つかの実施例において、処理されるべき画像は、カメラにより撮られた画像であってもよく、撮られたビデオから切り出された画像であってもよく、本願の実施例は、これを限定しない。

本願の幾つかの実施例において、画像寸法は、所定のサイズであってもよい。例えば、後続処理に求められる画像寸法が２５６＊２５６＊３であると、処理されるべき画像の寸法を２５６＊２５６＊３に調整することができる。調整方式は、処理されるべき画像を拡大縮小することであってもよく、処理されるべき画像をトリミングすることであってもよく、処理されるべき画像に対して特徴抽出を行い、後続処理に必要な対象を含む画像領域を切り出すことで所定の寸法の画像を得ることであってもよく、本願の実施例は、処理されるべき画像の調整方式を限定しない。

ステップ１０２において、処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得る。

本願の幾つかの実施例において、第１特徴データは、処理されるべき画像における対象（ターゲット人物又はターゲット物体）の特徴データ、及び処理されるべき画像における背景（ターゲット人物又はターゲット物体以外の画像内のコンテンツ）の特徴データを含んでもよい。

処理されるべき画像に対して特徴抽出処理を行い、処理されるべき画像の特徴データを得る。ここで、特徴抽出処理は、畳み込み処理であってもよい。本願の幾つかの実施例において、処理されるべき画像におけるいずれか１つの画素点について、畳み込みテンプレートの中心点と該画素点を重なり合わせ、畳み込みテンプレートにおける点と該処理されるべき画像における対応する画素点を乗算し、最後に、各画素点の積を加算し、該画素点の畳み込み値を得る。処理されるべき画像における各画素点に対して上記畳み込み処理を行うことで、処理されるべき画像を縮小し、第１特徴データを抽出する。

本願の幾つかの実施例において、上記特徴抽出処理は、ロボットにより実行されてもよい。

ステップ１０３において、第１特徴データに対して復号処理を行い、強調された画像を得る。

本願の幾つかの実施例において、強調された画像は、処理されるべき画像に比べて、画像のコンテンツが不変のままであるが、画像品質（画像解像度、解析度、鮮明度など）がより高い。

第１特徴データに対して復号処理を行うことで、強調された画像を得ることができる。復号処理は、逆畳み込み処理、バイリニア補間処理、アンプーリング処理のうちのいずれか１つであってもよい。本願の幾つかの実施例において、ロボットで実行される画像強調ネットワークは、畳み込み層（処理される画像に対して特徴抽出処理を行い、第１特徴データを得るように構成される）及び逆畳み込み層（第１特徴データに対して復号処理を行うように構成される）を備える。ここで、画像強調ネットワークは、事前訓練されたものである。訓練により、画像強調ネットワークに、特徴データと強調された画像とのマッピング関係を学習させる。従って、画像強調ネットワークにより、第１特徴データに対して復号処理を行い、強調された画像を得ることができる。

本願の実施例は、処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得る。更に、訓練により学習された、特徴データと強調された画像とのマッピング関係に基づいて、第１特徴データに対して復号を行い、強調された画像を得ることで、カメラにより撮られた画像の品質を向上させることができる。

ロボットは、カメラにより収集された画像を処理することで、人物追跡、トラッキング走行、障害物自動回避走行などのうちの少なくとも１つの制御を実現させることができるが、カメラにより収集された画像は、制御効果に極めて大きい影響を及ぼす。低品質の画像（例えば、画像雑音が多く、画像解像度が低く、画像鮮明度が低いなど）は、ひいては上記制御を実現できない。従って、本願の実施例は、低品質画像に対して強調処理を行い、画像品質を向上させるための、ロボット画像強調方法を提供する。

本願の幾つかの実施例において、前記ロボット画像強調方法は、ロボット画像強調装置により実行されてもよい。ロボット画像強調装置は、ユーザ機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ：ＵＥ）、移動機器、ユーザ端末、端末、セルラー電話、コードレス電話機、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ）、ハンドヘルド機器、コンピューティング機器、車載機器、ウェアラブル機器などであってもよい。前記ロボット画像強調方法は、プロセッサによりメモリに記憶されたコンピュータ可読命令を呼び出すことで実現してもよい。又は、サーバにより該方法を実行してもよい。

以下、１つの適用シーンを参照しながら、本願を更に説明する。

本願の実施例のロボット画像強調方法は、自律制御を行う機械などの適用シーンに適用可能である。図２は、本願の実施例の１つの適用シーンを示す概略図である。図２に示すように、ロボット２００の頭上のカメラ２０は、上記ロボットのカメラであり、顔画像２０１は、上記処理されるべき画像である。ロボット２００のカメラ２０により、顔画像２０１を取得することができる。ロボット画像強調装置２０２において、上述した実施例に記載のロボット画像強調方法で処理を行うことで、強調された顔画像を得ることができる。ここで、強調された顔画像は、元顔画像に比べて、より高い画像品質を有する。強調された顔画像を得た後、例えば、人物追跡、トラッキング走行、障害物自動回避走行などのような、ロボットに対する制御をより正確に実現させることができる。図２に示すシーンは、本願の実施例の１つの例示的なシーンだけであり、本願は、具体的な適用シーンを限定しないことに留意されたい。

図３を参照すると、図３は、本願の実施例によるもう１つのロボット画像強調方法を示すフローチャートである。前記ロボット画像強調方法は、以下を含む。

ステップ３０１において、ロボットのカメラにより、処理されるべき画像を取得する。

具体的には、ステップ１０１を参照することができ、ここで、詳細な説明を省略する。

ステップ３０２において、処理されるべき画像に対して畳み込み処理を行い、第１特徴データを得る。

本願の幾つかの実施例において、処理されるべき画像に対して畳み込み処理を行う前に、処理されるべき画像の品質に基づいて、処理されるべき画像に対して畳み込み処理を行う必要があるかどうかを判定することができる。１つの実施形態において、処理されるべき画像に対して畳み込み処理、正規化処理、線形変換、非線形変換を順に行い、処理されるべき画像における対象が属するカテゴリを決定し、カテゴリ及び第２マッピング関係に基づいて、閾値を決定することができる。ここで、第２マッピング関係は、カテゴリと解像度閾値とのマッピング関係である。処理されるべき画像の解像度が解像度閾値以下である場合、処理されるべき画像に対して特徴抽出処理を行う。例を挙げると、第２マッピング関係は、表１に示すように、事前設定されたものであってもよい。

ここで、後続処理において顔認識を行う必要があれば、より多くの特徴を必要とし、画像品質に求められる要件が高いため、解像度閾値が高い。後続処理においてボールを認識する必要があれば、必要な特徴が少なく、画像品質に求められる要件が低いため、解像度閾値が低い。処理されるべき画像に対して、畳み込み処理、正規化処理、線形変換、非線形変換を順に行い、処理されるべき画像における対象が顔であると決定する。画像解像度取得アルゴリズムにより、処理されるべき画像の解像度が１０２ＰＰＩ（Ｐｉｘｅｌｓ Ｐｅｒ Ｉｎｃｈ）であると決定する。処理されるべき画像の解像度が解像度閾値未満であるため、処理されるべき画像に対して畳み込み処理を行う必要がある。ここで、画像解像度取得アルゴリズムは、二重ループ法であってもよく、連続スキャン法であってもよく、本願の実施例は、これを限定しない。

第２マッピング関係は、事前設定されたものであってもよい。第２マッピング関係における解像度閾値は、画素閾値に置き換えらえてもよい。つまり、処理されるべき画像の画素を根拠として、処理されるべき画像に対して畳み込み処理を行う必要があるかどうかを判定する。第２マッピング関係における解像度閾値は、鮮明度閾値に置き換えられてもよい。つまり、処理されるべき画像の鮮明度を根拠として、処理されるべき画像に対して畳み込み処理を行う必要があるかどうかを判定する。本願の実施例は、これを限定しない。

本願の幾つかの実施例において、画像強調ネットワークは、事前訓練されたものであってもよい。本願の幾つかの実施例において、訓練に用いられる画像集合はいずれも、機種がロボットに搭載されたカメラの機種と同じであるカメラにより収集されたものである。低品質画像、及び低品質画像に対応する高品質画像を含んでもよい。ここで、高品質画像は、低品質画像に対して画像強調処理を行うことで得られたものであってもよい。該画像強調処理は、低品質画像に対するボケ除去処理、低品質画像に対する超解像度処理、低品質画像に対する補光処理のうちの１つ又は複数を含んでもよい。該画像強調処理は、ロボット以外の他の機器（例えばコンピュータ）により実行されてもよい。各枚の低品質画像に対して画像強調処理を行うことで、１枚の対応する高品質画像を得ることができる。低品質画像と高品質画像を訓練集合として、画像強調ネットワークを訓練することで、画像強調ネットワークに、低品質画像の特徴と高品質画像の特徴とのマッピング関係を学習させることができる。特定の機種（ロボットに搭載されたカメラの機種と同じである）により収集された画像を訓練集合として画像強調ネットワークに対して訓練を行うことで、訓練された画像強調ネットワークを該機種のカメラに更に適合させる。異なる機種のカメラに対して、再訓練により、画像強調効果を向上させることができる。

本願の幾つかの実施例において、機種がロボットに搭載されたカメラの機種と同じであるカメラにより収集された画像を訓練集合して、画像強調ネットワークを訓練することで、最適な画像強調効果を得ることができる。他の解像度が近似した他のカメラにおいても高い画像強調効果を有する。

本願の幾つかの実施例において、ロボットのカメラにより、処理されるべき画像を取得した後、ユーザの需要に基づいて、処理されるべき画像に対して画像強調処理を行うことができる。画像強調されていないデータ及び画像強調されたデータを記憶し、後続処理に用いることができる。

ニューラルネットワークの深さが大きいほど、訓練難度が大きくなり、ニューラルネットワークの最適化難度も大きくなる。訓練により適切な重みを学習できなければ、深いニューラルネットワークの効果はかえって、相対的浅いネットワークの効果に劣る。ニューラルネットワークに残差ブロックを加えることで、上記訓練難度が大きくて最適化難度が大きいという問題を解決し、ニューラルネットワークの効率を向上させることができる。従って、画像強調ネットワークに、１つ又は複数の残差ブロックが含まれる。ここで、残差ブロックは、多層畳み込み層であってもよく、多層全結合層であってもよい。これに対して、本願の実施例は、具体的に限定しない。

本願の幾つかの実施例において、画像強調ネットワークは、１つの残差ブロックを含んでもよい。残差ブロックは、２層の畳み込み層を含み、且つ該２層の畳み込み層は、直列接続される。つまり、上の一層の畳み込み層の出力は、下の一層の畳み込み層の入力である。該２層の畳み込み層は、処理されるべき画像に対して順に畳み込み処理を行い、第３特徴データを得る。更に、処理されるべき画像と第３特徴データを融合処理し、第１特徴データを得る。本願の幾つかの実施例において、上記融合処理は、特徴データ加算であってもよい。

１つの実施形態において、画像強調ネットワークは、３４個の残差ブロックを含んでもよい。各残差ブロックは、２層の畳み込み層を含み、全ての畳み込み層は、直列接続される。つまり、上の一層の畳み込み層の出力は、下の一層の畳み込み層の入力である。また、各残差ブロックの入力と出力を融合処理し、融合処理された特徴データを次の残差ブロックの入力とする。例えば、処理されるべき画像を第１残差ブロックにより処理し、第６特徴データを得て、処理されるべき画像と第６特徴データを融合処理し、第７特徴データを得る。２番目の残差ブロックは更に、第７特徴データを処理し、第８特徴データを得る。第７特徴データと第８特徴データを融合処理し、第９特徴データを得る。３番目の残差ブロックは更に、第９特徴データを処理する。このように類推して、３４番目の残差ブロックから第３特徴データを出力するまで継続する。

本願の実施例において、処理されるべき画像は、ベクトルであってもよく、上記全ての特徴データは、ベクトルであってもよい。従って、処理されるべき画像と特徴データの融合は、ベクトルの融合である。

ステップ３０３において、処理されるべき画像の前のフレームの画像を取得する。

本願の幾つかの実施例において、処理されるべき画像がカメラにより撮られた画像である場合、カメラが処理されるべき画像を撮る前に撮った画像は、処理されるべき画像の前のフレームの画像である。処理されるべき画像がビデオから切り出された画像である場合、処理されるべき画像の前のフレームの画像は、ビデオにおける、処理されるべき画像の前のフレームの画像である。

ステップ３０４において、前のフレームの画像に対して特徴抽出処理を行い、第４特徴データを得る。

ロボットは、画像強調ネットワークにおける畳み込み層により前のフレームの画像に対して特徴抽出処理を行い、前のフレームの画像から第４特徴データを抽出する。１つの実施形態において、画像強調ネットワークは、多層の畳み込み層を含んでもよい。画像強調ネットワークにより、前のフレームの画像に対して層ごとに畳み込み処理を行うことで、前のフレームの画像に対する特徴抽出処理を完了する。ここで、各畳み込み層から抽出された特徴コンテンツ及びセマンティック情報は、いずれも異なる。特徴抽出処理により、画像の特徴を段階的に抽出すると同時に、比較的副次的な特徴を段階的に除去するため、工程の進行に伴って抽出された特徴寸法が小さくなり、コンテンツ及びセマンティック情報が凝縮される。多層の畳み込み層により、前のフレームの画像に対して段階的に畳み込み処理を行い、対応する特徴を抽出することで、最終的に固定サイズの特徴データを得る。従って、前のフレームの画像の主なコンテンツ情報（即ち、前のフレームの画像の特徴データ）を得ると同時に、画像寸法を縮小し、システムの演算量を低減させ、演算速度を向上させることができる。１つの実施形態において、強調ネットワークにおける残差ブロックにより、前のフレームの画像に対して特徴抽出処理を行うことで、第４特徴データを得る。残差ブロックにより前のフレームの画像を処理するプロセスは、ステップ３０２を参照することができ、ここで、詳細な説明を省略する。

ステップ３０５において、第１特徴データと第４特徴データをマージ処理し、第５特徴データを得る。

本願の幾つかの実施例において、マージ処理は、特徴ベクトルの拡張と理解されてもよい。例えば、第１特徴データ及び第４特徴データにそれぞれ７個の特徴ベクトルが含まれると仮定すると、第１特徴データと第４特徴データをマージ処理することで得られた第５特徴データは、１４個の特徴ベクトルを含み、且つ、ベクトルにおける要素に対して如何なる処理を行うこともない。

前のフレームの画像の特徴データと処理されるべき画像の特徴データをマージすることで、画像特徴情報を豊かにすることができ、画像強調に寄与し、強調された画像の品質を向上させる。

ステップ３０６において、第５特徴データに対して逆畳み込み処理を行い、強調された画像を得る。

畳み込み層のフォワードプロパゲーションプロセスは、逆畳み込み層のバックプロパゲーションプロセスに相当する。畳み込み層のバックプロパゲーションプロセスは、逆畳み込み層のフォワードプロパゲーションプロセスに相当する。従って、上記第５特徴データに対して逆畳み込み処理を行うことで、第５特徴データに対する復号を実現させ、強調された画像を得ることができる。ここで、逆畳み込み層の数は、ステップ３０２における畳み込み層の数と一致する。

本願の幾つかの実施例において、ロボットのハードウェア構成が限られているため、ハードウェア構成要件が高いプラットフォーム（例えば、コンピュータ）に適用するニューラルネットワークに対して圧縮を行うことで画像強調ネットワークを得ることができる。圧縮方式は、知識の蒸留、ニューラルネットワークの枝刈り、ニューラルネットワーク量子化などであってもよい。従って、画像強調ネットワークは、ロボットで実行されることが可能であり、本実施例全体の処理速度を向上させることができる。本願の幾つかの実施例において、訓練データ及び第１ニューラルネットワークを取得し、前記訓練データにより、前記第１ニューラルネットワークを訓練し、第２ニューラルネットワークを得て、前記第２ニューラルネットワークに対して枝刈り処理を行い、第３ニューラルネットワークを得て、前記訓練データにより、前記第３ニューラルネットワークを訓練し、画像強調ネットワークを得る。ここで、訓練データは、画像品質が低い画像及び画像品質が低い画像に対応する画像品質が高い画像を含み、第１ニューラルネットワークは、圧縮前のニューラルネットワーク（即ち、ハードウェア構成要件が高いプラットフォームに適用するニューラルネットワーク）である。

本実施例を適用することで、ロボットは、画像強調ネットワークにより、処理されるべき画像の品質を向上させることができる。例えば、画像の雑音を低減させ、画像解像度を向上させ、画像の鮮明度を向上させる（例えば、ロボットの移動により、撮られた対象の鮮明度が低い）。プロセス全体は、処理されるべき画像を取得した後にリアルタイムで完了したため、後続で、強調された画像に基づく処理の速度を更に向上させることができる。

カメラのコスト及びデータ伝送コストを考慮すると、ロボットに搭載されたカメラの解像度は高くないことが多い。本願の幾つかの実施例において、画像強調ネットワークにより、レートが低いビデオ画像又は撮影品質が低い画像を強調することができ、光線が暗い画面に発生したノイズを除去することができ、なお、ロボットの移動による撮影ブレの問題を解決することもできる。

本願の実施例は、ロボットに適用される画像強調ネットワークを提供する。画像強調ネットワークにより、低品質画像に対して畳み込み処理を行い、画像の特徴データを抽出する。事前訓練により学習された低品質画像の特徴と高品質画像の特徴とのマッピング関係に基づいて、低品質画像の特徴データに対して逆畳み込み処理を行い、強調された画像を得る。プロセス全体は、画像強調ネットワークにより、自主的かつ迅速に実現する。カメラなどのハードウェア構成を交換することで収集された処理されるべき画像の品質を向上させる必要がなく、コストを低減させることができる。

本願の幾つかの実施例において、画像強調ネットワークは、ｃｙｃｌｅＧＡＮモデルを用いて、低品質画像を低品質画像に対応する高品質画像に変換し、画像品質を向上させることができる。該画像強調ネットワークは、ロボット端末機器に位置してもよく、カメラの撮影効果を向上させることができる。なお、画像強調ネットワークは、直ぐに反復更新することができるため、アルゴリズムの速度及び性能を向上させることができる。

上記から分かるように、本願の実施例は、深層学習フレームワークを用いて、カメラの撮影効果を向上させることで、演算速度及び効果という２つの点で、処理されるべき画像の品質を向上させることができる。更に、ユーザの異なる需要に応じて、リアルタイム処理及び後処理という２つの方式を選択することができ、演算速度を確保すると同時に最適な品質を得ることができる。

強調された画像に基づいて、ロボットに対して、例えば、人物追跡、トラッキング走行、障害物自動回避走行のような後続処理を行うことができる。なお、本願の実施例を教習ロボットに適用する場合、再利用のために、ロボットの行動プロセス全体を記憶する。下記実施例は、本願の実施例で提供される幾つかの実施形態である。

ロボット内の深層ニューラルネットワーク（画像強調ネットワークと異なる）により、強調された画像に基づいて更なる制御を行い、ロボットの制御精度を向上させる。本願の幾つかの実施例において、深層ニューラルネットワークは、強調された画像に対して顔特徴抽出を行い、顔特徴抽出結果に基づいて、ロボットの前方に人間がいるかどうかを判定する。人間がいれば、ロボット内の音声システムにより、「こんにちわ！いらっしゃいませ」というような挨拶を出すことができる。

本願の幾つかの実施例において、ロボットは、サッカー試合におけるゴールキーパーとして、強調された画像に基づいて、ボールの運動軌跡を得て、ボールの運動軌跡に基づいて制御情報を得ることができる。本願の幾つかの実施例において、ロボットにより撮られたビデオにおける各フレームの画像に対して画像強調を行い、複数フレームの強調された画像を得る。各フレームの強調された画像に対して特徴抽出処理を行い、各フレームの強調された画像におけるボールの位置を決定する。更に、各フレームの強調された画像におけるボールの位置に基づいて、ボールの位置の変動を決定し、最終的にボールの運動軌跡を決定し、ボールの運動速度を予測し、ボールの予測速度及び／又はボールの位置に基づいて、制御情報を得て、ロボットを、飛びかかりなどの動作を行うように制御する。１つの実施形態において、ロボットにより撮られたビデオにおける各フレームの画像に対して画像強調を行い、複数フレームの強調された画像を得る。各フレームの強調された画像における階調値に変動に基づいて、ボールの位置を決定し、更に、各フレームの強調された画像におけるボールの位置に基づいて、ボールの位置の変動を決定し、最終的にボールの運動軌跡を決定し、ボールの運動速度を予測し、ボールの予測速度及び／又はボールの位置に基づいて、制御情報を得て、ロボットを、飛びかかりなどの動作を行うように制御する。

１つの実施形態において、深層ニューラルネットワークは、強調された画像に対してジェスチャー特徴抽出を行う。前記ジェスチャーは、停止ジェスチャー、左折ジェスチャー、右折ジェスチャー、ユーターンジェスチャーのうちの少なくとも１つを含む。抽出されたジェスチャー特徴に基づいて、ジェスチャーの意味を判定し、ジェスチャーの意味に基づいて、ロボットに対して、緊急停止、左折、右折、ユーターンのような制御を更に行う。本願の幾つかの実施例において、認識結果に基づいて、第１制御情報を得る。前記第１制御情報は、速度及び／又はステアリング角を含む。続いて、速度及び／又はステアリング角に基づいてロボットの運動を制御する。

本願の幾つかの実施例において、深層ニューラルネットワークは、強調された画像に対してターゲット物体特徴抽出を行い、抽出されたターゲット物体特徴に基づいて、ターゲット物体の位置を判定し、ロボットを、対応するタスクを完了するように制御する。例えば、ロボットは、強調された画像から、ゴミ箱の関連特徴を抽出し、撮られた画像にターゲット物体であるゴミ箱が含まれると判定する。ロボットの現在位置とゴミ箱との距離及び／又はインテリジェントロボットとゴミ箱との挟角に基づいて、ロボットの走行速度であるステアリング角を調整し、ロボットをゴミ箱に到着させ、ゴミをゴミ箱に入れる。

本願の幾つかの実施例において、教学用トラッキングロボットについて言えば、ロボットの走行路線及び路線周辺の環境はいずれも決まったものである。路線及び路線周辺の環境に対して画像収集を行い、収集された画像を訓練集合として、所望のステアリング角及び／又は速度で、ニューラルネットワークにより得られたステアリング角及び／又は速度に対して監督を行い、深層ニューラルネットワークを訓練し、深層ニューラルネットワークのパラメータを決定し、深層ニューラルネットワークに、所定の路線における各位置と第２制御情報との間で第２マッピング関係を構築させる。ここで、第２制御情報は、速度及び／又はステアリング角を含む。訓練を完了したロボットを同一の環境（訓練用画像を収集する環境）に用いて自律的トラッキング走行を行う場合、深層ニューラルネットワークは、リアルタイムで撮られた画像に対して特徴抽出を行い、特徴画像を得て、特徴画像に基づいて、インテリジェントロボットの現在の位置を決定し、得られた位置及び第３マッピング関係に基づいて、ロボットの速度及び／又はステアリング角を得て、速度及び／又はステアリング角に基づいて、ロボットに対する制御を完了する。

本願の幾つかの実施例において、ロボットは、上記いずれか１つの実現形態におけるビデオ又は画像を記憶することもできる。例えば、ゴールキーパーとしたロボットは、正常な試合（子供のサッカー試合）のビデオを記憶し、後続で、他の処理プラットフォーム（例えば、コンピュータ）により、ビデオに対して更に強調処理を行い、ビデオの品質を向上させることができる。

本実施例を適用することで、強調された画像に基づいてロボットに対して後続の制御を行う。画像強調ネットワークによる処理されるべき画像の画像強調処理の速度が速く、且つ強調された画像の品質が高い。従って、強調された画像に基づいて、人物追跡、ターゲット物体追跡、ジェスチャー認識などのような、応答速度が速い制御を実現させることができる。

具体的な実施形態の上記方法において、各ステップの記述順番は、厳しい実行順番を意味して実施プロセスを何ら限定するものではなく、各ステップの具体的な実行順番はその機能及び可能な内在的論理により決まることは、当業者であれば理解すべきである。

本願に言及された提供される上記各方法の実施例は、原理や論理から逸脱しない限り、互いに組み合わせることで組み合わせた実施例を構成することができることが、理解されるべきである。

なお、本願の実施例は、ロボット画像強調装置、プロセッサ、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラムを更に提供する。上記はいずれも、本願の実施例で提供されるいずれか１つのロボット画像強調方法を実現させるためのものである。対応する技術的解決手段及び説明は、方法に関連する記述を参照されたい。ここで、詳細な説明を省略する。

以上、本願の実施例の方法を区らしく説明したが、以下、本願の実施例の装置を提供する。

図４を参照すると、図４は、本願の実施例によるロボット画像強調装置の構造を示す概略図である。該ロボット画像強調装置１は、コンポーネントとして、画像収集部１１と、第１特徴抽出部１２と、復号処理部１３と、第２特徴抽出部１４と、第１処理部１５と、第２処理部１６と、第３処理部１７と、認識部１８と、第４処理部１９と、第５処理部２０と、第６処理部２１と、を備える。ここで、
画像収集部１１は、ロボットのカメラにより、処理されるべき画像を取得するように構成され、
第１特徴抽出部１２は、前記処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得るように構成され、
復号処理部１３は、前記第１特徴データに対して復号処理を行い、強調された画像を得るように構成され、
第２特徴抽出部１４は、前記強調された画像に対して特徴抽出処理を行い、第２特徴データを得るように構成され、前記第２特徴データは、前記所定の路線の路線標識の特徴を含み、
第１処理部１５は、前記第２特徴データ及び第１マッピング関係に基づいて、制御情報を得るように構成され、前記第１マッピング関係は、特徴データと制御情報とのマッピング関係であり、前記制御情報は、速度及び／又はステアリング角を含み、
第２処理部１６は、前記強調された画像に基づいて、前記ボールの運動軌跡を得るように構成され
第３処理部１７は、前記運動軌跡に基づいて、制御情報を得るように構成され、前記制御情報は、速度及び／又はステアリング角を含み、
認識部１８は、前記強調された画像に対して、顔認識、ジェスチャー認識、ターゲット物体認識のうちの少なくとも１つを行うように構成され、
第４処理部１９は、認識結果に基づいて、制御情報を得るように構成され、前記制御情報は、速度及び／又はステアリング角を含み、
第５処理部２０は、前記処理されるべき画像に対して畳み込み処理、正規化処理、線形変換、非線形変換を順に行い、前記処理されるべき画像における対象が属するカテゴリを決定するように構成され、
第６処理部２１は、前記カテゴリ及び第２マッピング関係に基づいて、閾値を決定するように構成され、前記第２マッピング関係は、カテゴリと解像度閾値とのマッピング関係であり、
前記第１特徴抽出部１２は更に、前記処理されるべき画像の解像度が前記閾値以下である場合、前記処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得るステップを実行するように構成される。

更に、前記第１特徴抽出部１２は、前記処理されるべき画像に対して畳み込み処理を行い、第３特徴データを得るように構成される第１畳み込み処理サブ部１２１と、前記処理されるべき画像と前記第３特徴データを融合処理し、前記第１特徴データを得るように構成される融合処理サブ部１２２と、を備える。

更に、前記復号処理部１３は、前記処理されるべき画像の前のフレームの画像を取得するように構成される取得サブ部１３１と、前記前のフレームの画像に対して畳み込み処理を行い、第４特徴データを得るように構成される第２畳み込み処理サブ部１３２と、前記第１特徴データと前記第４特徴データをマージ処理し、第５特徴データを得るように構成されるマージ処理サブ部１３３と、前記第５特徴データに対して復号処理を行い、前記強調された画像を得るように構成される復号処理サブ部１３４と、を備える。

更に、前記復号処理サブ部１３４は、
前記第５特徴データに対して逆畳み込み処理を行い、前記強調された画像を得るように構成される。

幾つかの実施例において、本願の実施例で提供される装置における機能及びモジュールは、上記方法の実施例に記載のロボット画像強調方法を実行するために用いられ、具体的な実現形態は上記方法の実施例の説明を参照されたい。簡潔化のために、ここで詳細な説明を省略する。

本願の実施例は、コンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行されるときに、上記方法を実現させる。コンピュータ可読記憶媒体は、不揮発性コンピュータ可読記憶媒体であってもよい。

図５は、本願の実施例によるロボット画像強調装置のハードウェア構造を示す概略図である。該ロボット画像強調装置５は、プロセッサ５１を備え、入力装置５２と、出力装置５３、メモリ５４と、を更に備えてもよい。該入力装置５２、出力装置５３、メモリ５４及びプロセッサ５１は、バスを介して相互接続される。

メモリ５４は、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）、読み出し専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＥＰＲＯＭ）、又はコンパクトディスク読み出し専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ：ＣＤ－ＲＯＭ）を含むが、これらに限定されない。該メモリ５４は、関連命令及びデータを記憶するように構成される。

入力装置５２は、データ及び／又は信号を入力するように構成され、出力装置５３は、データ及び／又は信号を出力するように構成される。入力装置５２及び出力装置５３は、独立したデバイスであってもよく、一体型デバイスであってもよい。

プロセッサ５１は、１つ又は複数のプロセッサであってもよく、例えば、１つ又は複数の中央演算処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）であってもよい。プロセッサが１つのＣＰＵである場合、該ＣＰＵは、シングルコアＣＰＵであってもよく、マルチコアＣＰＵであってもよい。本願の実施例は、これを具体的に限定しない。

メモリ５４は、ネットワーク機器のプログラムコード及びデータを記憶するように構成される。

プロセッサ５１は、該メモリにおけるプログラムコード及びデータを呼び出して、上記方法の実施例におけるステップを実行するように構成される。具体的には、方法の実施例における記述を参照することができ、ここで、詳細な説明を省略する。

図５にロボット画像強調装置の簡略化した設計のみが示される。実際の適用において、ロボット画像強調装置は、必要な他の素子を更に備えてもよく、任意の数の入力／出力装置、プロセッサ、コントローラ、メモリなどを含むが、これらに限定されない。本願の実施例を実現できるロボット画像強調装置は全て本願の保護範囲内に含まれる。

本明細書に開示されている実施例に記載の各例におけるコンポーネント及びアルゴリズムステップと合わせて、本願は、電子ハードウェア、又はコンピュータソフトウェアと電子ハードウェアの組み合わせにより実現することができることは、当業者であれば容易に理解すべきである。これらの機能がハードウェアによって実行されるかそれともソフトウェアによって実行されるかは、技術的解決手段における特定の適用、及び設計制約条件に依存する。当業者は、各特定の適用について、説明された機能を様々な方法で実現させることができるが、このような実現は、本願の範囲を超えるとは認められない。

便利かつ簡潔に説明するために、上記説明されたシステム、装置及びコンポーネントの具体的な作動過程は、前記方法の実施例における過程を参照することができるから、ここで詳しく説明しないようにすることは、当業者にはっきり理解されるべきである。本願の各々の実施例に対する説明はそれぞれ偏りがあって、便利かつ簡潔に説明するために、同様又は類似した部分は異なる実施例において重複して説明されていないことがあるため、ある実施例に説明されていない部分又は詳しく説明されていない部分に対して、ほかの実施例に関する説明を参照することができることは、当業者にもはっきり理解されるべきである。

本願で提供される幾つかの実施例において、開示されるシステム、装置及び方法は、他の方式によって実現できることを理解すべきである。例えば、以上に記載した装置の実施例はただ例示的なもので、例えば、前記コンポーネントの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。例えば、複数のコンポーネント又は組立体を組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかのインタフェース、装置又はコンポーネントによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。

分離部材として説明した前記コンポーネントは、物理的に別個のものであってもよいし、そうでなくてもよい。コンポーネントとして示された部材は、物理的コンポーネントであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークコンポーネントに分布してもよい。実際の需要に応じてそのうちの一部又は全てのコンポーネントにより本実施例の方策の目的を実現することができる。

また、本願の各実施例における各機能コンポーネントは一つの処理コンポーネントに集積されてもよいし、各コンポーネントが物理的に別個のものとして存在してもよいし、２つ以上のコンポーネントが一つのコンポーネントに集積されてもよい。

上記実施例において、全て又は一部は、ソフトウェア、ハードウェア、ファームウェア又はそれらの任意の組み合わせにより実現してもよい。ソフトウェアにより実現する場合、全て又は一部をコンピュータプログラム製品の形式で実現してもよい。前記コンピュータプログラム製品は、１つ又は複数のコンピュータ命令を含む。コンピュータで前記コンピュータプログラム命令をロードして実行する時、本願の実施例に記載の手順又は機能が全部又は部分的に生成される。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラマブルデバイスであってもよい。前記コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてもよく、又は、前記コンピュータ可読記憶媒体により伝送されてもよい。前記コンピュータ命令を、１つのウェブサイト、コンピュータ、サーバ又はデータセンタから、有線（例えば、同軸ケーブル、光ファイバー、デジタル加入者回線（Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ：ＤＳＬ））又は無線（例えば、赤外、無線、マイクロウェーブ等）の方式で、もう１つのウェブサイト、コンピュータ、サーバ又はデータセンタに伝送することができる。前記コンピュータ可読記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であってもよく、又は、１つ又は複数の利用可能な媒体で集積されたサーバ、データセンタなどのデータ記憶装置であってもよい。前記利用可能な媒体は、磁気媒体（例えば、フレキシブルディスク、ハードディスク、磁気ディスク）、光媒体（例えば、デジタルバーサタイルディスク（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ：ＤＶＤ））、又は半導体媒体（例えば、ソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ：ＳＳＤ））等であってもよい。

上記実施例における各方法の全ての又は一部のステップを、プログラムにより関連ハードウェアを命令することで実行することができることは、当業者であれば理解されるべきである。該プログラムは、コンピュータ可読記憶媒体に記憶されてもよい。該プログラムが実行されるときに、上記各方法の実施例のプロセスを含んでもよい。前記記憶媒体は、ＲＯＭ又はＲＡＭ、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。

本願の実施例は、ロボット画像強調方法及び装置、プロセッサ、電子機器、コンピュータ可読記憶媒体を提供する。前記ロボット画像強調方法は、ロボットのカメラにより、処理されるべき画像を取得することと、前記処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得ることと、前記第１特徴データに対して復号処理を行い、強調された画像を得ることと、を含む。本願の実施例は、カメラにより撮られた画像の品質を向上させることができる。

本願の実施例は、コンピュータプログラムを更に提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器におけるプロセッサに、上記いずれか１つのロボット画像強調方法を実行させる。
例えば、本願は以下の項目を提供する。
（項目１）
ロボット画像強調方法であって、
ロボットのカメラにより、処理されるべき画像を取得することと、
前記処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得ることと、
前記第１特徴データに対して復号処理を行い、強調された画像を得ることと、を含む、ロボット画像強調方法。
（項目２）
前記強調された画像は、所定の路線の路線標識を含み、前記ロボット画像強調方法は、
前記強調された画像に対して特徴抽出処理を行い、第２特徴データを得ることであって、前記第２特徴データは、前記所定の路線の路線標識の特徴を含む、ことと、
前記第２特徴データ及び第１マッピング関係に基づいて、制御情報を得ることであって、前記第１マッピング関係は、特徴データと制御情報とのマッピング関係であり、前記制御情報は、速度及び／又はステアリング角を含む、ことと、を更に含むことを特徴とする
項目１に記載のロボット画像強調方法。
（項目３）
前記強調された画像は、ボールを含み、前記ロボット画像強調方法は、
前記強調された画像に基づいて、前記ボールの運動軌跡を得ることと、
前記運動軌跡に基づいて、制御情報を得ることであって、前記制御情報は、速度及び／又はステアリング角を含む、ことと、を更に含むことを特徴とする
項目１に記載のロボット画像強調方法。
（項目４）
前記強調された画像は、手、顔又はターゲット物体のうちのいずれか１つを含み、前記ロボット画像強調方法は、
前記強調された画像に対して、顔認識、ジェスチャー認識、ターゲット物体認識のうちの少なくとも１つを行うことと、
認識結果に基づいて、制御情報を得ることであって、前記制御情報は、速度及び／又はステアリング角を含む、ことと、を更に含むことを特徴とする
項目１から３のうちいずれか一項に記載のロボット画像強調方法。
（項目５）
前記処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得ることは、
前記処理されるべき画像に対して畳み込み処理を行い、第３特徴データを得ることと、
前記処理されるべき画像と前記第３特徴データを融合処理し、前記第１特徴データを得ることと、を含むことを特徴とする
項目１から４のうちいずれか一項に記載のロボット画像強調方法。
（項目６）
前記第１特徴データに対して復号処理を行い、強調された画像を得ることは、
前記処理されるべき画像の前のフレームの画像を取得することと、
前記前のフレームの画像に対して畳み込み処理を行い、第４特徴データを得ることと、
前記第１特徴データと前記第４特徴データをマージ処理し、第５特徴データを得ることと、
前記第５特徴データに対して復号処理を行い、前記強調された画像を得ることと、を含むことを特徴とする
項目１から５のうちいずれか一項に記載のロボット画像強調方法。
（項目７）
前記第５特徴データに対して復号処理を行い、前記強調された画像を得ることは、
前記第５特徴データに対して逆畳み込み処理を行い、前記強調された画像を得ることを含むことを特徴とする
項目６に記載のロボット画像強調方法。
（項目８）
前記処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得る前に、前記ロボット画像強調方法は、
前記処理されるべき画像に対して畳み込み処理、正規化処理、線形変換、非線形変換を順に行い、前記処理されるべき画像における対象が属するカテゴリを決定することと、
前記カテゴリ及び第２マッピング関係に基づいて、閾値を決定することであって、前記第２マッピング関係は、カテゴリと解像度閾値とのマッピング関係である、ことと、
前記処理されるべき画像の解像度が前記閾値以下である場合、前記処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得るステップを実行することと、を更に含むことを特徴とする
項目１から７のうちいずれか一項に記載のロボット画像強調方法。
（項目９）
ロボット画像強調装置であって、
ロボットのカメラにより、処理されるべき画像を取得するように構成される画像収集部と、
前記処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得るように構成される第１特徴抽出部と、
前記第１特徴データに対して復号処理を行い、強調された画像を得るように構成される復号処理部と、を備える、ロボット画像強調装置。
（項目１０）
前記強調された画像は、所定の路線の路線標識を含み、前記ロボット画像強調装置は、
前記強調された画像に対して特徴抽出処理を行い、第２特徴データを得るように構成される第２特徴抽出部であって、前記第２特徴データは、前記所定の路線の路線標識の特徴を含む、第２特徴抽出部と、
前記第２特徴データ及び第１マッピング関係に基づいて、制御情報を得るように構成される第１処理部であって、前記第１マッピング関係は、特徴データと制御情報とのマッピング関係であり、前記制御情報は、速度及び／又はステアリング角を含む、第１処理部と、を更に備えることを特徴とする
項目９に記載のロボット画像強調装置。
（項目１１）
前記強調された画像は、ボールを含み、前記ロボット画像強調装置は、
前記強調された画像に基づいて、前記ボールの運動軌跡を得るように構成される第２処理部と、
前記運動軌跡に基づいて、制御情報を得るように構成される第３処理部であって、前記制御情報は、速度及び／又はステアリング角を含む、第３処理部と、を更に備えることを特徴とする
項目９に記載のロボット画像強調装置。
（項目１２）
前記強調された画像は、手、顔又はターゲット物体のうちのいずれか１つを含み、前記ロボット画像強調装置は、
前記強調された画像に対して、顔認識、ジェスチャー認識、ターゲット物体認識のうちの少なくとも１つを行うように構成される認識部と、
認識結果に基づいて、制御情報を得るように構成される第４処理部であって、前記制御情報は、速度及び／又はステアリング角を含む、第４処理部と、を更に備えることを特徴とする
項目９から１１のうちいずれか一項に記載のロボット画像強調装置。
（項目１３）
前記第１特徴抽出部は、
前記処理されるべき画像に対して畳み込み処理を行い、第３特徴データを得るように構成される第１畳み込み処理サブ部と、
前記処理されるべき画像と前記第３特徴データを融合処理し、前記第１特徴データを得るように構成される融合処理サブ部と、を備えることを特徴とする
項目９から１２のうちいずれか一項に記載のロボット画像強調装置。
（項目１４）
前記復号処理部は、
前記処理されるべき画像の前のフレームの画像を取得するように構成される取得サブ部と、
前記前のフレームの画像に対して畳み込み処理を行い、第４特徴データを得るように構成される第２畳み込み処理サブ部と、
前記第１特徴データと前記第４特徴データをマージ処理し、第５特徴データを得るように構成されるマージ処理サブ部と、
前記第５特徴データに対して復号処理を行い、前記強調された画像を得るように構成される復号処理サブ部と、を備えることを特徴とする
項目９から１３のうちいずれか一項に記載のロボット画像強調装置。
（項目１５）
前記復号処理サブ部は、
前記第５特徴データに対して逆畳み込み処理を行い、前記強調された画像を得るように構成されることを特徴とする
項目１４に記載のロボット画像強調装置。
（項目１６）
前記ロボット画像強調装置は、
前記処理されるべき画像に対して畳み込み処理、正規化処理、線形変換、非線形変換を順に行い、前記処理されるべき画像における対象が属するカテゴリを決定するように構成される第５処理部と、
前記カテゴリ及び第２マッピング関係に基づいて、閾値を決定するように構成される第６処理部であって、前記第２マッピング関係は、カテゴリと解像度閾値とのマッピング関係である、第６処理部と、を更に備え、
前記第１特徴抽出部は更に、前記処理されるべき画像の解像度が前記閾値以下である場合、前記処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得るステップを実行するように構成されることを特徴とする
項目９から１５のうちいずれか一項に記載のロボット画像強調装置。
（項目１７）
プロセッサであって、前記プロセッサは、項目１から８のうちいずれか一項に記載のロボット画像強調方法を実行するように構成される、プロセッサ。
（項目１８）
電子機器であって、プロセッサと、入力装置、出力装置と、メモリと、を備え、前記プロセッサ、入力装置、出力装置及びメモリは、互いに接続され、前記メモリにプログラム命令が記憶されており、前記プロセッサは、前記プログラム命令を実行して、項目１から８のうちいずれか一項に記載のロボット画像強調方法を実行するように構成される、電子機器。
（項目１９）
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムは、プログラム命令を含み、前記プログラム命令が電子機器のプロセッサにより実行されるときに、前記プロセッサに、項目１から８のうちいずれか一項に記載のロボット画像強調方法を実行させる、コンピュータ可読記憶媒体。
（項目２０）
コンピュータプログラムであって、前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器におけるプロセッサに、項目１から８のうちいずれか一項に記載のロボット画像強調方法を実行させる、コンピュータプログラム。

Claims (20)

1. ロボット画像強調方法であって、
   ロボットのカメラにより、処理されるべき画像を取得することと、
   前記処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得ることと、
   前記第１特徴データに対して復号処理を行い、強調された画像を得ることと、を含む、ロボット画像強調方法。
2. 前記強調された画像は、所定の路線の路線標識を含み、前記ロボット画像強調方法は、
   前記強調された画像に対して特徴抽出処理を行い、第２特徴データを得ることであって、前記第２特徴データは、前記所定の路線の路線標識の特徴を含む、ことと、
   前記第２特徴データ及び第１マッピング関係に基づいて、制御情報を得ることであって、前記第１マッピング関係は、特徴データと制御情報とのマッピング関係であり、前記制御情報は、速度及び／又はステアリング角を含む、ことと、を更に含むことを特徴とする
   請求項１に記載のロボット画像強調方法。
3. 前記強調された画像は、ボールを含み、前記ロボット画像強調方法は、
   前記強調された画像に基づいて、前記ボールの運動軌跡を得ることと、
   前記運動軌跡に基づいて、制御情報を得ることであって、前記制御情報は、速度及び／又はステアリング角を含む、ことと、を更に含むことを特徴とする
   請求項１に記載のロボット画像強調方法。
4. 前記強調された画像は、手、顔又はターゲット物体のうちのいずれか１つを含み、前記ロボット画像強調方法は、
   前記強調された画像に対して、顔認識、ジェスチャー認識、ターゲット物体認識のうちの少なくとも１つを行うことと、
   認識結果に基づいて、制御情報を得ることであって、前記制御情報は、速度及び／又はステアリング角を含む、ことと、を更に含むことを特徴とする
   請求項１から３のうちいずれか一項に記載のロボット画像強調方法。
5. 前記処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得ることは、
   前記処理されるべき画像に対して畳み込み処理を行い、第３特徴データを得ることと、
   前記処理されるべき画像と前記第３特徴データを融合処理し、前記第１特徴データを得ることと、を含むことを特徴とする
   請求項１から４のうちいずれか一項に記載のロボット画像強調方法。
6. 前記第１特徴データに対して復号処理を行い、強調された画像を得ることは、
   前記処理されるべき画像の前のフレームの画像を取得することと、
   前記前のフレームの画像に対して畳み込み処理を行い、第４特徴データを得ることと、
   前記第１特徴データと前記第４特徴データをマージ処理し、第５特徴データを得ることと、
   前記第５特徴データに対して復号処理を行い、前記強調された画像を得ることと、を含むことを特徴とする
   請求項１から５のうちいずれか一項に記載のロボット画像強調方法。
7. 前記第５特徴データに対して復号処理を行い、前記強調された画像を得ることは、
   前記第５特徴データに対して逆畳み込み処理を行い、前記強調された画像を得ることを含むことを特徴とする
   請求項６に記載のロボット画像強調方法。
8. 前記処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得る前に、前記ロボット画像強調方法は、
   前記処理されるべき画像に対して畳み込み処理、正規化処理、線形変換、非線形変換を順に行い、前記処理されるべき画像における対象が属するカテゴリを決定することと、
   前記カテゴリ及び第２マッピング関係に基づいて、閾値を決定することであって、前記第２マッピング関係は、カテゴリと解像度閾値とのマッピング関係である、ことと、
   前記処理されるべき画像の解像度が前記閾値以下である場合、前記処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得るステップを実行することと、を更に含むことを特徴とする
   請求項１から７のうちいずれか一項に記載のロボット画像強調方法。
9. ロボット画像強調装置であって、
   ロボットのカメラにより、処理されるべき画像を取得するように構成される画像収集部と、
   前記処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得るように構成される第１特徴抽出部と、
   前記第１特徴データに対して復号処理を行い、強調された画像を得るように構成される復号処理部と、を備える、ロボット画像強調装置。
10. 前記強調された画像は、所定の路線の路線標識を含み、前記ロボット画像強調装置は、
    前記強調された画像に対して特徴抽出処理を行い、第２特徴データを得るように構成される第２特徴抽出部であって、前記第２特徴データは、前記所定の路線の路線標識の特徴を含む、第２特徴抽出部と、
    前記第２特徴データ及び第１マッピング関係に基づいて、制御情報を得るように構成される第１処理部であって、前記第１マッピング関係は、特徴データと制御情報とのマッピング関係であり、前記制御情報は、速度及び／又はステアリング角を含む、第１処理部と、を更に備えることを特徴とする
    請求項９に記載のロボット画像強調装置。
11. 前記強調された画像は、ボールを含み、前記ロボット画像強調装置は、
    前記強調された画像に基づいて、前記ボールの運動軌跡を得るように構成される第２処理部と、
    前記運動軌跡に基づいて、制御情報を得るように構成される第３処理部であって、前記制御情報は、速度及び／又はステアリング角を含む、第３処理部と、を更に備えることを特徴とする
    請求項９に記載のロボット画像強調装置。
12. 前記強調された画像は、手、顔又はターゲット物体のうちのいずれか１つを含み、前記ロボット画像強調装置は、
    前記強調された画像に対して、顔認識、ジェスチャー認識、ターゲット物体認識のうちの少なくとも１つを行うように構成される認識部と、
    認識結果に基づいて、制御情報を得るように構成される第４処理部であって、前記制御情報は、速度及び／又はステアリング角を含む、第４処理部と、を更に備えることを特徴とする
    請求項９から１１のうちいずれか一項に記載のロボット画像強調装置。
13. 前記第１特徴抽出部は、
    前記処理されるべき画像に対して畳み込み処理を行い、第３特徴データを得るように構成される第１畳み込み処理サブ部と、
    前記処理されるべき画像と前記第３特徴データを融合処理し、前記第１特徴データを得るように構成される融合処理サブ部と、を備えることを特徴とする
    請求項９から１２のうちいずれか一項に記載のロボット画像強調装置。
14. 前記復号処理部は、
    前記処理されるべき画像の前のフレームの画像を取得するように構成される取得サブ部と、
    前記前のフレームの画像に対して畳み込み処理を行い、第４特徴データを得るように構成される第２畳み込み処理サブ部と、
    前記第１特徴データと前記第４特徴データをマージ処理し、第５特徴データを得るように構成されるマージ処理サブ部と、
    前記第５特徴データに対して復号処理を行い、前記強調された画像を得るように構成される復号処理サブ部と、を備えることを特徴とする
    請求項９から１３のうちいずれか一項に記載のロボット画像強調装置。
15. 前記復号処理サブ部は、
    前記第５特徴データに対して逆畳み込み処理を行い、前記強調された画像を得るように構成されることを特徴とする
    請求項１４に記載のロボット画像強調装置。
16. 前記ロボット画像強調装置は、
    前記処理されるべき画像に対して畳み込み処理、正規化処理、線形変換、非線形変換を順に行い、前記処理されるべき画像における対象が属するカテゴリを決定するように構成される第５処理部と、
    前記カテゴリ及び第２マッピング関係に基づいて、閾値を決定するように構成される第６処理部であって、前記第２マッピング関係は、カテゴリと解像度閾値とのマッピング関係である、第６処理部と、を更に備え、
    前記第１特徴抽出部は更に、前記処理されるべき画像の解像度が前記閾値以下である場合、前記処理されるべき画像に対して特徴抽出処理を行い、第１特徴データを得るステップを実行するように構成されることを特徴とする
    請求項９から１５のうちいずれか一項に記載のロボット画像強調装置。
17. プロセッサであって、前記プロセッサは、請求項１から８のうちいずれか一項に記載のロボット画像強調方法を実行するように構成される、プロセッサ。
18. 電子機器であって、プロセッサと、入力装置、出力装置と、メモリと、を備え、前記プロセッサ、入力装置、出力装置及びメモリは、互いに接続され、前記メモリにプログラム命令が記憶されており、前記プロセッサは、前記プログラム命令を実行して、請求項１から８のうちいずれか一項に記載のロボット画像強調方法を実行するように構成される、電子機器。
19. コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムは、プログラム命令を含み、前記プログラム命令が電子機器のプロセッサにより実行されるときに、前記プロセッサに、請求項１から８のうちいずれか一項に記載のロボット画像強調方法を実行させる、コンピュータ可読記憶媒体。
20. コンピュータプログラムであって、前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器におけるプロセッサに、請求項１から８のうちいずれか一項に記載のロボット画像強調方法を実行させる、コンピュータプログラム。

Images