JP2020184302A

JP2020184302A - 自動運転処理システム、システム・オン・チップ、および処理モジュールの監視方法

Info

Publication number: JP2020184302A
Application number: JP2020003209A
Authority: JP
Inventors: ニンギシュ; Ningyi Xu
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2019-05-06
Filing date: 2020-01-10
Publication date: 2020-11-12
Anticipated expiration: 2040-01-10
Also published as: CN111891134A; KR20200128627A; CN111891134B; JP6999074B2; US20200353941A1; EP3736694A1; US11485376B2

Abstract

【課題】機能的安全性が向上した自動運転モジュールまたは自動運転ＳｏＣを提供する。【解決手段】自動運転処理システムは、入力データストリームを受信し、深層学習モデルに基づき入力データストリームを処理して処理結果を生成する自動運転処理モジュールと、制御信号および故障検出励起用のデータストリームを生成し、自動運転処理モジュールから処理結果を受信する故障検出モジュールと、自動運転データストリーム、制御信号および故障検出励起用のデータストリームを受信し、制御信号に基づき自動運転データストリームまたは故障検出励起用のデータストリームを入力データストリームとして自動運転処理モジュールに選択的に出力する多重選択モジュールとを含む。故障検出モジュールは、故障検出励起用のデータストリームの処理結果を該データストリームに対応する所定の結果と比較して故障の有無を判定する。【選択図】図１

Description

本開示の実施例は、主に自動運転の分野に関し、より具体的には、自動運転処理システム、この処理システムを含むシステム・オン・チップ、およびこの処理システムに含まれる処理モジュールの監視方法に関する。

近年、自動運転の関連技術が徐々に登場している。交通手段、特に車両の自動運転機能がますます望まれている。自動運転機能の中で、システムの安全性が最も重要な性能である。

自動運転の実施形態では、システム・オン・チップ（ＳｏＣ：ＳｙｓｔｅｍｏｎＣｈｉｐ）を主制御部として使用することが提案されている。自動運転ＳｏＣの機能的安全性は、システムの安全性において重要な役割を果たす。自動運転ＳｏＣは、一般に、複数のサブシステムまたはモジュールを含む。一例として、複数のモジュールの少なくとも一部は、例えば、知的財産（ＩＰ）コアまたはモジュールである。各モジュールの機能的安全性は、自動運転ＳｏＣの機能的安全性に直接影響する。

従って、機能的安全性が向上した自動運転モジュールまたは自動運転ＳｏＣを提供することが望まれている。

本開示の実施例によれば、機能的安全性が向上したシステムおよび方法を提供することができる自動運転処理システム、自動運転用のシステム・オン・チップ、および自動運転処理モジュールの監視方法が提供される。

本開示の第一態様では、自動運転処理システムが提供される。この自動運転処理システムは、入力データストリームを受信し、深層学習モデルに基づいて前記入力データストリームを処理して処理結果を生成するように構成された自動運転処理モジュールと、制御信号および故障検出励起用のデータストリームを生成し、前記自動運転処理モジュールから前記処理結果を受信するように構成された故障検出モジュールと、自動運転データストリーム、前記故障検出モジュールからの前記制御信号および前記故障検出励起用のデータストリームを受信し、前記制御信号に基づいて前記自動運転データストリームまたは前記故障検出励起用のデータストリームを前記自動運転処理モジュールの前記入力データストリームとして前記自動運転処理モジュールに選択的に出力するように構成された多重選択モジュールとを含む。前記故障検出モジュールは、前記自動運転処理モジュールから受信された前記故障検出励起用のデータストリームの処理結果を前記故障検出励起用のデータストリームに対応する所定の結果と比較し、前記比較結果に応じて前記自動運転処理モジュールに故障が発生したか否かを判定するようにさらに構成されている。

本開示の第二態様では、自動運転用のシステム・オン・チップが提供される。このシステム・オン・チップは、前記自動運転処理システムを含む。

本開示の第３の態様では、自動運転処理モジュールの監視方法が提供される。この方法は、制御信号に基づいて自動運転データストリームまたは故障検出励起用のデータストリームを入力データストリームとして前記自動運転処理モジュールに選択的に入力するステップであって、前記自動運転処理モジュールが深層学習モデルに基づいて前記入力データストリームを処理して処理結果を生成するように構成されているステップと、前記自動運転処理モジュールから前記故障検出励起用のデータストリームの処理結果を受信するステップと、前記故障検出励起用のデータストリームの処理結果を前記故障検出励起用のデータストリームに対応する所定の結果と比較し、前記比較結果に応じて前記自動運転処理モジュールに故障が発生したか否かを判定するステップとを含む。

発明の概要に記載の内容は、本開示の実施例の主要または重要な特徴を限定するものではなく、本開示の範囲を限定するものではないことを理解されたい。本開示の他の特徴は、以下の説明から容易に理解されるであろう。

本開示の各実施例の上記および他の特徴、利点、および態様は、図面および以下の詳細な説明からより明らかになるであろう。図面において、同一または類似の参照符号は、同一または類似の要素を示している。
本開示の実施例が実施され得る例示的な環境のブロック図である。本開示の実施例に係る自動運転ＳｏＣのブロック図である。本開示の実施例に係る自動運転処理システムのブロック図である。本開示の実施例に係る自動運転処理モジュールの処理タスクの概略図である。本開示の実施例に係る自動運転処理モジュールの処理タスクの概略図である。本開示の実施例に係る自動運転処理モジュールの監視方法のフローチャートである。

以下、図面を参照して本開示の実施例をより詳細に説明する。本開示のいくつかの実施例が図面に示されているが、本開示は様々な形態で実施することができ、本明細書に記載の実施例に限定されると解釈すべきではないことを理解されたい。むしろ、これらの実施例は、本開示をより徹底的かつ完全に解釈するために提供される。本開示の図面および実施例は、単なる例示であり、本開示の保護範囲を限定するものではないことを理解されたい。

本開示の実施例の説明において、「含む」という用語および類似の用語は、無制限に含む、即ち「含むが、これらに限定されない」と理解されるべきである。「〜に基づく」という用語は、「少なくとも部分的に、〜に基づく」と理解されるべきである。「一実施例」または「この実施例」という用語は、「少なくとも１つの実施例」と理解されるべきである。「第一」、「第二」などの用語は、異なるオブジェクトまたは同じオブジェクトを意味することができる。他の明示的および暗黙的な定義も以下に含まれ得る。

以上説明したように、自動運転ＳｏＣの機能的安全性は、自動運転システムの安全性において重要な役割を果たす。自動運転ＳｏＣは一般に、深層学習モデルに基づいてデータ処理を実行するもの、人工知能（ＡＩ）モジュールとも言える自動運転モジュールを含む。ＡＩアルゴリズムが自動運転の検知、計画、および制御においてますます使用されてきているため、その高度な計算能力、低遅延などへの要求は、従来のチップの機能的安全性に課題をもたらす。

従来の方式では、機能的安全性を確保するために、ロジックビルトインセルフテスト（ＬＢＩＳＴ）、誤り検出・訂正（ＥＣＣ）などの方式が自動運転モジュールに採用される。この方式によるシステムの安全性は、一般に、自動車安全度レベル（ＡＳＩＬ）のレベルＢに達する。しかしながら、自動運転モジュールの高度な計算能力、低遅延などへの要求に影響を与えず、自動運転のＡＳＩＬレベルをさらに高めることが望まれている。また、自動運転ＳｏＣのシステム全体の機能的安全性を確保するための安全対策が望まれている。この安全対策は、場合によって、自動運転ＳｏＣのソフトウェアやハードウェアのエラーをカバーする必要があり、システムの安全性をさらに高めるためにＡＩアルゴリズムの欠陥をカバーする必要もある。

本開示の実施例によれば、自動運転ＳｏＣのサブシステムとして自動運転ＳｏＣに含まれる、機能的安全性が向上した自動運転処理システムが提供される。この自動運転処理システムでは、多重選択モジュールは、自動運転データストリーム、故障検出モジュールからの制御信号および故障検出励起用のデータストリームを受信し、制御信号に基づいて自動運転データストリームまたは故障検出励起用のデータストリームを自動運転処理モジュールに選択的に出力するように構成されている。自動運転処理モジュールは、深層学習モデルに基づいて、受信された自動運転データストリームまたは故障検出励起用のデータストリームを処理して処理結果を生成力するように構成されており、故障検出モジュールは、自動運転処理モジュールから受信された故障検出励起用のデータストリームの処理結果を故障検出励起用のデータストリームに対応する所定の結果と比較し、自動運転処理モジュールに故障が発生したか否かを判定するように構成されている。このようにして、自動運転処理モジュールの高度な計算能力、低遅延などへの要求に影響を与えず、単純な検出方式により、自動運転処理モジュールに故障が発生したか否かを迅速に判定することができる。それにより、自動運転処理システムのデータ処理速度と安全処理速度を上げることができるので、機能的安全性を確保し、処理速度が向上した自動運転ＳｏＣを得ることができる。

図１は、本開示の実施例が実施され得る例示的な環境の概略図を示している。いくつかの実施例では、この例示的な環境は車両であってもよい。図１を参照すると、この例示的な環境は、自動運転ＳｏＣ１００、マイクロコントローラユニット（ＭＣＵ）１０２、カメラシステム１０４、および光検出・測距（ＬＩＤＡＲ）システム１０６を含み得る。

自動運転ＳｏＣ１００は、自動運転用の主制御部である。自動運転ＳｏＣ１００は、カメラシステム１０４から画像データを受信し、ＬＩＤＡＲシステム１０６からＬＩＤＡＲデータを受信することができる。自動運転ＳｏＣ１００は、車両から受信された検知データを自動運転データストリームとして使用し、自動運転データストリームを処理することができる。自動運転ＳｏＣ１００は、少なくとも部分的に、深層学習モデルに基づいて、受信されたデータを処理して処理情報を生成することができる。自動運転ＳｏＣ１００は、処理情報をＭＣＵ１０２に送信することができる。

ＭＣＵ１０２は、自動運転用の補助制御部である。ＭＣＵ１０２は、受信された処理情報に基づいて車両の各部品を制御することができる。ＭＣＵ１０２は、車両の各部品から状態情報を受信し、状態情報に基づいて制御信号を生成して車両の各部品を制御することができるか、または状態信号を処理して制御信号を生成して車両の各部品を制御するように自動運転ＳｏＣ１００に要求することができる。

図１に示される例示的な環境は、自動運転ＳｏＣ１００および／またはＭＣＵ１０２と電気的に結合される、他の検知システムおよびインターフェースシステムをさらに含み得ることを理解されたい。自動運転ＳｏＣ１００は、他の検知システムおよびインターフェースシステムの少なくとも一部から入力信号を受信し、入力信号を処理することができる。ＭＣＵ１０２も、他の検知システムおよびインターフェースシステムの少なくとも一部から入力信号を受信し、入力信号を処理することができる。

以下、図面を参照して本開示の例示的な実施例を詳細に説明する。

図２は、本開示の実施例に係る自動運転ＳｏＣのブロック図を示している。図２を参照すると、自動運転ＳｏＣ１００は、自動運転処理システム２００を含み得る。いくつかの実施例では、自動運転処理システム２００は、少なくとも部分的に、ＡＩアルゴリズムに基づいて入力データを処理して処理結果を生成するように構成されている。いくつかの実施例では、自動運転処理システム２００は、自動運転ＳｏＣ１００のＡＩサブシステムとして構成されている。いくつかの実施例では、自動運転処理システム２００は、少なくとも部分的に、深層学習モデルに基づいて入力データを処理して処理結果を生成するように構成されている。いくつかの実施例では、自動運転処理システム２００は、図１に示されるカメラシステム１０４および／またはＬＩＤＡＲシステム１０６から自動運転データストリームの少なくとも一部を受信するように構成されている。本開示の実施例に係る自動運転処理システム２００の詳細については、後述する図３を参照して説明する。

図２を参照すると、いくつかの実施例では、自動運転ＳｏＣ１００は、中央処理装置（ＣＰＵ）を含み得るアプリケーション処理（ＡＰ）システム２０２をさらに含む。いくつかの実施例では、ＡＰシステム２０２は、自動運転処理システム２００から処理結果を受信し、この処理結果に対して情報処理を実行して、アプリケーション処理情報を生成するように構成されている。いくつかの実施例では、自動運転ＳｏＣ１００は、このアプリケーション処理情報を図１に示されるＭＣＵ１０２に送信して、車両の各部品を制御するための制御信号を生成する。いくつかの実施例では、ＡＰシステム２０２は、自動運転ＳｏＣ１００に含まれる他のサブシステムから信号を受信し、受信された信号に対して情報処理を実行するように構成されている。

図２を参照すると、いくつかの実施例では、自動運転ＳｏＣ１００は、自動運転処理システム２００およびＡＰシステム２０２と別個に独立して配置され得る安全システム２０４をさらに含む。いくつかの実施例では、安全システム２０４は、自動運転処理システム２００から警報信号を受信し、警報信号に基づいて所定の処理を実行するように構成されている。いくつかの実施例では、この所定の処理は、ユーザへの警告、自動運転処理システム２００の初期化、冗長システムの有効化などを含む。いくつかの実施例では、安全システム２０４は、自動運転ＳｏＣ１００内で生成された内部信号を受信し、この内部信号が通常の基準を満たすか否かを判定するように構成されている。いくつかの実施例では、安全システム２０４は、自動運転ＳｏＣ１００から出力されたアプリケーション処理情報を受信し、このアプリケーション処理情報が通常の基準を満たすか否かを判定するように構成されている。いくつかの実施例では、安全システム２０４は、通常の基準を満たしていない場合、車両の速度の低下、広々とした道路での運転、システムの再起動、冗長システムの有効化などを含む安全処理を実行するように構成されている。

いくつかの実施例では、ＡＰシステム２０２は、検査モジュールを含む。いくつかの実施例では、安全システム２０４は、検査モジュールを含む。いくつかの実施例では、検査モジュールは、自動運転処理システム２００から処理結果を受信し、この処理結果が所定の安全基準を満たすか否かを判定するように構成されている。いくつかの実施例では、検査モジュールは、処理結果が所定の安全基準を満たしていないと判定される場合、安全処理を実行するように構成されている。この場合、自動運転処理システム２００は実行者（Ｄｏｅｒ）として構成されており、検査モジュールは検査者（Ｃｈｅｃｋｅｒ）として構成されている。いくつかの実施例では、検査モジュールは、ＡＰシステム２０２からアプリケーション処理情報を受信し、このアプリケーション処理情報が所定の安全基準を満たすか否かを判定するように構成されている。いくつかの実施例では、検査モジュールは、アプリケーション処理情報が所定の安全基準を満たしていないと判定される場合、安全処理を実行するように構成されている。この場合、ＡＰシステム２０２はＤｏｅｒとして構成されており、検査モジュールはＣｈｅｃｋｅｒとして構成されている。いくつかの実施例では、所定の安全基準を満たすか否かを判定することは、車両が衝突しようとしていたり、間違った道路を走行していたりするシナリオなど、車両が危険なシナリオにあるか否かを判定することを含む。いくつかの実施例では、検査モジュールは、車両が危険なシナリオにあると判定される場合、緊急処理を実行するように構成されている。いくつかの実施例では、緊急処理の実行は、車両の緊急ブレーキ、車両を道端に止めることなどを含む。

いくつかの実施例では、Ｃｈｅｃｋｅｒとしての検査モジュールは、Ｄｏｅｒの操作が所定の安全基準を満たすか否かを判定するように構成されている。いくつかの実施例では、検査モジュールは、Ｄｏｅｒの操作が所定の安全基準を満たしていないと判定される場合、緊急処理を実行するように構成されている。いくつかの実施例では、検査モジュールは、自動運転ＳｏＣ１００が安全モードに入るように緊急処理を実行するように構成されている。いくつかの実施例では、検査モジュールは、ＡＰシステム２０２からのアプリケーション処理情報が自動運転ＳｏＣ１００から安全モードで出力されることを禁止するように構成されている。いくつかの実施例では、検査モジュールは、安全モード情報を自動運転ＳｏＣ１００の出力として安全モードで出力するように構成されている。

いくつかの実施例では、自動運転処理システム２００はＤｏｅｒとして構成されており、ＡＰシステム２０２または安全システム２０４に含まれる検査モジュールはＣｈｅｃｋｅｒとして構成されている。いくつかの実施例では、ＡＰシステム２０２はＤｏｅｒとして構成されており、安全システム２０４に含まれる検査モジュールはＣｈｅｃｋｅｒとして構成されている。Ｄｏｅｒは、自動運転ＳｏＣ１００に用いられるアルゴリズムを実行するように構成されている。一例として、Ｄｏｅｒは、ＡＩアルゴリズムを実行するように構成されている。Ｃｈｅｃｋｅｒは、車両が衝突しようとしていたり、間違った道路を走行していたりするシナリオなどの危険なシナリオを検査するように構成されている。危険なシナリオにあると判定される場合、Ｃｈｅｃｋｅｒは、自動運転ＳｏＣの操作を引き継ぎ、車両の緊急ブレーキ、車両を道端に止めることなどの緊急操作を実行するとともに、Ｄｏｅｒの操作が機能しなくなるようにする。このようにして、Ｃｈｅｃｋｅｒは、ソフトウェアやハードウェアのエラー、ＡＩアルゴリズムのエラーなど、Ｄｏｅｒのエラーによる損害を補うことができる。また、このようにして、ＤｏｅｒおよびＣｈｅｃｋｅｒの戦略は、Ｄｏｅｒの設計の複雑さとコストを削減するために、Ｄｏｅｒの安全レベルを低下させることができ、さらに、自動運転ＳｏＣの安全レベルがより高い基準に達するように、安全レベルのより高い独立した冗長Ｃｈｅｃｋｅｒを配置することができる。一例として、Ｃｈｅｃｋｅｒの安全レベルはＡＳＩＬのレベルＤに達し得る。このようにして、Ｃｈｅｃｋｅｒは、自動運転ＳｏＣのシステムの安全性がＡＳＩＬのレベルＤに達するように、予想される機能安全要件の欠陥、ＡＩアルゴリズムの欠陥など、自動運転ＳｏＣの欠陥を補うことができる。

ＡＰシステム２０２および／または安全システム２０４は、当技術分野で公知の他の信号処理を実行するようにさらに構成できることを理解されたい。また、いくつかの実施例では、自動運転ＳｏＣ１００は、他のサブシステムをさらに含み得る。いくつかの実施例では、他のサブシステムは、メモリ制御システム、音声処理システム、画像処理システム、入出力システムなどを含む。

本開示の実施例によれば、自動運転処理システム２００に対して、冗長機構を採用することができる。いくつかの実施例では、自動運転ＳｏＣ１００は、冗長自動運転処理システムをさらに含む。冗長自動運転処理システムは、自動運転データストリームを受信し、深層学習モデルに基づいて自動運転データストリームを処理して冗長処理結果を生成するように構成されている。このように、自動運転処理システム２００に故障が発生したと判定される場合、対応する警報信号に応じて、冗長自動運転処理システムを有効化して自動運転処理を実行し続ける。このようにして、車両の自動運転システムの安全性を高める。

図３は、本開示の実施例に係る自動運転処理システムのブロック図を示している。図３を参照すると、自動運転処理システム２００は、自動運転処理モジュール３００、故障検出モジュール３０２、および多重選択モジュール３０４を含む。いくつかの実施例では、自動運転処理モジュール３００から出力された処理結果は、ＡＰシステム２０２によって処理されるために、図２に示されるＡＰシステム２０２に送信される。

自動運転処理モジュール３００は、入力データストリームを受信し、深層学習モデルに基づいて入力データストリームを処理して処理結果を生成するように構成されている。いくつかの実施例では、自動運転処理モジュール３００は、自動運転ＡＩモジュールである。いくつかの実施例では、一例として、このモジュールはＳｏＣのＩＰコアである。いくつかの実施例では、自動運転処理モジュール３００は、少なくとも部分的に、ＡＩアルゴリズムに基づいて自動運転の検知、計画、および制御処理のうちの少なくとも一部の処理を実行して、検知、計画、および制御処理のうちの少なくとも一部の処理結果を生成するように構成されている。いくつかの実施例では、自動運転処理モジュール３００は、障害物認識、環境認識、運転情報、経路選択、車両状態情報などのうちの少なくとも１つの処理結果を出力する。いくつかの実施例では、自動運転処理モジュール３００は、当技術分野で公知の自動運転ＳｏＣのＡＩモジュールであってもよい。

故障検出モジュール３０２は、制御信号および故障検出励起用のデータストリームを生成し、自動運転処理モジュール３００から処理結果を受信するように構成されている。いくつかの実施例では、故障検出モジュール３０２は、図３に示すように、自動運転処理モジュール３００と別個に自動運転処理システム２００内に配置される。なお、本開示の実施例はこれに限定されなく、他の実施例では、故障検出モジュール３０２は、自動運転処理モジュール３００が処理結果に加えて制御信号および故障検出励起用のデータストリームを出力するように、自動運転処理モジュール３００に含まれ、自動運転処理モジュール３００の深層学習モデルと独立して動作する。

多重選択モジュール３０４は、自動運転データストリーム、故障検出モジュール３０２からの制御信号および故障検出励起用のデータストリームを受信し、制御信号に基づいて自動運転データストリームまたは故障検出励起用のデータストリームを自動運転処理モジュール３００の入力データストリームとして自動運転処理モジュール３００に選択的に出力するように構成されている。いくつかの実施例では、多重選択モジュール３０４は、図１に示されるカメラシステム１０４および／またはＬＩＤＡＲシステム１０６から自動運転データストリームを受信する。いくつかの実施例では、多重選択モジュール３０４は、制御信号が第一論理レベルを有する場合に自動運転データストリームを入力データストリームとして自動運転処理モジュール３００に出力し、制御信号が第一論理レベルと異なる第二論理レベルを有する場合に故障検出励起用のデータストリームを入力データストリームとして自動運転処理モジュール３００に出力するようにさらに構成されている。いくつかの実施例では、多重選択モジュール３０４は、多重選択モジュール３０４を有効化または無効化するため、入力および出力データストリームの周波数を変更するためなどに、他のタイプの制御信号を受信するようにさらに構成されている。

いくつかの実施例では、通常のデータストリーム処理中に、自動運転処理モジュール３００は、自動運転データストリームを受信して、自動運転データストリームの処理結果を生成するように構成されている。いくつかの実施例では、故障検出処理中に、自動運転処理モジュール３００は、故障検出励起用のデータストリームを受信して、故障検出励起用のデータストリームの処理結果を生成するように構成されている。

故障検出モジュール３０２は、自動運転処理モジュール３００から受信された故障検出励起用のデータストリームの処理結果を故障検出励起用のデータストリームに対応する所定の結果と比較し、この比較結果に応じて自動運転処理モジュール３００に故障が発生したか否かを判定するようにさらに構成されている。いくつかの実施例では、故障検出モジュール３０２は、少なくとも１つの故障検出励起用のデータストリームをそれに対応する少なくとも１つの所定の結果に関連付けてメモリに記憶する。いくつかの実施例では、故障検出モジュール３０２は、ルックアップテーブルを介して、出力された故障検出励起用のデータストリームに対応する少なくとも１つの所定の結果を決定するように構成されている。いくつかの実施例では、所定の結果は、自動運転の検知、計画、および制御処理のうちの少なくとも一部の処理結果を含む。

いくつかの実施例では、故障検出モジュール３０２は、故障検出励起用のデータストリームの処理結果と所定の結果との差が所定の範囲内にある場合、自動運転処理モジュール３００に故障が発生していないと判定するようにさらに構成されている。いくつかの実施例では、故障検出モジュール３０２は、自動運転処理モジュール３００に故障が発生していないと判定される場合、多重選択モジュール３０４が制御信号に基づいて自動運転データストリームを自動運転処理モジュール３００に出力するように制御信号を生成するようにさらに構成されている。いくつかの実施例では、故障検出モジュール３０２は、故障検出励起用のデータストリームの処理結果と所定の結果との差が所定の範囲を超える場合、自動運転処理モジュール３００に故障が発生したと判定し、警報信号を生成するようにさらに構成されている。いくつかの実施例では、この警報信号は、図２に示される安全システム２０４に送信される。

いくつかの実施例では、故障検出励起用のデータストリームの処理結果を所定の結果のセットと比較して、故障検出励起用のデータストリームの処理結果がこのセット内の少なくとも１つの所定の結果と一致するか否かを判定する。いくつかの実施例では、故障検出励起用のデータストリームの処理結果を少なくとも１つの所定の結果と比較して、故障検出励起用のデータストリームの処理結果の特徴と、少なくとも１つの所定の結果の特徴との関連性を決定する。当技術分野で公知の方法を用いて、故障検出励起用のデータストリームの処理結果を所定の結果と比較できることを理解されたい。

本開示の実施例に係る自動運転処理システム２００では、自動運転データストリームまたは故障検出励起用のデータストリームは、入力データストリームの処理結果を生成するように、自動運転処理モジュール３００に入力される。このようにして、自動運転ＳｏＣのＡＩモジュールなどの従来のまたは設計された自動運転処理モジュール３００を変更する必要がなくなる。また、自動運転処理モジュール３００によって処理するために、制御信号の選択に基づいて故障検出励起用のデータストリームを一連の自動運転データストリーム内の隣接するデータストリームの間に挿入する。このようにして、自動運転処理モジュールの処理負荷を増加させず、自動運転処理モジュールの複雑な演算を発生させず、自動運転処理モジュールの設計の複雑さを軽減する。また、故障検出モジュール３０２は、自動運転処理モジュール３００と個別に、自動運転処理システム２００などの自動運転ＳｏＣの同じサブシステム内に配置される。このようにして、自動運転処理モジュールのソフトウェアやハードウェアのエラーを独立して迅速に決定し、自動運転処理モジュールの安全性を高めることができる。このようにして、本開示の実施例に係る自動運転ＳｏＣは、ＬＢＩＳＴおよびＥＣＣという安全対策を採用してＡＳＩＬのレベルＢに達し得る従来のＳｏＣと比べて、ＡＳＩＬのレベルＤに達し得るので、自動運転車両のシステムの安全性を高める。

本開示の実施例によれば、自動運転処理モジュール３００に対して冗長機構を採用することができる。いくつかの実施例では、自動運転処理システム２００は、冗長自動運転処理モジュールをさらに含む。冗長自動運転処理モジュールは、入力データストリームを受信し、深層学習モデルに基づいて入力データストリームを処理して冗長処理結果を生成するように構成されている。このように、自動運転処理モジュール３００に故障が発生したと判定される場合、対応する警報信号に応じて、冗長自動運転処理モジュールを有効化して自動運転処理を実行し続ける。このようにして、車両の自動運転システムの安全性を高める。

図４は、本開示の実施例に係る自動運転処理モジュールの処理タスクの概略図を示している。図４を参照すると、自動運転処理モジュール３００が入力データストリームを周期Ｔ１で処理するプロセスにおいて、自動運転処理モジュール３００は、故障検出励起用のデータストリームを周期的にまたは周期Ｔ２で処理する。このようにして、自動運転処理モジュール３００の機能的安全性を確保することができる。

いくつかの実施例では、故障検出モジュール３０２は、多重選択モジュール３０４が、制御信号に基づいて、故障検出励起用のデータストリームを自動運転処理モジュール３００に第一周期に対応する周期で出力して、自動運転処理モジュール３００から故障検出励起用のデータストリームの処理結果を受信するように、制御信号および故障検出励起用のデータストリームを第一周期で生成するようにさらに構成されている。いくつかの実施例では、この周期は第一周期に等しい。この場合、この第一周期は、図４に示される周期Ｔ２に等しい。別の実施例では、この周期は第一周期の分数または倍数である。このようにして、故障検出モジュール３０２は、自動運転処理モジュール３００に故障が発生したか否かを定期的に監視することができる。

いくつかの実施例では、多重選択モジュール３０４は、外部から自動運転データストリームを第一周期よりも短い第二周期で受信するようにさらに構成されている。いくつかの実施例では、第二周期は第一周期の分数である。いくつかの実施例では、多重選択モジュール３０４は、自動運転データストリームを自動運転処理モジュール３００に第二周期に対応する周期で出力することができる。いくつかの実施例では、この周期は第二周期に等しい。この場合、この第二周期は、図４に示される周期Ｔ１に等しい。このようにして、第一周期は、自動運転処理モジュール３００が主に自動運転データストリームを処理し、車両の自動運転に影響を与えないように、特定のシナリオに応じて調整される。いくつかの実施例では、第二周期が第一周期の５分の１に等しいので、図４に示すように、この故障検出励起用のデータストリームが５番目の自動運転データストリームの代わりに入力データストリームとして使用されるように、自動運転処理モジュール３００の入力データストリームに対して４つの自動運転データストリームごとに１つの故障検出励起用のデータストリームを挿入する。

なお、本開示の実施例はこれに限定されなく、他の実施例では、この分数は、自動運転処理モジュール３００の入力データストリームに対して複数の自動運転データストリームごとに１つの故障検出励起用のデータストリームが挿入されるように、即ち、自動運転処理モジュール３００の処理タスクにおいて複数の自動運転データストリームの処理タスクごとに故障検出励起用のデータストリームの処理タスクが挿入されるように、他の値に設定され得る。

いくつかの実施例では、故障検出モジュール３０２は、この故障検出励起用のデータストリームに対応する所定の結果と前に受信された自動運転データストリームの処理結果との差が所定の範囲内にあるように、このような故障検出励起用のデータストリームを出力する。いくつかの実施例では、出力される故障検出励起用のデータストリームに対応する所定の結果は、前に受信された自動運転データストリームの処理結果と一致する。このようにして、ＡＰシステム２０２から受信された処理結果には異常値がなくなる。別の実施例では、故障検出モジュール３０２は、この故障検出励起用のデータストリームに対応する所定の結果が、ＡＰシステム２０２がこの故障検出励起用のデータストリームの所定の結果を処理しないようにするタグを含むように、このような故障検出励起用のデータストリームを出力する。このようにして、自動運転処理モジュール３００の挿入失敗の検出は、ＡＰシステム２０２の情報処理に影響を与えない。

図５は、本開示の実施例に係る自動運転処理モジュールの処理タスクの概略図を示している。図５を参照すると、自動運転処理モジュール３００が入力データストリームを処理するプロセスにおいて、自動運転処理モジュール３００は、自動運転データストリームの代わりに挿入された故障検出励起用のデータストリームを所定の状況で処理する。いくつかの実施例では、図５に示すように、自動運転処理モジュール３００が故障検出励起用のデータストリームを処理するように、検出を疑わしい状況でトリガする。このようにして、最短時間で自動運転処理モジュール３００の故障を解消するか、またはその欠陥を補うことができる。

いくつかの実施例では、故障検出モジュール３０２は、自動運転処理モジュール３００から自動運転データストリームの処理結果を受信し、この処理結果が閾値を超えるか否かを判定するようにさらに構成されている。いくつかの実施例では、この閾値は、前の周期における自動運転データストリームの処理結果に対応する特徴値から外れた値である。いくつかの実施例では、多重選択モジュール３０４が、制御信号に基づいて故障検出励起用のデータストリームを自動運転処理モジュール３００に出力し、自動運転処理モジュール３００から故障検出励起用のデータストリームの処理結果を受信するように、故障検出モジュール３０２は、自動運転データストリームの処理結果の変動が閾値を超えると判定される場合、制御信号および故障検出励起用のデータストリームを生成するように構成されている。

図５に示すように、自動運転処理モジュール３００の処理タスクのうち、３つの自動運転データストリームの処理タスクが図示の時間範囲内に開始された後、故障検出モジュール３０２は、変動が閾値を超える疑わしい状況を検出し、故障検出励起用のデータストリームの処理タスクを処理タスクに挿入する。故障検出モジュール３０２が、故障が発生していないと判定した場合、自動運転処理モジュール３００は、７つの自動運転データストリームの処理タスクを実行し続ける。その後、故障検出モジュール３０２は、変動が閾値を超える疑わしい状況を検出し、故障検出励起用のデータストリームの処理タスクを処理タスクに挿入する。故障検出モジュール３０２が、故障が発生していないと判定した場合、自動運転処理モジュール３００は、２つの自動運転データストリームの処理タスクを実行し続け、その後、故障検出モジュール３０２は、故障検出励起用のデータストリームの処理タスクを処理タスクに挿入する。上記の数値は単なる例示であり、限定的なものではなく、実際の状況に応じて変更できることを理解されたい。このようにして、故障検出モジュール３０２は、自動運転データストリームの処理結果をリアルタイムで監視し、自動運転処理モジュール３００の故障検出を疑わしい状況で開始して、故障状況を迅速に検出することができるので、故障状況への対処に必要な時間を延長し、自動運転システムの安全性を高めることができる。

図６は、本開示の実施例に係る自動運転処理モジュールの監視方法のフローチャートを示している。この自動運転処理モジュールは、上記の自動運転処理モジュール３００である。

図６を参照すると、ブロック６０２において、制御信号に基づいて自動運転データストリームまたは故障検出励起用のデータストリームを入力データストリームとして自動運転処理モジュールに選択的に入力するが、この自動運転処理モジュールは、深層学習モデルに基づいて入力データストリームを処理して処理結果を生成するように構成されている。いくつかの実施例では、通常のデータストリーム処理中に、制御信号は、自動運転データストリームが自動運転データストリームの処理結果を生成するために入力データストリームとして自動運転処理モジュールに入力されるように設定される。いくつかの実施例では、故障検出処理中に、制御信号は、故障検出励起用のデータストリームが故障検出励起用のデータストリームの処理結果を生成するために入力データストリームとして自動運転処理モジュールに入力されるように設定される。

ブロック６０４において、自動運転処理モジュールから故障検出励起用のデータストリームの処理結果を受信する。いくつかの実施例では、自動運転処理モジュールからも自動運転データストリームの処理結果を受信する。

ブロック６０６において、故障検出励起用のデータストリームの処理結果を故障検出励起用のデータストリームに対応する所定の結果と比較し、この比較結果に応じて自動運転処理モジュールに故障が発生したか否かを判定する。いくつかの実施例では、自動運転処理モジュールに故障が発生したか否かを判定するステップは、故障検出励起用のデータストリームの処理結果と所定の結果との差が所定の範囲内にある場合、自動運転処理モジュールに故障が発生していないと判定するステップと、この差が所定の範囲を超える場合、自動運転処理モジュールに故障が発生したと判定するステップとを含む。

いくつかの実施例では、故障検出励起用のデータストリームが故障検出励起用のデータストリームの処理結果を生成するために自動運転処理モジュールに入力されるように、制御信号を周期的に設定する。いくつかの実施例では、自動運転処理モジュールから自動運転データストリームの処理結果を受信し、自動運転データストリームの処理結果の変動が閾値を超えるか否かを判定する。いくつかの実施例では、自動運転データストリームの処理結果の変動が閾値を超えると判定される場合、故障検出励起用のデータストリームが故障検出励起用のデータストリームの処理結果を生成するために自動運転処理モジュールに入力されるように、制御信号を設定する。

本開示の実施例を実施するための方法は、ＳｏＣアーキテクチャに適用できるように、１つまたは複数のプログラミング言語の任意の組み合わせで書かれてもよいことを理解されたい。また、各操作が特定の順序で説明されるが、これは、このような操作が図示された特定の順序または逐次的な順序で実行されること、またはすべての図示された操作が所望の結果を達成するために実行されることを必要とするものとして理解されるべきである。特定の状況では、マルチタスク処理および並列処理が有利な場合がある。

以上の説明にはいくつかの特定の実施形態の詳細が含まれるが、これらは、本開示の範囲を限定するものとして解釈されるべきではない。別個の実施例の文脈において説明される特定の特徴は、単一の実施形態において組み合わせて実施することもできる。逆に、別個の実施形態の文脈において説明される様々な特徴は、複数の実施形態において個別に、または任意の適切な部分的組み合わせによって実施することもできる。

本主題を構造的特徴および／または方法論的動作に固有の言語で説明したが、添付の特許請求の範囲において定義される主題は、必ずしも上記の特定の特徴または動作に限定されないことを理解されたい。むしろ、上記の特定の特徴および動作は、特許請求の範囲を実施する例示的な形態として開示されている。

Claims

入力データストリームを受信し、深層学習モデルに基づいて前記入力データストリームを処理して処理結果を生成するように構成された自動運転処理モジュールと、
制御信号および故障検出励起用のデータストリームを生成し、前記自動運転処理モジュールから前記処理結果を受信するように構成された故障検出モジュールと、
自動運転データストリーム、前記故障検出モジュールからの前記制御信号および前記故障検出励起用のデータストリームを受信し、前記制御信号に基づいて前記自動運転データストリームまたは前記故障検出励起用のデータストリームを前記自動運転処理モジュールの前記入力データストリームとして前記自動運転処理モジュールに選択的に出力するように構成された多重選択モジュールと
を含んでなり、
前記故障検出モジュールは、前記自動運転処理モジュールから受信された前記故障検出励起用のデータストリームの処理結果を前記故障検出励起用のデータストリームに対応する所定の結果と比較し、前記比較結果に応じて前記自動運転処理モジュールに故障が発生したか否かを判定するようにさらに構成されている、自動運転処理システム。
前記故障検出モジュールは、
前記故障検出励起用のデータストリームの処理結果と前記所定の結果との差が所定の範囲内にある場合、前記自動運転処理モジュールに故障が発生していないと判定するようにさらに構成されている、
請求項１に記載の自動運転処理システム。
前記故障検出モジュールは、
前記自動運転処理モジュールに故障が発生していないと判定される場合、前記多重選択モジュールが前記制御信号に基づいて前記自動運転データストリームを前記自動運転処理モジュールに出力するように、前記制御信号を生成するようにさらに構成されている、
請求項２に記載の自動運転処理システム。
前記故障検出モジュールは、
前記故障検出励起用のデータストリームの処理結果と前記所定の結果との差が所定の範囲を超える場合、前記自動運転処理モジュールに故障が発生したと判定し、警報信号を生成するようにさらに構成されている、
請求項１に記載の自動運転処理システム。
前記故障検出モジュールは、
前記多重選択モジュールが前記制御信号に基づいて前記故障検出励起用のデータストリームを前記自動運転処理モジュールに出力するように、前記制御信号および前記故障検出励起用のデータストリームを第一周期で生成し、
前記自動運転処理モジュールから前記故障検出励起用のデータストリームの処理結果を受信するようにさらに構成されている、
請求項１に記載の自動運転処理システム。
前記多重選択モジュールは、
外部から前記自動運転データストリームを前記第一周期よりも短い第二周期で受信するようにさらに構成されている、
請求項５に記載の自動運転処理システム。
前記故障検出モジュールは、
前記自動運転処理モジュールから前記自動運転データストリームの処理結果を受信し、
前記自動運転データストリームの処理結果の変動が閾値を超えると判定される場合、前記多重選択モジュールが前記制御信号に基づいて前記故障検出励起用のデータストリームを前記自動運転処理モジュールに出力するように、前記制御信号および前記故障検出励起用のデータストリームを生成し、
前記自動運転処理モジュールから前記故障検出励起用のデータストリームの処理結果を受信するようにさらに構成されている、
請求項１に記載の自動運転処理システム。
前記多重選択モジュールは、
前記制御信号が第一論理レベルを有する場合、前記自動運転データストリームを前記入力データストリームとして前記自動運転処理モジュールに出力し、
前記制御信号が前記第一論理レベルと異なる第二論理レベルを有する場合、前記故障検出励起用のデータストリームを前記入力データストリームとして前記自動運転処理モジュールに出力するようにさらに構成されている、
請求項１〜７のいずれか一項に記載の自動運転処理システム。
請求項１〜８のいずれか一項に記載の自動運転処理システムを含む、
自動運転用のシステム・オン・チップ。
前記自動運転処理システムの前記自動運転処理モジュールから前記処理結果を受信し、前記処理結果を処理してアプリケーション処理情報を生成するように構成されたアプリケーション処理システムをさらに含む、
請求項９に記載のシステム・オン・チップ。
前記アプリケーション処理システムは、前記自動運転処理システムの前記自動運転処理モジュールから前記処理結果を受信し、前記処理結果が所定の基準を満たしていないと判定される場合、安全処理を実行するように構成された検査モジュールを含む、
請求項１０に記載のシステム・オン・チップ。
前記自動運転処理システムの前記故障検出モジュールから警報信号を受信し、前記警報信号に基づいて所定の処理を実行するように構成された安全システムをさらに含む、
請求項９に記載のシステム・オン・チップ。
前記安全システムは、前記自動運転処理システムの前記自動運転処理モジュールから前記処理結果を受信し、前記処理結果が所定の基準を満たしていないと判定される場合、安全処理を実行するように構成された検査モジュールをさらに含む、
請求項１２に記載のシステム・オン・チップ。
前記自動運転処理システムは、
前記自動運転データストリームを受信し、前記深層学習モデルに基づいて前記自動運転データストリームを処理して冗長処理結果を生成するように構成された冗長自動運転処理モジュールをさらに含む、
請求項９に記載のシステム・オン・チップ。
自動運転データストリームを受信し、前記深層学習モデルに基づいて前記自動運転データストリームを処理して冗長処理結果を生成するように構成された冗長自動運転処理システムをさらに含む、
請求項９に記載のシステム・オン・チップ。
制御信号に基づいて自動運転データストリームまたは故障検出励起用のデータストリームを入力データストリームとして前記自動運転処理モジュールに選択的に入力するステップであって、前記自動運転処理モジュールが深層学習モデルに基づいて前記入力データストリームを処理して処理結果を生成するように構成されているステップと、
前記自動運転処理モジュールから前記故障検出励起用のデータストリームの処理結果を受信するステップと、
前記故障検出励起用のデータストリームの処理結果を前記故障検出励起用のデータストリームに対応する所定の結果と比較し、前記比較結果に応じて前記自動運転処理モジュールに故障が発生したか否かを判定するステップと
を含む、自動運転処理モジュールの監視方法。
前記自動運転処理モジュールに故障が発生したか否かを判定するステップは、
前記故障検出励起用のデータストリームの処理結果と前記所定の結果との差が所定の範囲内にある場合、前記自動運転処理モジュールに故障が発生していないと判定するステップと、
前記差が前記所定の範囲を超える場合、前記自動運転処理モジュールに故障が発生したと判定するステップと
を含む、請求項１６に記載の方法。
通常のデータストリーム処理中に、前記制御信号は、前記自動運転データストリームが前記自動運転データストリームの処理結果を生成するために前記入力データストリームとして前記自動運転処理モジュールに入力されるように設定され、
故障検出処理中に、前記制御信号は、前記故障検出励起用のデータストリームが前記故障検出励起用のデータストリームの処理結果を生成するために前記入力データストリームとして前記自動運転処理モジュールに入力されるように設定される、
請求項１６に記載の方法。
前記故障検出励起用のデータストリームが前記故障検出励起用のデータストリームの処理結果を生成するために前記自動運転処理モジュールに入力されるように、前記制御信号を周期的に設定するステップをさらに含む、
請求項１６に記載の方法。
前記自動運転処理モジュールから前記自動運転データストリームの処理結果を受信するステップと、
前記自動運転データストリームの処理結果の変動が閾値を超えると判定される場合、前記故障検出励起用のデータストリームが前記故障検出励起用のデータストリームの処理結果を生成するために前記自動運転処理モジュールに入力されるように、前記制御信号を設定するステップと
をさらに含む、
請求項１６に記載の方法。