JP2022509292A - 通信方法および装置、電子機器並びに記憶媒体 - Google Patents

通信方法および装置、電子機器並びに記憶媒体 Download PDF

Info

Publication number
JP2022509292A
JP2022509292A JP2021531028A JP2021531028A JP2022509292A JP 2022509292 A JP2022509292 A JP 2022509292A JP 2021531028 A JP2021531028 A JP 2021531028A JP 2021531028 A JP2021531028 A JP 2021531028A JP 2022509292 A JP2022509292 A JP 2022509292A
Authority
JP
Japan
Prior art keywords
data packet
information
detection
detection result
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021531028A
Other languages
English (en)
Inventor
ジュンウェイ ジャン
チョン リー
Original Assignee
シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド filed Critical シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド
Publication of JP2022509292A publication Critical patent/JP2022509292A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/382Information transfer, e.g. on bus using universal interface adapter
    • G06F13/387Information transfer, e.g. on bus using universal interface adapter for adaptation of different data processing systems to different peripheral devices, e.g. protocol converters for incompatible systems, open system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1004Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/40Bus structure
    • G06F13/4004Coupling between buses
    • G06F13/4022Coupling between buses using switching circuits, e.g. switching matrix, connection or expansion network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/12Applying verification of the received information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08Protocols for interworking; Protocol conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22Parsing or analysis of headers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Abstract

Figure 2022509292000001
本発明は、通信方法および装置、電子機器並びに記憶媒体に関し、ここで、前記方法は、画像フレームに対してターゲット検出を実行して得られた検出結果を取得することと、前記検出結果および現在の動作モードに基づいて、プリセットのプロトコルフォーマットの第1データパケットを生成することと、下位コンピュータに、前記第1データパケットに従って現在のシナリオに対して画像収集を実行させるために、前記下位コンピュータに前記第1データパケットを送信することと、を含む。
【選択図】図1

Description

本発明は、2019年8月29日に中国特許局に提出された、出願番号が201910809368.5である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容は、全文を引用する方式で本発明に組み込まれる。
本発明は、通信技術分野に関し、特に、通信方法および装置、電子機器並びに記憶媒体に関する。
通信技術分野において、特に組み込み機器では、上位コンピュータおよび下位コンピュータの通信は重要な影響を与える。通常、上位コンピュータは、下位コンピュータに制御命令を送信し、下位コンピュータは、受信した制御命令に従って機器が動作するように制御する。通常、上位コンピュータと下位コンピュータとの通信は、異なる通信プロトコルを使用し得、完全な通信プロトコルは、情報が確実で効率的に伝送されることを保証し得る。
本発明の実施例は、通信方法および装置、電子機器並びに記憶媒体を提出する。
本発明は、通信方法を提供し、前記方法は、画像フレームに対してターゲット検出を実行して得られた検出結果を取得することと、前記検出結果および現在の動作モードに基づいて、プリセットのプロトコルフォーマットの第1データパケットを生成することと、下位コンピュータに、前記第1データパケットに従って、現在のシナリオに対して画像収集を実行させるために、前記下位コンピュータに前記第1データパケットを送信することと、を含む。このようにして、プリセットのプロトコルフォーマットの第1データパケットを介して、上位コンピュータと下位コンピュータとの間の通信を実現することができる。
1つの可能な実施形態において、前記画像フレームに対してターゲット検出を実行して得られた検出結果を取得することは、画像フレームに対してターゲット検出を実行して得られた検出結果を共有ストレージで取得することを含む。このようにして、上位コンピュータは、共有ストレージで直接に検出結果を複製することができ、検出結果を取得する效率を向上させる。
1つの可能な実施形態において、前記検出結果および現在の動作モードに基づいて、プリセットのプロトコルフォーマットの第1データパケットを生成することは、前記検出結果に従って検出情報を生成することと、前記現在の動作モードに従って制御情報を生成することと、前記検出情報を検出結果フィールドに追加し、前記制御情報を制御フィールドに追加して、プリセットのプロトコルフォーマットの前記第1データパケットを生成することと、を含む。このようにして、検出情報および制御情報は、第1データパケットの検出結果フィールドおよび制御フィールドに搬送されて、上位コンピュータと下位コンピュータとの情報通信を実現することができる。
1つの可能な実施形態において、前記検出結果に従って検出情報を生成することは、前記検出結果の先頭および末尾に第1検定情報を追加して、前記検出情報を生成すること、を含む。このようにして、検出結果の伝送の信頼性を保証し得る。
1つの可能な実施形態において、前記第1データパケットは検定フィールドを含み、前記方法は、第2検定情報を生成することと、前記第2検定情報を前記第1データパケットの検定フィールドに追加することと、をさらに含み、ここで、前記第2検定情報は、前記下位コンピュータが、前記第1データパケットの精度を検証するために使用される。検定フィールドで第2検定情報を搬送することを介して、検出情報または制御情報の精度を保証し、改ざんの可能性を回避することができる。
1つの可能な実施形態において、前記第2検定情報を生成することは、プリセットの生成多項式を取得することと、前記生成多項式に基づいて、バイナリシーケンスを生成することと、前記検出結果および前記バイナリシーケンスに基づいて、前記第2検定情報を生成することと、を含む。この方式を介して、検出結果を検定する第2検定情報を取得し得、検出結果の伝送の精度を向上させる。
1つの可能な実施形態において、前記第1データパケットはモードフラグフィールドを含み、前記方法は、前記画像フレームを収集するときの動作モードに従って、前記検出結果に対応する動作モードを決定することと、前記検出結果に対応する動作モードに基づいて、前記第1データパケットのモードフラグフィールドを生成することと、をさらに含む。このようにして、モードフラグフィールドを介して、検出結果に対応する動作モードを決定し得、それにより、下位コンピュータは、対応する動作をより良く実行することができる。
1つの可能な実施形態において、前記方法は、前記第1データパケットの送信時間が再送信閾値を超え、且つ、前記送信時間内に前記下位コンピュータによって返信された確認情報を受信していない場合、再び前記下位コンピュータに前記第1データパケットを送信することをさらに含む。このようにして、第1データパケットが下位コンピュータに正常に到達することを確保し、上位コンピュータと下位コンピュータとの間の通信を保証することができる。
1つの可能な実施形態において、前記方法は、下位コンピュータによって送信された第2データパケットを受信することと、前記第2データパケットの制御フィールドによって搬送された制御情報に従って、現在の動作モードを調整することと、をさらに含む。この方式を介して、上位コンピュータと下位コンピュータとの双方向通信を実現し得る。
1つの可能な実施形態において、前記動作モードは、ジェスチャ分類モード、顔検出モード、人体追跡モード、球体検出モードのうちの少なくとも1つを含む。このようにして、上位コンピュータは、複数の動作モードで下位コンピュータと通信することができる。
本発明の実施例は、通信方法を提供し、前記方法は、上位コンピュータによって送信されたプリセットのプロトコルフォーマットの第1データパケットを受信することと、前記第1データパケットに基づいて、画像フレームに対してターゲット検出を実行して得られた検出結果、および現在の動作モードを取得することと、前記検出結果および現在の動作モードに従って、現在のシナリオに対して画像収集を行う動作を実行することと、を含む。この方式を介して、上位コンピュータと下位コンピュータとの情報通信を実現し得る。
1つの可能な実施形態において、前記第1データパケットに基づいて、画像フレームに対してターゲット検出を実行して得られた検出結果、および現在の動作モードを取得することは、前記第1データパケットの検出結果フィールドで検出情報を取得することと、前記検出情報に従って、画像フレームに対してターゲット検出を実行して得られた検出結果を取得することと、前記第1データパケットの制御フィールドで制御情報を取得することと、前記制御情報に従って現在の動作モードを決定することと、を含む。このようにして、下位コンピュータは、第1データパケットで、ターゲット検出して得られた検出結果を取得すること、および現在の動作モードを決定することができる。
1つの可能な実施形態において、前記検出情報に従って、画像フレームに対してターゲット検出を実行して得られた検出結果を取得することは、前記検出情報の先頭および末尾で第1検定情報を取得することと、前記第1検定情報がプリセットの検定情報とマッチングする場合に、前記検出情報で前記検出結果を抽出することと、を含む。このようにして、検出結果の伝送の信頼性を保証し得る。
1つの可能な実施形態において、前記第1データパケットの検出結果フィールドで検出情報を取得することは、前記第1データパケットの検定フィールドで第2検定情報を取得することと、プリセットの生成多項式によって生成されたバイナリシーケンスを取得することと、前記バイナリシーケンスを使用して前記第2検定情報を検定して、検定結果を取得することと、前記検定結果が検定合格である場合に、前記第1データパケットで前記検出結果を取得することと、を含む。このようにして、下位コンピュータは、正確な検出結果を取得し得、検出結果が改ざんされることを回避する。
1つの可能な実施形態において、前記方法は、現在の動作モードを検出することと、前記動作モードが変更された場合に、現在の動作モードに基づいて前記第1データパケットの制御フィールドを修正して、第2データパケットを取得することと、上位コンピュータに前記第2データパケットを送信することと、をさらに含む。このようにして、下位コンピュータから上位コンピュータへの情報通信のプロセスを実現し得る。
1つの可能な実施形態において、前記動作モードは、ジェスチャ分類モード、顔検出モード、人体追跡モード、球体検出モードのうちの少なくとも1つを含む。このようにして、下位コンピュータは、複数の動作モードで上位コンピュータと通信することができる。
本発明の実施例は、通信装置を提供し、前記装置は、画像フレームに対してターゲット検出を実行して得られた検出結果を取得するように構成される、取得モジュールと、前記検出結果および現在の動作モードに基づいて、プリセットのプロトコルフォーマットの第1データパケットを生成するように構成される、生成モジュールと、下位コンピュータに、前記第1データパケットに従って現在のシナリオに対して画像収集を実行させるために、前記下位コンピュータに前記第1データパケットを送信するように構成される、送信モジュールと、を備える。
1つの可能な実施形態において、前記取得モジュールは、画像フレームに対してターゲット検出を実行して得られた検出結果を共有ストレージで取得するように構成される。
1つの可能な実施形態において、前記生成モジュールは、前記検出結果に従って検出情報を生成し、前記現在の動作モードに従って制御情報を生成し、前記検出情報を検出結果フィールドに追加し、前記制御情報を制御フィールドに追加して、プリセットのプロトコルフォーマットの前記第1データパケットを生成するように構成される。
1つの可能な実施形態において、前記生成モジュールは、前記検出結果の先頭および末尾に第1検定情報を追加して、前記検出情報を生成するように構成される。
1つの可能な実施形態において、前記第1データパケットは検定フィールドを含み、前記生成モジュールは、さらに、第2検定情報を生成し、前記第2検定情報を前記第1データパケットの検定フィールドに追加するように構成され、ここで、前記第2検定情報は、前記下位コンピュータが、前記第1データパケットの精度を検証するように構成される。
1つの可能な実施形態において、前記生成モジュールは、プリセットの生成多項式を取得し、前記生成多項式に基づいて、バイナリシーケンスを生成し、前記検出結果および前記バイナリシーケンスに基づいて、前記第2検定情報を生成するように構成される。
1つの可能な実施形態において、前記第1データパケットはモードフラグフィールドを含み、前記生成モジュールは、さらに、前記画像フレームを収集するときの動作モードに従って、前記検出結果に対応する動作モードを決定し、前記検出結果に対応する動作モードに基づいて、前記第1データパケットのモードフラグフィールドを生成するように構成される。
1つの可能な実施形態において、前記送信モジュールは、さらに、前記第1データパケットの送信時間が再送信閾値を超え、且つ、前記送信時間内に前記下位コンピュータによって返信された確認情報を受信していない場合、再び前記下位コンピュータに前記第1データパケットを送信するように構成される。
1つの可能な実施形態において、前記装置は、さらに、下位コンピュータによって送信された第2データパケットを受信し、前記第2データパケットの制御フィールドによって搬送された制御情報に従って、現在の動作モードを調整するように構成される、受信モジュールを備える。
1つの可能な実施形態において、前記動作モードは、ジェスチャ分類モード、顔検出モード、人体追跡モード、球体検出モードのうちの少なくとも1つを含む。
本発明の実施例は、通信装置を提供し、前記装置は、上位コンピュータによって送信されたプリセットのプロトコルフォーマットの第1データパケットを受信するように構成される、受信モジュールと、前記第1データパケットに基づいて、画像フレームに対してターゲット検出を実行して得られた検出結果、および現在の動作モードを取得するように構成される、決定モジュールと、前記検出結果および現在の動作モードに従って、現在のシナリオに対して画像収集を行う動作を実行するように構成される、制御モジュールと、を備える。
1つの可能な実施形態において、前記決定モジュールは、前記第1データパケットの検出結果フィールドで検出情報を取得し、前記検出情報に従って、画像フレームに対してターゲット検出を実行して得られた検出結果を取得し、前記第1データパケットの制御フィールドで制御情報を取得し、前記制御情報に従って現在の動作モードを決定するように構成される。
1つの可能な実施形態において、前記決定モジュールは、前記検出情報の先頭および末尾で第1検定情報を取得し、前記第1検定情報がプリセットの検定情報とマッチングする場合に、前記検出情報で前記検出結果を抽出するように構成される。
1つの可能な実施形態において、前記決定モジュールは、前記第1データパケットの検定フィールドで第2検定情報を取得し、プリセットの生成多項式によって生成されたバイナリシーケンスを取得し、前記バイナリシーケンスを使用して前記第2検定情報を検定して、検定結果を取得し、前記検定結果が検定合格である場合に、前記第1データパケットで前記検出結果を取得するように構成される。
1つの可能な実施形態において、前記装置は、さらに、現在の動作モードを検出し、前記動作モードが変更された場合に、現在の動作モードに基づいて前記第1データパケットの制御フィールドを修正して、第2データパケットを取得し、上位コンピュータに前記第2データパケットを送信するように構成される、修正モジュールを備える。
1つの可能な実施形態において、前記動作モードは、ジェスチャ分類モード、顔検出モード、人体追跡モード、球体検出モードのうちの少なくとも1つを含む。
本発明の実施例は、プロセッサと、プロセッサ実行可能命令を記憶するように構成されるメモリとを備える、電子機器を提供し、ここで、前記プロセッサは、上記の通信方法を実行するように構成される。
本発明の実施例は、コンピュータプログラム命令が記憶される、コンピュータ可読記憶媒体を提供し、前記コンピュータプログラム命令は、プロセッサによって実行されるとき、上記の通信方法を実現する。
本発明の実施例は、コンピュータ可読コードを含む、コンピュータプログラムを提供し、前記コンピュータ可読コードが電子機器で実行されるとき、前記電子機器内のプロセッサは、上記の1つまたは複数の実施例における通信方法を実現するために実行される。
本発明の実施例において、上位コンピュータは、画像フレームに対してターゲット検出を実行して得られた検出結果を取得し、その後、検出結果および現在の動作モードに基づいて、プリセットのプロトコルフォーマットの第1データパケット生成し、次に下位コンピュータに生成された第1データパケットを送信して、下位コンピュータに、前記第1データパケットに従って現在のシナリオに対して画像収集を実行させることができ、このようにして、プリセットのプロトコルフォーマットの第1データパケットを介して、上位コンピュータと下位コンピュータとの間の通信を実現することができる。
上記した一般的な説明および後述する詳細な説明は、単なる例示および説明に過ぎず、本発明を限定するものではないことを理解されたい。
以下、図面を参照した例示的な実施例に対する詳細な説明によれば、本発明の他の特徴および態様は明らかになる。
ここでの図面は、本明細書に組み込まれてその一部を構成し、これらの図面は、本発明と一致する実施例を示すものであり、明細書とともに本発明の実施例の技術的解決策を説明するために使用される。
本発明の実施例に係る通信方法のフローチャートを示す。 本発明の実施例に係る共有ストレージの情報記憶フォーマットのブロック図を示す。 本発明の実施例に係る検出結果の情報記憶フォーマットのブロック図を示す。 本発明の実施例に係る第1データパケットフォーマットのブロック図を示す。 本発明の実施例に係る1つの通信方法のフローチャートを示す。 本発明の実施例に係る通信装置の一例示的なブロック図を示す。 本発明の実施例に係る通信装置の一例示的なブロック図を示す。 本発明の実施例に係る電子機器の例示的なブロック図を示す。
以下、本発明の様々な例示的な実施例、特徴および態様を、図面を参照して詳細に説明する。図面における同じ参照番号は、同じまたは類似の機能の要素を表示する。実施例の様々な態様を図面に示したが、特に明記しない限り、縮尺通りに図面を描く必要はない。
ここで専用の用語「例示的」とは、「例、実施例または説明用として使用される」ことを意味する。ここで、「例示的」として使用されるいずれかの実施例は、他の実施例より優れるまたはより好ましいと解釈する必要はない。
本明細書における「および/または」という用語は、関連付けられた対象を説明する単なる関連付けであり、3種類の関係が存在し得ることを表示し、例えば、Aおよび/またはBは、Aが独立で存在する場合、AとBが同時に存在する場合、Bが独立で存在する場合などの3つの場合を表示する。さらに、本明細書における「少なくとも1つ」という用語は、複数のうちの1つまたは複数のうちの少なくとも2つの任意の組み合わせを表示し、例えば、A、B、Cのうちの少なくとも1つを含むことは、A、BおよびCで構成されるセットから選択される任意の1つまたは複数の要素を含むことを表示する。
さらに、本発明の実施例をよりよく説明するために、以下の実施形態において多くの詳細が与えられる。当業者は、いくつかの詳細なしに、本発明の実施例は、同様に実施されることができることを理解するはずである。いくつかの例において、当業者に周知の方法、手段、要素および回路は、本発明の実施例の要旨を強調するために、詳細に説明しない。以下、本発明の様々な例示的な実施例、特徴および態様を、図面を参照して詳細に説明する。図面における同じ参照番号は、同じまたは類似の機能の要素を表示する。実施例の様々な態様を図面に示したが、特に明記しない限り、縮尺通りに図面を描く必要はない。
本発明の実施例によって提供される情報通信技術案において、上位コンピュータは、画像フレームに対してターゲット検出を実行して得られた検出結果を取得し、その後、検出結果および現在の動作モードに基づいて、プリセットのプロトコルフォーマットの第1データパケットを生成し、次に下位コンピュータに前記第1データパケットを送信して、前記下位コンピュータに、前記第1データパケットに従って現在のシナリオに対して画像収集を実行させる。このようにして、上位コンピュータと下位コンピュータとの間の情報通信を実現する。例えば、ラズベリーパイ(上位コンピュータ)とスマートロボットの制御モジュール(下位コンピュータ)との間の情報通信を実現する。
図1は、本発明の実施例に係る通信方法のフローチャートを示す。当該通信方法は、端末機器、サーバまたは他のタイプの電子機器によって実行されることができ、ここで、端末機器は、ユーザ機器(UE:User Equipment)、モバイル機器、ユーザ端末、端末、携帯電話、コードレス電話、パーソナルデジタル処理(PDA:Personal Digital Assistant)、ハンドヘルド機器、コンピューティング機器、車載機器、ウェアラブル機器、スマートロボットなどであり得る。いくつかの可能な実施形態において、当該通信方法は、プロセッサがメモリに記憶されるコンピュータ可読命令を呼び出す方式を介して実現されることができる。以下、電子機器を実行主体とすることを例として本発明の実施例の通信方法を説明する。
ステップS11において、画像フレームに対してターゲット検出を実行して得られた検出結果を取得する。
本発明の実施例において、上位コンピュータは、ストレージに記憶される検出結果を取得し得る。検出結果は、下位コンピュータで収集される画像フレームにおけるターゲット対象に対してターゲット検出を実行して取得することであり得、例えば、画像フレームにおける球体に対してターゲット検出を実行して、球体に対するターゲット検出結果を取得する。ここで、検出結果は、画像フレームにおけるターゲット対象の画像座標であり得、または、三次元空間におけるターゲット対象の世界座標であり得る。例を挙げると、ラズベリーパイは、上位コンピュータとして使用され得、スマートロボットに適用され得る。スマートロボットは、リアルタイムで現在のシナリオの画像フレームを収集し、その後、ラズベリーパイ(上位コンピュータ)は、画像フレームに対するターゲット検出の検出結果を取得し得る。
1つの可能な実施形態において、画像フレームに対してターゲット検出を実行して得られた検出結果を共有ストレージで取得することができる。ここで、上位コンピュータは、共有ストレージを作成し、画像フレームの検出結果を共有ストレージにリアルタイムで記憶することができ、それにより、上位コンピュータは、共有ストレージで直接に検出結果を複製することができ、検出結果を取得する效率を向上させる。
一例において、共有ストレージでは、検出結果を記憶するだけでなく、画像フレームおよび検出結果に対応する動作モードをリアルタイムで記憶することもできる。検出結果に対応する動作モードは、画像フレームに対してターゲット検出を実行するときの、上位コンピュータおよび下位コンピュータの動作モードであり得、当該動作モードは、ジェスチャ分類モード、顔検出モード、人体追跡モード、球体検出モードのうちの1つまたは複数を含み得、対応的に、画像フレームに対してターゲット検出を実行することは、当該動作モードと対応し、即ち、動作モードに従って、画像フレームに対してターゲット検出を実行するターゲット対象を決定し得る。例えば、ジェスチャ分類モードでは、ターゲット対象は、画像フレームにおけるジェスチャ画像であり得、顔検出モードでは、ターゲット対象は、画像フレームにおける顔画像であり得る。
図2は、本発明の実施例に係る共有ストレージの情報記憶フォーマットのブロック図を示す。共有ストレージは、フラグ部、画像コンテンツ部および検出結果部を備えることができる。ここで、フラグ部は、現在の画像フレームを識別するターゲット検出状態および動作モードのフラグを記憶することができ、ターゲット検出状態は、現在の画像フレームがターゲット検出処理を通過するか非かであり得、例えば、フラグが1である場合、現在の画像フレームはジェスチャ検出を通過することを表示する。画像コンテンツ部は、現在の画像フレームを記憶することができ、例えば、スマートロボットが、1つの画像フレームを収集するたびに、ラズベリーパイは、当該画像フレームを共有ストレージの画像コンテンツ部に記憶することができる。検出結果部は、現在の画像フレームのターゲット検出の検出結果を記憶することができ、例えば、ターゲット検出が顔検出である場合、検出結果は、顔の画像座標または世界座標であり得る。ここで、共有ストレージに含まれる各部に対応する記憶スペースを割り当てることができ、例を挙げると、フラグに8バイトのサイズの記憶スペースを割り当て、画像コンテンツ部に50Kバイトのサイズの記憶スペースを割り当て、検出結果に72バイトのサイズの記憶スペースを割り当てることができる。ここで、継続的に共有ストレージにキャッシュされたコンテンツを更新することができ、即ち、1つの画像フレームを収集するたびに、共有ストレージのコンテンツを、現在の画像フレームに対応するフラグ、画像コンテンツおよび検出結果に更新することができる。
図3は、本発明の実施例に係る検出結果の情報記憶フォーマットのブロック図を示す。
一例において、共有コンテンツの検出結果部は、現在の画像フレームの少なくとも1つのターゲット対象の検出結果、即ち、ターゲット対象の画像座標または世界座標を記憶することができ、当該検出結果は、いくつかの点の画像座標または世界座標を使用して表示することができ、例えば、検出結果部は、N個のターゲット対象の検出結果を記憶することができ、Nは0より大きい正の整数であり、ここで、ターゲット対象1の輪郭の上、下、左、右の4つのエッジ点を選択して、この4つのエッジ点の画像座標または世界座標を、ターゲット対象1の検出結果として使用することができる。
ステップS12において、前記検出結果および現在の動作モードに基づいて、プリセットのプロトコルフォーマットの第1データパケットを生成する。
本発明の実施例において、上位コンピュータは、現在の動作モードを検出し、その後、現在の画像フレームの検出結果および現在の動作モードを、プリセットのプロトコルフォーマットの第1データパケットにパッケージすることができる。ここで、プリセットのプロトコルフォーマットは、伝送制御/インターネット(TCP/IP:Transmission Control Protocol/Internet Protocol)プロトコルフォーマットであり得る。ここで、現在の動作モードは、検出結果に対応する動作モードと同じまたは異なることができる。現在の動作モードは、ユーザによって設定され得る。
1つの可能な実施形態において、検出結果に従って検出情報を生成し、現在の動作モードに従って制御情報を生成し、その後、検出情報を検出結果フィールドに追加し、および、制御情報を制御フィールドに追加して、プリセットのプロトコルフォーマットの第1データパケットを生成することができる。当該実施形態において、第1データパケットは、検出結果フィールドおよび制御フィールドを含み得る。検出結果フィールドには、検出結果によって生成された検出情報を追加し得、制御フィールドには、現在の動作モードによって生成された制御情報を追加し得る。上位コンピュータは、検出結果を直接に検出情報として検出結果フィールドに追加することができ、または、検出結果に対して暗号化処理を実行し、暗号化後の検出結果を検出情報として検出結果フィールドに追加することができる。対応的に、上位コンピュータは、現在の動作モードを表示する識別情報を制御情報として直接に使用することができ、または、上位コンピュータは、現在の動作モードを表示する識別情報を暗号化して制御情報を取得することができる。このようにして、検出情報および制御情報は、第1データパケットの検出結果フィールドおよび制御フィールドに搬送されて、下位コンピュータとの情報通信を実現することができる。
当該実施形態の1例において、前記検出結果の先頭および末尾に第1検定情報を追加して、前記検出情報を生成する。当該例において、検出結果の伝送の信頼性を保証するために、検出結果の先頭および末尾に、第1検定情報をそれぞれ追加することができ、先頭に追加する第1検定情報と、末尾に追加する第1検定情報は、同じであり得異なることもあり得る。ここで、第1検定情報は、上位コンピュータおよび下位コンピュータによって事前に交渉されることであり得、例えば、先頭の第1検定情報を0X7eに設置し、末尾の第1検定情報を0Xacに設置することができる。このようにして、下位コンピュータは、第1データパケットを受信した後、上位コンピュータと事前に交渉した第1検定情報を使用して、第1データパケットの検出結果フィールドにおける検出情報を検証することができ、検出情報の先頭および末尾が両方とも第1検定情報とマッチングする場合に、当該検出情報に従って対応する命令を実行することができ、そうでない場合、受信した第1データパケットを処理せずに破棄することができる。このようにして、検出結果の伝送の信頼性を保証し得る。
ステップS13において、下位コンピュータに前記第1データパケットを送信して、前記下位コンピュータに、前記第1データパケットに従って現在のシナリオに対して画像収集を実行させる。
本発明の実施例において、上位コンピュータは、プリセットのプロトコルフォーマットの第1データパケットを生成した後、下位コンピュータに第1データパケットを送信することができる。ここで、上位コンピュータおよび下位コンピュータは、複数の方式を介して接続され得、例えば、シリアルインターフェースを介して接続されることができ、または、無線の方式を介して接続されることができる。例を挙げると、ラズベリーパイは、シリアルインターフェースおよびスマートロボットの制御モジュールを介して接続されることができ、ラズベリーパイは、シリアルインターフェースを介して第1データパケットをスマートロボット制御モジュールに送信することができる。
ここで、下位コンピュータは、第1データパケットを受信した後、第1データパケットを解析することを介して、第1データパケットの検出結果フィールドから検出情報を取得し、第1データパケットの制御フィールドから制御情報を取得し、制御情報が指示する動作モードおよび検出結果が指示するターゲット対象の位置に従って、ターゲット対象に対して追跡撮影を実行するなどの対応する操作を実行することができる。
図4は、本発明の実施例に係る第1データパケットフォーマットのブロック図を示す。1つの可能な実施形態において、第1データパケットは、さらに、検定フィールドを含み得る。上記の方法は、第2検定情報を生成することと、前記第2検定情報を前記第1データパケットの検定フィールドに追加することと、をさらに含み得、ここで、前記第2検定情報は、前記下位コンピュータが、前記第1データパケットの精度を検証するために使用される。
当該実施形態において、第1データパケットには検定フィールドを含み得、例えば、検定フィールドは16個のビットであり得る。上位コンピュータは第2検定情報を生成し得、例えば、ランダム番号を使用して第2検定情報を生成し、その後、第2検定情報を使用して検出情報または制御情報を暗号化し、第2検定情報を第1データパケットの検定フィールドに追加することができる。下位コンピュータは、第1データパケットを受信した後、検定フィールドにおける第2検定情報を使用して、検出情報または制御情報を復号化し、復号化に成功した場合、取得した検出結果および制御情報に従って対応する操作を実行することができ、そうでない場合、受信した第1データパケットを破棄することができる。検定フィールドで第2検定情報を搬送することを介して、検出情報または制御情報の精度を保証し、改ざんの可能性を回避することができる。
当該実施形態の一例において、プリセットの生成多項式を取得して、前記生成多項式に基づいて、バイナリシーケンスを生成し、前記検出結果および前記バイナリシーケンスに基づいて、前記第2検定情報を生成することができる。
当該例において、情報通信のプロセスにおける検出結果の精度を保証するために、検出結果に対して、検出結果を検定する第2検定情報を生成することができる。ここでの生成多項式は、下位コンピュータと事前に交渉することができ、生成多項式は、監督コードシーケンスであり得、生成多項式をバイナリシーケンスに変換でき、バイナリシーケンスのビット数は、8ビット、4ビットなどの正の整数であり得る。例えば、生成多項式G(x)=x3+x2+1の場合、バイナリシーケンスは1101であり得る。その後、検出結果D(x)および生成多項式G(x)を使用して、冗長コード長Rを決定し、その後D(x)のバイナリコードを左に向かってRビットだけ移動して、1つの第1バイナリコードを取得し、その後、当該第1バイナリコードをG(x)で除算して、残りrを取得することができる。その後、rの最後のRビットをモジュロ2演算して、第2バイナリコードを取得し、第2バイナリコードをrに再割り当てる。その後、D(x)のバイナリコードを左に向かってRビットたけ移動した後rと加算して、第2検定情報を取得し得る。この方式を介して、検出結果を検定する第2検定情報を取得し得、検出結果の伝送の精度を向上させる。
1つの可能な実施形態において、第1データパケットは、モードフラグフィールドを含み、上記の方法は、前記画像フレームを収集するときの動作モードに従って、前記検出結果に対応する動作モードを決定することと、前記検出結果に対応する動作モードに基づいて、前記第1データパケットのモードフラグフィールドを生成することと、をさらに含み得る。
当該実施形態において、第1データパケットにはモードフラグフィールドを含み得、当該モードフラグフィールドは、検出結果に対応する動作モードを指示することができる。例えば、当該モードフラグフィールドが1である場合、検出結果に対応する動作モードはジェスチャ分類モードであると表示することができる。上位コンピュータは、検出結果に対応する動作モードに従ってモードフラグフィールドに記憶された情報を生成して、その後、当該情報をモードフラグフィールドに記憶することができる。下位コンピュータは、第1データパケットを受信した後、第1データパケットにおけるモードフラグフィールドに従って、検出結果に対応する動作モードを決定することができ、例えば、現在の検出結果は顔検出モードにおける顔検出結果であると決定し、下位コンピュータは、当該顔検出結果を顔検出モードに対応する記憶スペースに保存することができる。このようにして、モードフラグフィールドを介して、検出結果に対応する動作モードを決定し得、それにより、下位コンピュータは、対応する動作をより良く実行することができる。
1つの可能な実施形態において、前記第1データパケットの送信時間が再送信閾値を超え、且つ、前記送信時間内に前記下位コンピュータによって返信された確認情報を受信していない場合、上位コンピュータは、再び前記下位コンピュータに前記第1データパケットを送信することができる。
当該実施形態において、上位コンピュータは、再送信閾値を第1データパケットの再送信閾値フィールドに格納することができ、再送信閾値は、実際の適用シナリオに従って設置することができる。上位コンピュータは、第1データパケットを送信した後、第1データパケットの送信時間を計算し得る。当該送信時間が再送信閾値を超える場合に、上位コンピュータが、下位コンピュータによって送信された第1データパケットに対する返信された確認情報を受信していないと、下位コンピュータが第1データパケットを受信してないまたは第1データパケットにエラーがあるなどの問題が存在すると見なし得、下位コンピュータに第1データパケットを再送信することができる。このようにして、第1データパケットが下位コンピュータに正常に到達することを確保し、上位コンピュータと下位コンピュータとの間の通信を保証することができる。
1つの可能な実施形態において、図4に示されるように、第1データパケットはオプションフィールドをさらに含み得、当該オプションフィールドは、実際の適用シナリオにおける第1データパケットの通信プロトコルフォーマットに従って設置することができ、それにより、第1データパケットを改善および最適化することができる。
1つの可能な実施形態において、上位コンピュータは、下位コンピュータによって送信された第2データパケットを受信し、前記第2データパケットの制御フィールドによって搬送された制御情報に従って、現在の動作モードを調整することができる。
当該実施形態において、下位コンピュータは、複数のセンサを接続して、少なくとも1つのセンサによって転送される電気信号を受信することができ、ユーザは、センサを介して現在の動作モードを設置することができる。下位コンピュータは、センサの電気信号を検出することを介して、ユーザが設置した動作モードを決定する。下位コンピュータは、直接に、現在の動作モードによって制御情報を生成し、当該制御情報を第2データパケットの制御フィールドに追加することができ、または、暗号化した後の制御情報を第2データパケットの制御フィールドに追加し、上位コンピュータに第2データパケットを送信することができる。上位コンピュータは、第2データパケットを受信した後、第2データパケットの制御フィールドで現在の動作モードを解析し、自体の動作モードを解析された動作モードに調整することができ、例えば、ラズベリーパイは、スマートロボットの制御モジュールによって伝送される第2データパケットに従って、動作モードを元の顔検出モードから球体検出モードに調整する。この方式を介して、上位コンピュータと下位コンピュータとの双方向通信を実現し得る。
上位コンピュータは、第2データパケットで下位コンピュータによって送信された他のいくつかの情報を取得することもでき、例えば、第2データパケットでスマートロボットの回転速度、速度などのいくつかの情報を取得することができ、それにより、上位コンピュータは、下位コンピュータとの双方向通信を介して、スマートロボットの現在の運動状態をよりよく了解することができることに留意されたい。
図5は、本発明の実施例に係る1つの通信方法のフローチャートを示す。当該通信方法は、下位コンピュータに適用され得、当該方法は、以下のステップを含み得る。
ステップS21において、上位コンピュータによって送信されたプリセットのプロトコルフォーマットの第1データパケットを受信する。
本発明の実施例において、下位コンピュータは、上位コンピュータによって送信されたプリセットのプロトコルフォーマットの第1データパケットを受信し得、ここで、プリセットのプロトコルフォーマットは、TCP/IPプロトコルフォーマットであり得る。例を挙げると、スマートロボットの制御モジュール(下位コンピュータ)は、シリアルインターフェースを介してラズベリーパイ(上位コンピュータ)によって送信された第1データパケットを受信することができる。
ステップS22において、前記第1データパケットに基づいて、画像フレームに対してターゲット検出を実行して得られた検出結果、および現在の動作モードを取得する。
ここで、下位コンピュータは、第1データパケットの検出結果フィールドで画像フレームに対してターゲット検出を実行して得られた検出結果を取得し、第1データパケットの制御フィールドで現在の動作モードを取得することができる。ここでの動作モードは、ジェスチャ分類モード、顔検出モード、人体追跡モード、球体検出モードのうちの1つまたは複数を含む。
ステップS23において、前記検出結果および現在の動作モードに従って、現在のシナリオに対して画像収集を行う動作を実行する。
ここで、下位コンピュータは、検出結果に従ってターゲット対象の位置を決定することができ、当該位置は、ターゲット対象の世界座標または画像座標であり得る。その後、現在の動作モードおよび検出結果によって指示されるターゲット対象の位置に従って、ターゲット対象に対して追跡撮影を実行するなどの、対応する画像収集を実行する動作を実行する。この方式を介して、上位コンピュータと下位コンピュータとの情報通信を実現し得る。
1つの可能な実施形態において、下位コンピュータは、前記第1データパケットの検出結果フィールドで検出情報を取得し、前記検出情報に従って画像フレームに対してターゲット検出を実行して得られた検出結果を取得することができる。対応的に、下位コンピュータは、前記第1データパケットの制御フィールドで制御情報を取得し、前記制御情報に従って現在の動作モードを決定することができる。当該実施形態において、下位コンピュータは、直接に、検出結果フィールドの検出情報からターゲット対象の検出結果を取得し得、または、事前に上位コンピュータと交渉する方式を使用して、検出結果フィールドの検出情報を復号化して、ターゲット対象の検出結果を取得することができる。対応的に、下位コンピュータは、直接に、制御フィールドの制御情報から現在の動作モードを取得し得、または、事前に上位コンピュータと交渉する方式を使用して制御フィールドの制御情報を復号化して、現在の動作モードを取得することができる。このようにして、第1データパケットのコンテンツの精度を保証し得る。
1つの可能な実施形態において、下位コンピュータは、前記検出情報の先頭および末尾で第1検定情報を取得し、前記第1検定情報がプリセットの検定情報とマッチングする場合に、前記検出情報で前記検出結果を抽出する。当該実施形態において、第1検定情報は、上位コンピュータおよび下位コンピュータによって事前に交渉されることであり得、検定情報の先頭および末尾の第1検定情報は同じであり得、異なることもあり得る。例えば、先頭の第1検定情報を0X7eに設置し、末尾の第1検定情報を0Xacに設置することができる。下位コンピュータは、第1データパケットを受信した後、上位コンピュータと事前に交渉された第1検定情報を使用して、第1データパケットの検出結果フィールドにおける検出情報を検証することができ、検出情報の先頭および末尾が両方とも第1検定情報とマッチングする場合に、当該検出情報によって現在の動作モードを決定することができる。そうでない場合、受信した第1データパケットを処理せずに破棄することができる。このようにして、検出結果の伝送の信頼性を保証し得る。
当該実施形態の1例において、上位コンピュータは、前記第1データパケットの検定フィールドで第2検定情報を取得し、プリセットの生成多項式によって生成されたバイナリシーケンスを取得することができる。その後、前記バイナリシーケンスを使用して前記第2検定情報を検定して、検定結果を取得し、前記検定結果が検定合格である場合に、前記第1データパケットで前記検出結果を取得する。
当該例において、情報通信プロセスにおける検出結果の精度を保証するために、当該検出結果に第2検定情報を設置することができる。第2検定情報は、第1データパケットの検定フィールドで搬送され得る。下位コンピュータは、事前に記憶された生成多項式、当該生成多項式によって生成されたバイナリシーケンスを取得するか、または、記憶されたバイナリシーケンスを直接に取得することができる。その後、第2検定情報をバイナリシーケンスで除算して、残りを取得し、残りが0である場合に、検定結果は検定合格であると見なすことができる。そうでない場合、検定結果は検定失敗であると見なすことができる。検定合格である場合には、検出結果フィールドから検出結果を取得することができ、検定失敗である場合には、第1データパケットを破棄し得る。このようにして、下位コンピュータは、正確な検出結果を取得し得、検出結果が改ざんされることを回避する。
1つの可能な実施形態において、前記方法は、現在の動作モードを検出することと、前記動作モードが変更された場合に、現在の動作モードに基づいて前記第1データパケットの制御フィールドを修正して、第2データパケットを取得することと、上位コンピュータに前記第2データパケットを送信することと、をさらに含む。
当該実施形態において、下位コンピュータは、タッチセンサ、光センサ、赤外線センサなどの、複数のセンサを接続して、少なくとも1つのセンサによって転送された電気信号を受信することができ、ユーザは、センサを介して現在の動作モードを設置することができる。下位コンピュータは、センサの電気信号を検出することを介して、ユーザが設置した動作モードを決定する。下位コンピュータは、直接に、現在の動作モードによって制御情報を生成し、当該制御情報を第2データパケットの制御フィールドに追加することができ、または、暗号化した後の制御情報を第2データパケットの制御フィールドに追加し、上位コンピュータに第2データパケットを送信することができる。それにより、上位コンピュータは、第2データパケットの制御フィールドに従って、現在の動作モードを調整することができる。このようにして、下位コンピュータから上位コンピュータへの情報通信のプロセスを実現し得る。
下位コンピュータは、現在の動作モードを第2データパケットの制御フィールドを介して上位コンピュータに送信した後、アクティブに上位コンピュータに他のいくつかの情報を送信することもでき、例えば、スマートロボットの回転速度、速度などのいくつかの情報を第2データパケットで搬送して、上位コンピュータに送信することに留意されたい。
本発明の実施例によって提供される情報通信技術案を介して、上位コンピュータと下位コンピュータとの間の情報通信を実現する。例えば、ラズベリーパイ(上位コンピュータ)とスマートロボットの制御モジュール(下位コンピュータ)との間の情報通信を実現する。
レゴおよびラズベリーパイを組み合わせて構築した教育ロボットmindstorms-EV3は、現在のプログラミング教育と人工知能が普及する新たな教材であり、ここで、レゴとラズベリーパイとの間の双方向通信は最も基本的な問題である。関連技術における上下位コンピュータの通信方式は、状態レジスタ、タスクユニットシーケンスなどの方式を含む。
上下位コンピュータ通信技術は、多くの分野、特に組み込み機器で重要な影響を与え、完全な通信プロトコルは、データが確実で効率的に伝送されることを保証し得る。しかし、完全で統一されたプロトコルを設計および実現することは難しい。まず、プロトコルの仕様は、関連するハードウェアインターフェースに依存し、上下位コンピュータ機器および接続方式も様々であり、統一な標準を設定できない。加えて、データ伝送の信頼性を保証するために、検定メカニズムおよび再送信メカニズムが必要であるが、再送信および検定は、データ伝送のリアルタイム性をある程度減らすため、異なる要求シナリオに従ってプロトコルを修正する必要がある。最後に、プロトコルの設計は、上下位コンピュータの双方向対話を実現する必要もある。
本発明の実施例は、ラズベリーパイおよびEV3の通信プロトコルを設計することを通じ、このプロトコルは、ラズベリーパイとEV3との通信問題を解決し、主に以下のステップS31ないしステップS36を含む。
ステップS31において、フラグ、写真および写真検出結果などの情報を記憶するために、ラズベリーパイで共有ストレージを作成する。
ここで、本発明の実施例の主な適用分野は、教育背景におけるスマートロボットであり、スマートロボットは、ジェスチャ分類、顔検出および人体追跡などの機能を実現でき、本発明の実施例は、ラズベリーパイとレゴEV3との双方向通信プロトコルを提供する。ラズベリーパイで写真の収集および異なる機能の写真検出タスクを完成する。写真の記憶、検出結果の記憶および異なる機能の切り替えを実現するために、ラズベリーパイで共有ストレージを作成し、共有ストレージの主な情報フォーマットは図2に示されるようである。
図2において共有ストレージ情報フォーマットは、主に、フラグ、写真コンテンツおよび検出結果の3つの部分のコンテンツを含む。ここで、フラグ機能は次のようである。現在の収集された写真が検出処理されたか非かを識別し、異なる検出機能モードを識別し、写真コンテンツ部は写真記憶領域であり、収集したビデオデータをフレーミングした後当該写真コンテンツ部に記憶し、検出結果部は、写真検出情報を記憶し、主にマルチターゲット検出結果情報を格納するために、当該検出結果部の内容のサイズは72Bytesであり、情報は図3に示されている。ここで、フラグおよび写真コンテンツの各フレームは継続的に更新されるが、データとして内容を伝送せず、各フレームの検出結果情報は、データパケットにパッケージされる。
ステップS32において、共有ストレージフラグを変更して、次のフレームの写真を検出し、検出結果情報をデータフィールドにパッケージする。
ここで、共有ストレージにおける検出結果部を入力し、パッケージ検出結果のデータパケットを出力し、ラズベリーパイの共有ストレージの検出結果に基づいて、対応するフィールドを指定された部分に書き込んでデータパッケージを完成することができ、データパケットフォーマットは図4に示されるようである。
共有ストレージには機能モードフィールドおよび検出結果情報フィールドが同時に保留され、検出結果情報を対応する検出情報部に直接にパッケージし、検出データの伝送の信頼性を保証するために、検出結果の先頭および末尾の各バイトにすべて検定バイトを追加する。ここで先頭検定バイトは0X7eであり得、末尾バイトは0Xacであり得る。
EV3は、データパケットを受信した後、まず検出結果フィールドを解析し、その後、先頭および末尾バイト情報を検定する。検定合格である場合、検出結果に従って対応する命令を実行し、検定失敗である場合、データパケットを処理せずに破棄する。
ステップS33において、データフィールドに従ってCRC検定フィールドを計算する。
ここで、伝送結果の精度を保証するために、データパケットで巡回冗長検定(CRC:Cyclic Redundancy Check)の検定フィールドを増加し、当該フィールドは、検出結果のみを検定し、検定ビットは合計16個のビット情報である。EV3側でデータパケットを解析するとき、同時にCRC検定を実行して、検出結果シーケンスを取得し、検定失敗である場合にデータパケットを破棄する。
Figure 2022509292000002
ここで、教育ロボットは異なる動作モードがあり、異なる動作モードでは、EV3とラズベリーパイが同時に対応するサービスを開始する必要があり、サービスの開始および切り替えは制御フィールドの設定を介する必要があり、サービスおよび対応する制御タイプは上記の表1のようである。ラズベリーパイ側では、まず自体のサービスタイプを検出し、サービスタイプに従って制御フィールド内容を補足する。
加えて、データパケットフォーマットで再送信閾値フィールドを予約し、当該時間閾値を設定した後、データパケットの送信時間が当該閾値を超えても対応する確認文字(ACK:Acknowledge character)の返信メッセージを受信していないと、前記データパケットを再送信する。本教育ロボットは、有線シリアルポートの方式を使用して接続されたため、パケット損失率が非常に低く、そのため、当該フィールドはフィールドを保留するために、無線シナリオ要求を滞在する。
上記のデータパケットのデータ情報パッケージを完成した後、ラズベリーパイは、当該データパケットをシリアルポートを介して送信し、当該送信は、操作システムの最下層命令を介してデータパケットの送信を完成する。
ステップS35において、EV3はデータパケットを受信し、対応する命令を実行して検定を完成し、タッチスライドセンサを介して制御フィールドを修正する。
ここで、EV3は、ラズベリーパイによって送信されたデータパケットを受信および解析し、データパケット制御フィールドを修正し、データパケットをラズベリーパイに送信する、2つの部分の機能を完成し得る。
まず、EV3側でデータパケットを受信した後、まずCRC検定を実行し、検定合格である場合に検出結果を解析し、検出結果に従って対応する命令を実行する。CRC検定プロセスは、以下のステップS351ないしステップS354を含む。
ステップS351において、データパケットを解析して検出結果シーケンスを取得し、
ステップS352において、検出結果シーケンスをプリセットの生成多項式で除算して、残りを取得し、
ステップS353において、残りが0である場合、検定合格となり、検出結果は正確であり、
ステップS354において、残りが0でない場合、検定失敗となり、検出結果は不正確である。
次に、EV3側で、関連するセンサ、例えばタッチスライドセンサまたは赤外線ビーコンなどの方式を介して機能モードを修正するとき、データパケットにおける制御フィールドを修正し、当該情報をラズベリーパイ側に送信し、ラズベリーパイ側によって開始されたサービスを調整して、上下位コンピュータサービスの一貫性を保証する。
ステップS36において、ラズベリーパイがEV3制御フィールド情報を受信して、動作モードを調整する。
ここで、ラズベリーパイ側がデータパケットを受信した後、まずCRC検定を完成し、検定合格の後、制御フィールドを解析し、制御フィールドを介して自体の動作モードを調整する。この場合ラズベリーパイの共有ストレージフォーマットは不変を維持し、フラグ、写真コンテンツおよび検出結果の3つの部分を含むが、検出結果は異なる機能における検出情報に対応する。
本発明の実施例は、ラズベリーパイおよびEV3の通信プロトコルにおけるデータフィールドおよび制御フィールドを設計することを介して、データ情報と制御情報の伝送を完成し得、また再送信メカニズムおよびCRC検定方法を改善することを介して、データの確実で効率的な伝送を保証し、EV3のタッチスライドセンサ(タッチセンサ)により、上下位コンピュータ(例えばラズベリーパイおよびEV3)の異なる機能モードの切り替えを実現して、教育ロボットの異なる動作モードを完成し、データ情報の一貫性を保証し得、ラズベリーパイおよびEV3の通信プロトコルは、他の例示的な通信プロトコルフィールドを予約し、他の類似する機器に適用され得、改善および最適化を容易にすることができる。
本発明の実施例は、TCP/IPプロトコルに基づいて、シリアルポート通信モードにおける異なる上下位コンピュータ機器と互換性があり、ハードウェア機器に弱く依存し、先行技術は、常に組み込み機器のタイプに依存する。
本発明の実施例は、より柔軟な上下位コンピュータの双方向情報の対話メカニズムを同時に実現し得、下位コンピュータが上位コンピュータに対する弱い制御を容易に実現することができ、関連技術は、ほとんど下位コンピュータに対する上位コンピュータの制御のみを対する。
本発明の実施例は、ラズベリーパイおよびEV3の通信プロトコルでデータタイプを分割し、データフィールドと制御フィールドとの2つの部分に分け、データの伝送の信頼性を向上させる。制御フィールドを介して教育ロボットの異なるモードの切り替えを実現し得、既存のプロトコルは、データタイプを分類しなく、より固化である。
本発明の実施例は、CRC検定方法を改善し、循環コードの長さをカスタマイズすることを介して自由に調整し、信頼性と高效性の妥協を実現することができ、従来のCRC方式は、通常、循環コードの長さを固定する。
本発明の実施例は、教育ロボット、半導体分野または組み込み機器に適用され得、教育ロボットの適用シナリオでは、ラズベリーパイおよびEV3の通信プロトコルは、制御機器と実行機器との間の双方向の確実な通信を保証し得、半導体分野または組み込み機器において、当該アルゴリズムは、柔軟な双方向対話メカニズムを提供し得、本発明の実施例におけるCRC検定を改善する技術案を使用して、通信効率を改善することができる。本発明の実施例で言及された共有ストレージ方式を使用して、上位コンピュータの異なる機能モードの切り替えの実現を容易にすることができる。
本発明で述べた上述の各方法の実施例は、原理および論理に違反することなく、互いに組み合わせて、組み合わせされた実施例を生成することができ、スペースの制限により、本発明には繰り返さないことを理解されたい。
加えて、本発明は、さらに、装置、電子機器、コンピュータ可読記憶媒体、プログラムを提供し、上記は、すべて本発明で提供された任意の通信方法を実現することができ、対応する技術的解決策と説明および方法部分を参照した対応する記載は、繰り返しない。
当業者は、実施形態の上記の方法において、ステップの書き込み順序は、厳密な実行順序で、実装プロセスの制限となることではなく、各ステップの実行順序は、その機能と可能性に基づくべきであることを理解することができる。
図6は、本発明の実施例に係る通信装置の一例示的なブロック図を示し、図6に示されるように、前記装置は、
画像フレームに対してターゲット検出を実行して得られた検出結果を取得するように構成される、取得モジュール31と、
前記検出結果および現在の動作モードに基づいて、プリセットのプロトコルフォーマットの第1データパケットを生成するように構成される、生成モジュール32と、
下位コンピュータに前記第1データパケットを送信して、前記下位コンピュータに、前記第1データパケットに従って現在のシナリオに対して画像収集を実行させるように構成される、送信モジュール33と、を備える。
1つの可能な実施形態において、前記取得モジュール31は、画像フレームに対してターゲット検出を実行して得られた検出結果を共有ストレージで取得するように構成される。
1つの可能な実施形態において、前記生成モジュール32は、前記検出結果に従って検出情報を生成し、前記現在の動作モードに従って制御情報を生成し、前記検出情報を検出結果フィールドに追加し、前記制御情報を制御フィールドに追加して、プリセットのプロトコルフォーマットの前記第1データパケットを生成するように構成される。
1つの可能な実施形態において、前記生成モジュール32は、前記検出結果の先頭および末尾に第1検定情報を追加して、前記検出情報を生成するように構成される。
1つの可能な実施形態において、前記第1データパケットは検定フィールドを含み、前記生成モジュール32は、さらに、第2検定情報を生成し、前記第2検定情報を前記第1データパケットの検定フィールドに追加するように構成され、ここで、前記第2検定情報は、前記下位コンピュータが、前記第1データパケットの精度を検証するように構成される。
1つの可能な実施形態において、前記生成モジュール32は、プリセットの生成多項式を取得し、前記生成多項式に基づいて、バイナリシーケンスを生成し、前記検出結果および前記バイナリシーケンスに基づいて、前記第2検定情報を生成するように構成される。
1つの可能な実施形態において、前記第1データパケットはモードフラグフィールドを含み、前記生成モジュール32は、さらに、前記画像フレームを収集するときの動作モードに従って、前記検出結果に対応する動作モードを決定し、前記検出結果に対応する動作モードに基づいて、前記第1データパケットのモードフラグフィールドを生成するように構成される。
1つの可能な実施形態において、前記送信モジュール33は、さらに、前記第1データパケットの送信時間が再送信閾値を超え、且つ、前記送信時間内に前記下位コンピュータによって返信された確認情報を受信していない場合、再び前記下位コンピュータに前記第1データパケットを送信するように構成される。
1つの可能な実施形態において、前記装置は、さらに、下位コンピュータによって送信された第2データパケットを受信し、前記第2データパケットの制御フィールドによって搬送された制御情報に従って、現在の動作モードを調整するように構成される、受信モジュールを備える。
1つの可能な実施形態において、前記動作モードは、ジェスチャ分類モード、顔検出モード、人体追跡モード、球体検出モードのうちの少なくとも1つを含む。
図7は、本発明の実施例に係る通信装置の一例示的なブロック図を示し、図7に示されるように、前記装置は、
上位コンピュータによって送信されたプリセットのプロトコルフォーマットの第1データパケットを受信するように構成される、受信モジュール41と、
前記第1データパケットに基づいて、画像フレームに対してターゲット検出を実行して得られた検出結果、および現在の動作モードを取得するように構成される、決定モジュール42と、
前記検出結果および現在の動作モードに従って、現在のシナリオに対して画像収集を行う動作を実行するように構成される、制御モジュール43と、を備える。
1つの可能な実施形態において、前記決定モジュール42は、前記第1データパケットの検出結果フィールドで検出情報を取得し、前記検出情報に従って、画像フレームに対してターゲット検出を実行して得られた検出結果を取得し、前記第1データパケットの制御フィールドで制御情報を取得し、前記制御情報に従って現在の動作モードを決定するように構成される。
1つの可能な実施形態において、前記決定モジュール42は、前記検出情報の先頭および末尾で第1検定情報を取得し、前記第1検定情報がプリセットの検定情報とマッチングする場合に、前記検出情報で前記検出結果を抽出するように構成される。
1つの可能な実施形態において、前記決定モジュール42は、前記第1データパケットの検定フィールドで第2検定情報を取得し、プリセットの生成多項式によって生成されたバイナリシーケンスを取得し、前記バイナリシーケンスを使用して前記第2検定情報を検定して、検定結果を取得し、前記検定結果が検定合格である場合に、前記第1データパケットで前記検出結果を取得するように構成される。
1つの可能な実施形態において、前記装置は、さらに、現在の動作モードを検出し、前記動作モードが変更された場合に、現在の動作モードに基づいて前記第1データパケットの制御フィールドを修正して、第2データパケットを取得し、上位コンピュータに前記第2データパケットを送信するように構成される、修正モジュールを備える。
1つの可能な実施形態において、前記動作モードは、ジェスチャ分類モード、顔検出モード、人体追跡モード、球体検出モードのうちの少なくとも1つを含む。
いくつかの実施例において、本発明の実施例によって提供される装置が有する機能または備えるモジュールは、上記の方法の実施例で説明される方法を実行するように構成され得、この実現は、上記の方法の実施例における説明を参照することができ、簡潔にするために、繰り返さない。
本発明の実施例は、さらに、電子機器を提出し、プロセッサと、プロセッサ実行可能命令を記憶するように構成されるメモリとを備え、ここで、前記プロセッサは上記の方法で構成される。
電子機器は、端末、サーバまたはその他の形態の機器として提供され得る。
図8は、一例示的な実施例によって示された電子機器1900のブロック図である。例えば、電子機器1900は、サーバとして提供されることができる。図8を参照すると、電子機器1900は、処理コンポーネント1922を備え、さらに、1つまたは複数のプロセッサ、および、アプリケーションプログラムなどの、処理コンポーネント1922によって実行される命令を記憶するように構成される、メモリ1932で表すメモリリソースを備える。メモリ1932に記憶されるアプリケーションプログラムは、1つまたは1つ以上の1セットの命令に対応する各モジュールを備えることができる。加えて、処理コンポーネント1922は、命令を実行するように構成されて、上記の方法を実行する。
電子機器1900は、さらに、電子機器1900の電源管理を実行するように構成される1つの電力コンポーネント1926と、電子機器1900をネットワークに接続するように構成される1つの有線または無線ネットワークインターフェース1950、および1つの入力/出力(I/O:Input/Output)インターフェース1958を備えることができる。電子機器1900は、メモリ1932に記憶されたWindows ServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTMまたは類似したものなどの操作システムに基づいて操作されることができる。
例示的な実施例において、さらに、コンピュータプログラム命令を含むメモリ1932などの、揮発性コンピュータ可読記憶媒体を提供し、前記コンピュータプログラム命令は、電子機器1900の処理コンポーネント1922によって実行されて上記の方法を完成することができる。
本発明は、システム、方法および/またはコンピュータプログラム製品であり得る。コンピュータプログラム製品は、プロセッサに本発明の様々な態様を実現させるために使用される、コンピュータ可読プログラム命令がロードされる、コンピュータ可読記憶媒体を含み得る。
コンピュータ可読記憶媒体は、命令実行機器によって使用される命令を保持および記憶することができる有形の機器であり得る。コンピュータ可読記憶媒体は、例えば、電気記憶機器、磁気記憶機器、光学記憶機器、電磁記憶機器、半導体貯蔵機器、または上記の任意の適切な組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体の例(非網羅的リスト)には、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM:Random Access Memory)、読み取り専用メモリ(ROM:Read-Only Memory)、消去可能プログラマブル読み取り専用メモリ(EPROMまたはフラッシュメモリ:Erasable Programmable Read-Only Memory)、スタティックランダムアクセスメモリ(SRAM:Static Random-Access Memory)、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM:Compact Disc Read-Only Memory)、デジタル多用途ディスク(DVD:Digital Video Disc)、メモリスティック、フロッピーディスク、機械的エンコーディング機器、例えば命令が記憶されるパンチカードまたは溝の突出構造、および、前記の任意の適切な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は、無線電波または他の自由に伝播される電磁波、導波管または他の伝送媒体を介して伝播される電磁波(例えば、光ファイバケーブルを介した光パルス)、またはワイヤーを介して伝送される電気信号などの過渡信号自体として解釈されない。
本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から様々なコンピューティング/処理機器にダウンロードするか、またはインターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、および/またはワイヤレスネットワークなどのネットワークを介して、外部コンピュータまたは外部記憶機器にダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光ファイバ伝送、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、および/またはエッジサーバを含み得る。各コンピューティング/処理機器内のネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、前記コンピュータ可読プログラム命令を転送して、各コンピューティング/処理機器内のコンピュータ可読記憶媒体に記憶される。
本発明の操作を実行するために使用されるコンピュータプログラム命令は、アセンブリ命令、命令セットアーキテクチャ(ISA:Industry Standard Architecture)命令、機械命令、機械関連命令、マイクロコード、ファームウェア命令、ステータス設定データ、または1つまたは複数のプログラミング言語の任意の組み合わせで記述される、ソースコードまたはオブジェクトコードであり得、前記プログラミング言語は、Smalltalk、C++など、対象指向のプログラミング言語、および「C」言語または同様のプログラミング言語など、従来の手続き型プログラミング言語とを含む。コンピュータ可読プログラム命令は、完全にユーザのコンピュータで実行でき、部分的にユーザのコンピュータで実行でき、スタンドアロンパッケージとして実行でき、ユーザのコンピュータで一部、リモートコンピュータで一部実行でき、または、完全にリモートコンピュータまたはサーバで実行できる。リモートコンピュータに関するシナリオにおいて、リモートコンピュータは、ローカルエリアネットワーク(LAN:local area network)またはワイドエリアネットワーク(WAN:Wide Area Network)を含む、任意の種類のネットワークを介してユーザのコンピュータにアクセスでき、または、リモートコンピュータにアクセスできる(例えば、インターネットサービスプロバイダーを使用してインターネットを介してアクセスする)。いくつかの実施例において、コンピュータ可読プログラム命令のステータス情報を使用することを介して、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ(FPGA:Field Programmable Gate Array)、またはプログラマブルロジックアレイ(PLA:programmable logic array)などの電子回路をパーソナライズにカスタマイズし、前記電子回路は、コンピュータ可読プログラム命令を実行して、本発明の様々な態様を実現することができる。
本明細書では、本発明の実施例による方法、装置(システム)、およびコンピュータプログラム製品のフローチャートおよび/またはブロック図を参照して本発明の様々な態様を説明する。フローチャートおよび/またはブロック図の各ブロック、およびフローチャートおよび/またはブロック図内の各ブロックの組み合わせは、コンピュータ可読プログラム命令によって実現されることができることを理解されたい。
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、固有コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供することができ、それにより、デバイスが作成され、これらの命令が、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されるとき、フローチャートおよび/またはブロック図内の1つまたは複数のブロックの指定される機能/アクションを実現させる。これらのコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体に記憶することもでき、これらの命令は、コンピュータ、プログラマブルデータ処理装置および/または他の機器を特定の方式で動作するようにし、従って、命令が記憶されたコンピュータ可読媒体は、フローチャートおよび/またはブロック図内の1つまたは複数のブロックの指定される機能/アクションを実現する、様々な態様の命令を含む製造品を含む。
コンピュータ可読プログラム命令を、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードすることもでき、コンピュータ、他のプログラマブルデータ処理装置、または他の機器で一連の操作ステップを実行して、コンピュータが実現するプロセスを生成させ、それにより、コンピュータ、他のプログラマブルデータ処理装置、または他の機器で実行する命令をフローチャートおよび/またはブロック図内の1つまたは複数のブロックの指定される機能/アクションを実現させる。
対応的に、本発明の実施例は、さらに、コンピュータ可読コードを含む、コンピュータプログラムを提供し、前記コンピュータ可読コードが電子機器で実行されるとき、前記電子機器内のプロセッサは、本発明の実施例によって提供される任意の通信方法を実現するために実行される。
図面におけるプロセス図およびブロック図は、本発明の複数の実施例によるシステム、方法およびコンピュータプログラム製品の実現可能なアーキテクチャ、機能、および操作を示す。この点について、プロセス図またはブロック図内の各ブロックは、1つのモジュール、プログラムセグメント、または命令の一部を表すことができ、前記モジュール、プログラムセグメント、または命令の一部は、1つまたは複数の、指定される論理機能を実現するために使用される、実行可能な命令を含む。いくつかの代替実現において、ブロックのマークされる機能は、図面でマークされる順序とは異なる順序で発生することもできる。例えば、関する機能によって、2つの連続するブロックは、実際に基本的に並行して実行でき、時には逆の順序で実行できる。ブロック図および/またはプロセス図中の各ブロック、およびブロック図および/またはプロセス図のブロックの組み合わせは、指定される機能またはアクションを実行する、専用のハードウェアベースのシステムによって実現されるか、または、ハードウェアとコンピュータ命令の組み合わせを使用して、実現されることもできることを留意する必要がある。
以上、本発明の各実施例を説明したが、以上の説明は、例示的なものに過ぎず、網羅的ではなく、開示される各実施例に限定されない。説明される各実施例の範囲および思想から逸脱してない場合は、当業者にとって、多くの修正および変更は明らかである。本明細書で使用される用語の選択は、各実施例の原理、実際の応用、または市場における技術の改善を最もよく説明するか、または、当業者が、本明細書で開示される各実施例を理解することができるようにすることを意図する。

Claims (35)

  1. 通信方法であって、
    画像フレームに対してターゲット検出を実行して得られた検出結果を取得することと、
    前記検出結果および現在の動作モードに基づいて、プリセットのプロトコルフォーマットの第1データパケットを生成することと、
    下位コンピュータに、前記第1データパケットに従って現在のシナリオに対して画像収集を実行させるために、前記下位コンピュータに前記第1データパケットを送信することと、を含む、前記通信方法。
  2. 前記画像フレームに対してターゲット検出を実行して得られた検出結果を取得することは、画像フレームに対してターゲット検出を実行して得られた検出結果を共有ストレージで取得することを含む、
    請求項1に記載の通信方法。
  3. 前記検出結果および現在の動作モードに基づいて、プリセットのプロトコルフォーマットの第1データパケットを生成することは、前記検出結果に従って検出情報を生成することと、前記現在の動作モードに従って制御情報を生成することと、前記検出情報を検出結果フィールドに追加し、前記制御情報を制御フィールドに追加して、プリセットのプロトコルフォーマットの前記第1データパケットを生成することと、を含む、
    請求項1または2に記載の通信方法。
  4. 前記検出結果に従って検出情報を生成することは、前記検出結果の先頭および末尾に第1検定情報を追加して、前記検出情報を生成することを含む、
    請求項3に記載の通信方法。
  5. 前記第1データパケットは検定フィールドを含み、前記通信方法は、第2検定情報を生成することと、前記第2検定情報を前記第1データパケットの検定フィールドに追加することと、をさらに含み、前記第2検定情報は、前記下位コンピュータが前記第1データパケットの精度を検証するために使用される、
    請求項1ないし4のいずれか1項に記載の通信方法。
  6. 前記第2検定情報を生成することは、プリセットの生成多項式を取得することと、前記生成多項式に基づいて、バイナリシーケンスを生成することと、前記検出結果および前記バイナリシーケンスに基づいて、前記第2検定情報を生成することと、を含む、
    請求項5に記載の通信方法。
  7. 前記第1データパケットはモードフラグフィールドを含み、前記通信方法は、前記画像フレームを収集するときの動作モードに従って、前記検出結果に対応する動作モードを決定することと、前記検出結果に対応する動作モードに基づいて、前記第1データパケットのモードフラグフィールドを生成することと、をさらに含む、
    請求項1ないし6のいずれか1項に記載の通信方法。
  8. 前記通信方法は、前記第1データパケットの送信時間が再送信閾値を超え、且つ、前記送信時間内に前記下位コンピュータによって返信された確認情報を受信していない場合、再び前記下位コンピュータに前記第1データパケットを送信することをさらに含む、
    請求項1ないし7のいずれか1項に記載の通信方法。
  9. 前記通信方法は、下位コンピュータによって送信された第2データパケットを受信することと、前記第2データパケットの制御フィールドによって搬送された制御情報に従って、現在の動作モードを調整することと、をさらに含む、
    請求項1ないし8のいずれか1項に記載の通信方法。
  10. 前記動作モードは、ジェスチャ分類モード、顔検出モード、人体追跡モード、球体検出モードのうちの少なくとも1つを含む、
    請求項1ないし9のいずれか1項に記載の通信方法。
  11. 通信方法であって、
    上位コンピュータによって送信されたプリセットのプロトコルフォーマットの第1データパケットを受信することと、
    前記第1データパケットに基づいて、画像フレームに対してターゲット検出を実行して得られた検出結果、および現在の動作モードを取得することと、
    前記検出結果および現在の動作モードに従って、現在のシナリオに対して画像収集を行う動作を実行することと、を含む、前記通信方法。
  12. 前記第1データパケットに基づいて、画像フレームに対してターゲット検出を実行して得られた検出結果、および現在の動作モードを取得することは、前記第1データパケットの検出結果フィールドで検出情報を取得することと、前記検出情報に従って、画像フレームに対してターゲット検出を実行して得られた検出結果を取得することと、前記第1データパケットの制御フィールドで制御情報を取得することと、前記制御情報に従って現在の動作モードを決定することと、を含む、
    請求項11に記載の通信方法。
  13. 前記検出情報に従って、画像フレームに対してターゲット検出を実行して得られた検出結果を取得することは、前記検出情報の先頭および末尾で第1検定情報を取得することと、前記第1検定情報がプリセットの検定情報とマッチングする場合に、前記検出情報で前記検出結果を抽出することと、を含む、
    請求項12に記載の通信方法。
  14. 前記第1データパケットの検出結果フィールドで検出情報を取得することは、前記第1データパケットの検定フィールドで第2検定情報を取得することと、プリセットの生成多項式によって生成されたバイナリシーケンスを取得することと、前記バイナリシーケンスを使用して前記第2検定情報を検定して、検定結果を取得することと、前記検定結果が検定合格である場合に、前記第1データパケットで前記検出結果を取得することと、を含む、
    請求項12または13に記載の通信方法。
  15. 前記通信方法は、現在の動作モードを検出することと、前記動作モードが変更された場合に、現在の動作モードに基づいて前記第1データパケットの制御フィールドを修正して、第2データパケットを取得することと、上位コンピュータに前記第2データパケットを送信することと、をさらに含む、
    請求項11ないし14のいずれか1項に記載の通信方法。
  16. 前記動作モードは、ジェスチャ分類モード、顔検出モード、人体追跡モード、球体検出モードのうちの少なくとも1つを含む、
    請求項11ないし15のいずれか1項に記載の通信方法。
  17. 通信装置であって、
    画像フレームに対してターゲット検出を実行して得られた検出結果を取得するように構成される、取得モジュールと、
    前記検出結果および現在の動作モードに基づいて、プリセットのプロトコルフォーマットの第1データパケットを生成するように構成される、生成モジュールと、
    下位コンピュータに、前記第1データパケットに従って現在のシナリオに対して画像収集を実行させるために、前記下位コンピュータに前記第1データパケットを送信するように構成される、送信モジュールと、を備える、前記通信装置。
  18. 前記取得モジュールは、画像フレームに対してターゲット検出を実行して得られた検出結果を共有ストレージで取得するように構成される、
    請求項17に記載の通信装置。
  19. 前記生成モジュールは、前記検出結果に従って検出情報を生成し、前記現在の動作モードに従って制御情報を生成し、前記検出情報を検出結果フィールドに追加し、前記制御情報を制御フィールドに追加して、プリセットのプロトコルフォーマットの前記第1データパケットを生成するように構成される、
    請求項17または18に記載の通信装置。
  20. 前記生成モジュールは、前記検出結果の先頭および末尾に第1検定情報を追加して、前記検出情報を生成するように構成される、
    請求項19に記載の通信装置。
  21. 前記第1データパケットは検定フィールドを含み、前記生成モジュールは、さらに、第2検定情報を生成し、前記第2検定情報を前記第1データパケットの検定フィールドに追加するように構成され、前記第2検定情報は、前記下位コンピュータが、前記第1データパケットの精度を検証するように構成される、
    請求項17ないし20のいずれか1項に記載の通信装置。
  22. 前記生成モジュールは、プリセットの生成多項式を取得し、前記生成多項式に基づいて、バイナリシーケンスを生成し、前記検出結果および前記バイナリシーケンスに基づいて、前記第2検定情報を生成するように構成される、
    請求項21に記載の通信装置。
  23. 前記第1データパケットはモードフラグフィールドを含み、前記生成モジュールは、さらに、前記画像フレームを収集するときの動作モードに従って、前記検出結果に対応する動作モードを決定し、前記検出結果に対応する動作モードに基づいて、前記第1データパケットのモードフラグフィールドを生成するように構成される、
    請求項17ないし22のいずれか1項に記載の通信装置。
  24. 前記送信モジュールは、さらに、前記第1データパケットの送信時間が再送信閾値を超え、且つ、前記送信時間内に前記下位コンピュータによって返信された確認情報を受信していない場合、再び前記下位コンピュータに前記第1データパケットを送信するように構成される、
    請求項17ないし23のいずれか1項に記載の通信装置。
  25. 前記通信装置は、さらに、下位コンピュータによって送信された第2データパケットを受信し、前記第2データパケットの制御フィールドによって搬送された制御情報に従って、現在の動作モードを調整するように構成される、受信モジュールを備える、
    請求項17至24のいずれか1項に記載の通信装置。
  26. 前記動作モードは、ジェスチャ分類モード、顔検出モード、人体追跡モード、球体検出モードのうちの少なくとも1つを含む、
    請求項17ないし25のいずれか1項に記載の通信装置。
  27. 通信装置であって、
    上位コンピュータによって送信されたプリセットのプロトコルフォーマットの第1データパケットを受信するように構成される、受信モジュールと、
    前記第1データパケットに基づいて、画像フレームに対してターゲット検出を実行して得られた検出結果、および現在の動作モードを取得するように構成される、決定モジュールと、
    前記検出結果および現在の動作モードに従って、現在のシナリオに対して画像収集を行う動作を実行するように構成される、制御モジュールと、を備える、前記通信装置。
  28. 前記決定モジュールは、前記第1データパケットの検出結果フィールドで検出情報を取得し、前記検出情報に従って、画像フレームに対してターゲット検出を実行して得られた検出結果を取得し、前記第1データパケットの制御フィールドで制御情報を取得し、前記制御情報に従って現在の動作モードを決定するように構成される、
    請求項27に記載の通信装置。
  29. 前記決定モジュールは、前記検出情報の先頭および末尾で第1検定情報を取得し、前記第1検定情報がプリセットの検定情報とマッチングする場合に、前記検出情報で前記検出結果を抽出するように構成される、
    請求項28に記載の通信装置。
  30. 前記決定モジュールは、前記第1データパケットの検定フィールドで第2検定情報を取得し、プリセットの生成多項式によって生成されたバイナリシーケンスを取得し、前記バイナリシーケンスを使用して前記第2検定情報を検定して、検定結果を取得し、前記検定結果が検定合格である場合に、前記第1データパケットで前記検出結果を取得するように構成される、
    請求項28または29に記載の通信装置。
  31. 前記通信装置は、さらに、現在の動作モードを検出し、前記動作モードが変更された場合に、現在の動作モードに基づいて前記第1データパケットの制御フィールドを修正して、第2データパケットを取得し、上位コンピュータに前記第2データパケットを送信するように構成される、修正モジュールを備える、
    請求項27ないし30のいずれか1項に記載の通信装置。
  32. 前記動作モードは、ジェスチャ分類モード、顔検出モード、人体追跡モード、球体検出モードのうちの少なくとも1つを含む、
    請求項27ないし31のいずれか1項に記載の通信装置。
  33. 電子機器であって、
    プロセッサと、プロセッサ実行可能命令を記憶するように構成されるメモリとを備え、
    前記プロセッサは、前記メモリで記憶される命令を呼び出して、請求項1ないし10のいずれか1項に記載の通信方法を実行するように、または、請求項11ないし16のいずれか1項に記載の通信方法を実行するように構成される、前記電子機器。
  34. コンピュータプログラム命令が記憶される、コンピュータ可読記憶媒体であって、
    前記コンピュータプログラム命令がプロセッサによって実行されるとき、請求項1ないし10のいずれか1項に記載の通信方法を実現し、または請求項11ないし16のいずれか1項に記載の通信方法を実現する、前記コンピュータ可読記憶媒体。
  35. コンピュータ可読コードを含む、コンピュータプログラムであって、
    前記コンピュータ可読コードが電子機器で実行されるとき、前記電子機器内のプロセッサは、請求項1ないし10のいずれか1項に記載の通信方法、または請求項11ないし16のいずれか1項に記載の通信方法を実現するために実行される、前記コンピュータプログラム。
JP2021531028A 2019-08-29 2020-06-10 通信方法および装置、電子機器並びに記憶媒体 Pending JP2022509292A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910809368.5 2019-08-29
CN201910809368.5A CN110545376B (zh) 2019-08-29 2019-08-29 通信方法及装置、电子设备和存储介质
PCT/CN2020/095340 WO2021036407A1 (zh) 2019-08-29 2020-06-10 通信方法及装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
JP2022509292A true JP2022509292A (ja) 2022-01-20

Family

ID=68710834

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021531028A Pending JP2022509292A (ja) 2019-08-29 2020-06-10 通信方法および装置、電子機器並びに記憶媒体

Country Status (7)

Country Link
US (1) US20210294767A1 (ja)
JP (1) JP2022509292A (ja)
KR (1) KR20210086678A (ja)
CN (1) CN110545376B (ja)
SG (1) SG11202105681QA (ja)
TW (1) TWI737460B (ja)
WO (1) WO2021036407A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110545376B (zh) * 2019-08-29 2021-06-25 上海商汤智能科技有限公司 通信方法及装置、电子设备和存储介质
CN113746833B (zh) * 2021-09-02 2023-06-16 上海商汤智能科技有限公司 通信方法及装置、电子设备和存储介质
CN114465888A (zh) * 2021-12-23 2022-05-10 珠海格力电器股份有限公司 配置数据协议的采集方法、电子设备及存储介质
CN115334331B (zh) * 2022-08-23 2023-09-22 苏州青颖飞帆软件科技股份有限公司 一种教学直播的通讯方法、设备及存储介质
CN115861033A (zh) * 2022-12-20 2023-03-28 北京远舢智能科技有限公司 一种图像数据处理方法、装置、计算机设备及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002281487A (ja) * 2001-03-19 2002-09-27 Fujitsu General Ltd ネットワークカメラによる監視方法と監視システム
JP2004306253A (ja) * 2003-03-27 2004-11-04 Sony Corp ロボット装置及びロボット装置の制御方法
WO2006082637A1 (ja) * 2005-02-03 2006-08-10 Fujitsu Limited 無線通信システムおよび無線通信方法
JP2006244491A (ja) * 2005-03-01 2006-09-14 Asm Japan Kk 入力信号解析システム及びそれを利用した制御装置
JP2007243663A (ja) * 2006-03-09 2007-09-20 Matsushita Electric Ind Co Ltd データ送受信装置
JP2010072710A (ja) * 2008-09-16 2010-04-02 Minakuchi Laboratory プログラマブル・トグルスイッチを持つデジタル画像処理コンピュータシステム
JP2011027846A (ja) * 2009-07-22 2011-02-10 Fujifilm Corp Af枠自動追尾システム
JP2012164089A (ja) * 2011-02-04 2012-08-30 Fujitsu Ltd ロボット、位置推定方法及びプログラム
CN104243918A (zh) * 2014-09-03 2014-12-24 深圳奇沃智联科技有限公司 应用蓝牙定位进行自动巡逻之机器人监控系统
WO2015084937A1 (en) * 2013-12-03 2015-06-11 Edh Us Llc Systems and methods to track a golf ball to and on a putting green
JP2015163415A (ja) * 2014-02-28 2015-09-10 三井不動産株式会社 ロボット制御システム、ロボット制御サーバ及びロボット制御プログラム
US20160085518A1 (en) * 2014-09-21 2016-03-24 Jang Hee I Systems and methods for imaging and generation of executable processor instructions based on ordered objects
WO2016132729A1 (ja) * 2015-02-17 2016-08-25 日本電気株式会社 ロボット制御装置、ロボット、ロボット制御方法およびプログラム記録媒体
JP2017100242A (ja) * 2015-12-02 2017-06-08 グローリー株式会社 検査ロボットシステム
JP2018113649A (ja) * 2017-01-13 2018-07-19 キヤノン株式会社 カメラ、情報処理装置及びシステム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011091604A1 (zh) * 2010-01-29 2011-08-04 华为终端有限公司 视频通信的方法、装置和系统
JP6245886B2 (ja) * 2013-08-08 2017-12-13 キヤノン株式会社 画像撮像方法及び画像撮像装置
CN106034199B (zh) * 2015-03-18 2019-07-05 中国科学院苏州纳米技术与纳米仿生研究所 一种模拟数据源的图像采集装置和方法
CN105391939B (zh) * 2015-11-04 2017-09-29 腾讯科技(深圳)有限公司 无人机拍摄控制方法和装置、无人机拍摄方法和无人机
CN105391780A (zh) * 2015-11-09 2016-03-09 重庆川仪自动化股份有限公司 一种数据采集和接收的方法及系统
CN205721829U (zh) * 2016-03-07 2016-11-23 谭圆圆 一种无人飞行器
CN106603581B (zh) * 2017-02-22 2020-04-07 欣旺达电子股份有限公司 支持多种通信协议的测试方法及装置
CN107623726A (zh) * 2017-08-29 2018-01-23 美的智慧家居科技有限公司 数据转换传输方法和装置
CN207910927U (zh) * 2018-02-13 2018-09-25 深圳市辰卓电子有限公司 一种信息采集桥接装置及图像传感器质量自动检测设备
CN108712609A (zh) * 2018-05-17 2018-10-26 Oppo广东移动通信有限公司 对焦处理方法、装置、设备及存储介质
CN209105343U (zh) * 2018-12-10 2019-07-12 美钻深海能源科技研发(上海)有限公司 水下履带智能机器人图像采集单元
CN110070511B (zh) * 2019-04-30 2022-01-28 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
CN110545376B (zh) * 2019-08-29 2021-06-25 上海商汤智能科技有限公司 通信方法及装置、电子设备和存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002281487A (ja) * 2001-03-19 2002-09-27 Fujitsu General Ltd ネットワークカメラによる監視方法と監視システム
JP2004306253A (ja) * 2003-03-27 2004-11-04 Sony Corp ロボット装置及びロボット装置の制御方法
WO2006082637A1 (ja) * 2005-02-03 2006-08-10 Fujitsu Limited 無線通信システムおよび無線通信方法
JP2006244491A (ja) * 2005-03-01 2006-09-14 Asm Japan Kk 入力信号解析システム及びそれを利用した制御装置
JP2007243663A (ja) * 2006-03-09 2007-09-20 Matsushita Electric Ind Co Ltd データ送受信装置
JP2010072710A (ja) * 2008-09-16 2010-04-02 Minakuchi Laboratory プログラマブル・トグルスイッチを持つデジタル画像処理コンピュータシステム
JP2011027846A (ja) * 2009-07-22 2011-02-10 Fujifilm Corp Af枠自動追尾システム
JP2012164089A (ja) * 2011-02-04 2012-08-30 Fujitsu Ltd ロボット、位置推定方法及びプログラム
WO2015084937A1 (en) * 2013-12-03 2015-06-11 Edh Us Llc Systems and methods to track a golf ball to and on a putting green
JP2015163415A (ja) * 2014-02-28 2015-09-10 三井不動産株式会社 ロボット制御システム、ロボット制御サーバ及びロボット制御プログラム
CN104243918A (zh) * 2014-09-03 2014-12-24 深圳奇沃智联科技有限公司 应用蓝牙定位进行自动巡逻之机器人监控系统
US20160085518A1 (en) * 2014-09-21 2016-03-24 Jang Hee I Systems and methods for imaging and generation of executable processor instructions based on ordered objects
WO2016132729A1 (ja) * 2015-02-17 2016-08-25 日本電気株式会社 ロボット制御装置、ロボット、ロボット制御方法およびプログラム記録媒体
JP2017100242A (ja) * 2015-12-02 2017-06-08 グローリー株式会社 検査ロボットシステム
JP2018113649A (ja) * 2017-01-13 2018-07-19 キヤノン株式会社 カメラ、情報処理装置及びシステム

Also Published As

Publication number Publication date
WO2021036407A1 (zh) 2021-03-04
CN110545376B (zh) 2021-06-25
CN110545376A (zh) 2019-12-06
KR20210086678A (ko) 2021-07-08
SG11202105681QA (en) 2021-06-29
TW202109352A (zh) 2021-03-01
TWI737460B (zh) 2021-08-21
US20210294767A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
JP2022509292A (ja) 通信方法および装置、電子機器並びに記憶媒体
CN107786794B (zh) 向应用提供由图像传感器获取的图像的电子装置和方法
CN104081407B (zh) 用于云计算环境中的服务器和客户端的远程信任证明和地理位置功能的方法、装置和系统
CN112040468B (zh) 用于车辆交互的方法、计算设备和计算机存储介质
US20220303250A1 (en) Device independent secure messaging
US20140250158A1 (en) Method and device for obtaining file
CN104866290B (zh) 一种用于数据传输的方法和装置
US20170169303A1 (en) Spoof Detection for Facial Recognition
CN109347917A (zh) 区块链数据共识处理方法、系统、存储介质和电子设备
CN107404418B (zh) 互联网产品测试方法、装置、设备及存储介质
US10599975B2 (en) Scalable parameter encoding of artificial neural networks obtained via an evolutionary process
US20210342814A1 (en) Method and apparatus for paying fare
CN109756568A (zh) 文件的处理方法、设备及计算机可读存储介质
JP2020039115A (ja) インテリジェント運転自動車のデータ伝送方法、装置及びデバイス
US20220012165A1 (en) Method and apparatus for debugging device
CN112434620B (zh) 场景文字识别方法、装置、设备和计算机可读介质
CN109845224B (zh) 电子装置和用于操作电子装置的方法
CN108574733A (zh) 网络代理方法及装置、存储介质和电子设备
CN106888448A (zh) 应用下载方法、安全元件及终端
CN112925297A (zh) 自动驾驶算法验证方法、装置、设备、存储介质及产品
CN112463067A (zh) 一种NVMe-oF场景下的数据保护方法及设备
CN116996309A (zh) 基于区块链的语义通信方法及系统、存储介质、设备
CN109218446A (zh) 一种物联网智能机器人自主学习云计算装置
CN115022328A (zh) 服务器集群以及服务器集群的测试方法、装置和电子设备
US10678332B2 (en) Remotely guiding the positioning of a mobile device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210528

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230606