JP2021072091A - 計算負荷分散方法、計算負荷分散装置、可動物体、データ処理方法、データ処理装置、およびプログラム - Google Patents

計算負荷分散方法、計算負荷分散装置、可動物体、データ処理方法、データ処理装置、およびプログラム Download PDF

Info

Publication number
JP2021072091A
JP2021072091A JP2020095514A JP2020095514A JP2021072091A JP 2021072091 A JP2021072091 A JP 2021072091A JP 2020095514 A JP2020095514 A JP 2020095514A JP 2020095514 A JP2020095514 A JP 2020095514A JP 2021072091 A JP2021072091 A JP 2021072091A
Authority
JP
Japan
Prior art keywords
processing
subtask
remote terminal
image
movable object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020095514A
Other languages
English (en)
Inventor
杰 銭
Jie Qian
杰 銭
磊 朱
Lei Zhu
磊 朱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of JP2021072091A publication Critical patent/JP2021072091A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004Transmission of traffic-related information to or from an aircraft
    • G08G5/0013Transmission of traffic-related information to or from an aircraft with a ground station
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0022Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the communication link
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5094Allocation of resources, e.g. of the central processing unit [CPU] where the allocation takes into account power or heat criteria
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0026Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located on the ground
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003Flight plan management
    • G08G5/0034Assembly of a flight plan
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0052Navigation or guidance aids for a single aircraft for cruising
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0069Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04Anti-collision systems
    • G08G5/045Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1008Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/0009Transmission of position information to remote stations
    • G01S5/0018Transmission from mobile station to base station
    • G01S5/0027Transmission from mobile station to base station of actual mobile position, i.e. position determined on mobile
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/48Indexing scheme relating to G06F9/48
    • G06F2209/484Precedence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/50Indexing scheme relating to G06F9/50
    • G06F2209/501Performance criteria
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/50Indexing scheme relating to G06F9/50
    • G06F2209/5021Priority
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/50Indexing scheme relating to G06F9/50
    • G06F2209/509Offload
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/16Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

【課題】可動物体の計算負荷を低減する。【解決手段】実施の一形態による算負荷分散方法は、可動物体に関連する処理タスクを決定することと、前記処理タスクの特性に少なくとも部分的に基づいて、前記処理タスクを実行するための1つまたは複数の処理リソースを決定することと、を備え、前記処理リソースを決定することとは、前記可動物体でローカルに実行すること、および、遠隔端末においてリモートで実行することの少なくともいずれかにより、前記処理タスクを実行するかを決定することを含む。【選択図】図2

Description

本開示は、コンピューティング技術の分野に関し、より具体的には、計算負荷を分散するための方法および装置、データ処理のための方法および装置、プログラム、並びに可動物体に関する。
空中写真航空機の進歩に伴い、空中写真航空機の機能、耐久性、重量、および体積に対する消費者の要求が厳しくなっている。さらに、無人航空機(nmanned erial ehicle;UAV)の使用の増加に伴い、さまざまな当局から航空機に対する規則と規制が設定されている。例えば、ヨーロッパでは、重量が250gを超える航空機の場合、航空機のオペレータは試験に合格して航空機を操作する必要がある。
さらに、インテリジェントフォロイング、視覚的障害物回避、インテリジェントリターン、ルートプランニングなどの航空機のインテリジェント機能に対する消費者要求も高まっており、これらの機能を強力なコンピューティングプラットフォームでサポートする必要がある。従来の技術によれば、上記機能の要件を満たすことができる航空機のハードウェアプラットフォームの消費電力は、約15Wにもなる。バッテリーのエネルギー密度は従来の技術の限界に達しているため、コンピューティングプラットフォームの電力消費レベルにより、航空機の小型化と長時間飛行が制限されている。
さらに、チップ製造プロセスが物理法則の限界に近づくにつれて、ムーアの法則の破綻が将来発生する可能性がある。そのため、半導体プロセスの進歩に依存して消費電力を削減し、コンピューティングパフォーマンスを向上させることはますます困難になっている。したがって、航空機のインテリジェンス、小型化、および長時間飛行に対するユーザーの要求は、半導体技術の進歩と矛盾してきている。
本発明は、可動物体の計算負荷を低減するための計算負荷分散方法、プログラム、計算負荷分散装置およびデータ処理装置、並びに計算負荷が低減される可動物体を提供することを主な目的とする。
本発明の第1の態様によれば、計算負荷分散方法が提供され、該計算負荷分散方法は、
可動物体に関連する処理タスクを決定することと、
前記処理タスクの特性に少なくとも部分的に基づいて、前記処理タスクを実行するための1つまたは複数の処理リソースを決定することと、
を備え、
前記処理リソースを決定することとは、前記可動物体でローカルに実行すること、および、遠隔端末においてリモートで実行することの少なくともいずれかにより、前記処理タスクを実行するかを決定することを含む。
本発明の第2態様によれば、計算負荷分散装置が提供され、該計算負荷分散装置は、
プロセッサと、
前記プロセッサにより読み出されて実行されると、上述した第1実施態様による計算負荷分散方法を実行させるプログラムを格納するメモリと、を備える。
本発明の第3の態様によれば、計算負荷分散装置が提供され、該計算負荷分散装置は、
プロセッサと、
前記プロセッサによって実行されると、前記プロセッサに、
可動物体に関連する処理タスクを決定することと、
前記処理タスクの特性に少なくとも部分的に基づいて、前記処理タスクを実行するための1つまたは複数の処理リソースを決定することと、
を実行させるコンピュータプログラムを格納するメモリと、
を備え、
前記処理リソースを決定することとは、前記可動物体でローカルに実行すること、および、遠隔端末においてリモートで実行することの少なくともいずれかにより、前記処理タスクを実行するかを決定することを含む。
本発明の第4の態様によれば、可動物体が提供され、該可動物体は、
当該可動物体に移動力を提供するように構成される推進システムと、
プロセッサと、
前記プロセッサにより読み出されて実行されると、前記プロセッサに上述した計算負荷分散方法を実行させるプログラムを格納するメモリと、
を備える。
本発明の第5の態様によれば、
可動物体が提供され、該可動物体は、
当該可動物体に移動力を提供するように構成される推進システムと、
プロセッサと、
前記プロセッサによって実行されると、前記プロセッサに、
可動物体に関連する処理タスクを決定することと、
前記処理タスクの特性に少なくとも部分的に基づいて、前記処理タスクを実行するための1つまたは複数の処理リソースを決定することと、
を実行させるコンピュータプログラムを格納するメモリと、
を備え、
前記処理リソースを決定することとは、前記可動物体でローカルに実行すること、および、遠隔端末においてリモートで実行することの少なくともいずれかにより、前記処理タスクを実行するかを決定することを含む。
本発明の第6の態様によれば、データ処理方法が提供され、該データ処理方法は、
処理タスクを複数のサブタスクに分割することと、
前記複数のサブタスクの少なくとも特性に基づいて、前記複数のサブタスクを可動物体および遠隔端末の少なくとも1つに割り当てて処理することと、
を備える。
本発明の第7の態様によれば、データ処理装置が提供され、該データ処理装置は、
プロセッサと、
前記プロセッサにより読み出されて実行されると、上述したデータ処理方法を前記プロセッサ実行させるコンピュータプログラムを格納するメモリと、
を備える。
本発明の第8の態様によれば、データ処理装置が提供され、該データ処理装置は、
プロセッサと、コンピュータプログラムを格納するメモリと、を備え、
前記コンピュータプログラムは、前記プロセッサにより読み出されて実行されると、前記プロセッサに、
処理タスクを複数のサブタスクに分割することと、
前記複数のサブタスクの少なくとも特性に基づいて、前記複数のサブタスクを可動物体および遠隔端末の少なくとも1つに割り当てて処理することと、
を実行させる。
本発明の第9の態様によれば、可動物体が提供され、該可動物体は、
個別または集合的に構成され、上述のデータ処理方法を実行するように構成された1つ以上のプロセッサを備える。
本発明の第10の態様によれば、可動物体が提供され、該可動物体は、
処理タスクを複数のサブタスクに分割することと、
前記複数のサブタスクの少なくとも特性に基づいて、前記複数のサブタスクを可動物体および遠隔端末の少なくとも1つに割り当てて処理することと、
を実行するように個別または集合的に構成された1つ以上のプロセッサを備える。
本発明の第11の態様によれば、上述した計算負荷分散方法をコンピュータに実行させるプログラムが提供される。
さらに、本発明の第12の態様によれば、上述したデータ処理方法をコンピュータに実行させるプログラムが提供される。
一実施形態によれば、可動物体を含む複数のリソースの間で計算負荷を分散することにより、可動物体の計算負荷を低減するので、可動物体のインテリジェンス、耐久性を向上させながら可動物体の電力消費、重量およびサイズを低減することができる。
本開示の一実施形態によるシステムの概略図の一例である。 本開示の一実施形態による計算負荷分散方法のフローチャートの一例である。 本開示の一実施形態による計算負荷分散方法のアプリケーションのフローチャートの一例である。 本開示の別の実施形態による計算負荷分散方法の別のアプリケーションのフローチャートの一例である。 本開示の別の実施形態による計算負荷分散方法の別のアプリケーションのフローチャートの一例である。 本開示の第1実施形態による計算負荷分散装置のブロック図の一例である。 本開示の第2実施形態による計算負荷分散装置のブロックの一例である。 本開示の第3実施形態による計算負荷分散装置のブロックの一例である。 本開示の第4実施形態による計算負荷分散装置の構造を示す図の一例である。 本開示の実施形態による可動物体および遠隔端末を示す概略図の一例である。 本開示の一実施形態によるデータ処理方法のフローチャートの一例である。 本開示の一実施形態によるデータ処理装置のブロック図の一例である。 本開示の一実施形態によるデータ処理装置の構造図の一例である。
本開示の実施形態で提供される技術的解決策を、図面を参照して以下に説明する。
図面において同一または対応する要素・部材には同一の参照符号を付し、その重複説明は適宜省略する。また、図中の各部材の形状・サイズについては、説明を容易にするため、適宜に拡大・縮小・省略がなされ、このために現実の縮尺・比率とは合致していない場合がある。また、図面の説明においても、紙面の上下方向に即してそれぞれ「上」「下」の用語を便宜的に用いるために、重力加速度の方向と一致しない場合がある点に留意されたい。また、「約」、「ほぼ」および「実質的に」などの用語は、測定誤差をも含む趣旨で使用される。
また、以下で使用される「第1」、「第2」などのような序数を表す用語は、同一又は相応する構成要素を区別するための識別記号に過ぎないものであり、同一又は相応する構成要素が、こらの「第1」、「第2」などの用語によって何らの限定も受けるものではない。
また、用語「結合」は、各構成要素間の接触関係において、各構成要素間で物理的に直接接触される場合だけを意味するのではなく、他の構成が各構成要素間に介在され、その他の構成に構成要素がそれぞれ接触されている場合まで含む概念である。
以下の実施形態は本開示を限定するものではないことを理解されたい。説明される実施形態は、本開示の実施形態のすべてではなくいくつかであることが理解されよう。発明の努力なしに、記載された実施形態に基づいて当業者によって考案された他の実施形態は、本開示の範囲内に含まれるべきである。実施形態に記載された技術的解決策は、矛盾しない状況でそれらを組み合わせることができる。本開示で提供される技術的解決策は、本開示の実施形態で説明される特徴のすべての組み合わせを必要としないことに留意されたい。
航空機の機能、耐久性、重量、および容積、ならびにバッテリー容量およびチップ処理能力に対する増大する要求を考慮して、本開示は、計算負荷を分散するための方法および装置を提供する。本開示の計算負荷分散方法および装置は、データ伝送リンクまたは電気通信ネットワークを使用して、遠隔端末と可動物体との間で計算負荷を分散し、可動物体の計算負荷を低減し、それにより、可動物体のインテリジェンス、耐久性を向上させながら可動物体の電力消費、重量およびサイズを低減する。
(A)計算負荷分散のシステム
図1は、本開示の一実施形態による例示的なシステムの概略図である。図1に示すシステムは、可動物体1と遠隔端末2とを含む。他のいくつかの実施形態では、システムは、2つ以上の可動物体1および2つ以上の遠隔端末2の少なくともいずれかを含むことができる。本開示の計算負荷分散方法は、図1に示されるシステムにおいて、例えば可動物体1および遠隔端末2の少なくともいずれかにより実施されてもよい。図1に示すように、可動物体1と遠隔端末2との間に1つまたは複数の伝送リンクが確立される。1つ以上の送信リンクは、画像を送信するように構成された画像送信リンク、または位置データまたは命令データなどの画像以外のデータを送信するように構成されたデータ送信リンクの少なくとも1つを含み得る。
1つまたは複数の伝送リンクは、可動物体1と遠隔端末2との間の直接伝送リンクおよび通信ネットワーク3の少なくともいずれかを介した間接伝送リンクを含むことができる。いくつかの実施形態では、図1に示すように、システムはさらにサーバ4を含む。図1に示す例では、サーバ4は、通信ネットワーク3を介して可動物体1および遠隔端末2に接続されている。他のいくつかの実施形態では、サーバは、1つまたは複数の直接伝送リンクを介して可動物体1および遠隔端末2の少なくともいずれかに接続することができる。
いくつかの実施形態では、可動物体1は、例えば、航空機(無人航空機(UAV)など)、無人地上車両、または地上遠隔制御ロボットであってもよい。いくつかの実施形態では、本開示の実施形態と一致する可動物体1は、例えば、電力線監視、通信、気象学、農業、海洋学、探査、写真、防災および軽減、作物推定、密輸防止、国境警備、セキュリティ、およびテロ対策の少なくともいずれかの分野で様々なタスクを実行するために使用され得る。
いくつかの実施形態では、ペイロードを運ぶために可動物体1にキャリアを配置することができる。いくつかの実施形態では、キャリアはジンバルであってもよく、ペイロードは、カメラおよび機械的アームのうちの1つまたは複数であってもよい。
遠隔端末2は、可動物体1と通信することができる任意のデバイスであってよい。いくつかの実施形態では、遠隔端末2は、(例えば、スマートフォンまたはタブレットなどの)ハンドヘルドデバイス、リモートコントローラ、地上制御デバイス、またはクラウド計算プラットフォームであり得る。いくつかの実施形態では、遠隔端末2は、可動物体1を制御する命令を可動物体1に送信するように構成されてもよい。いくつかの実施形態では、制御命令は、可動物体1の運動状態を制御するために使用されてもよい。さらに、可動物体1の運動状態は、可動物体1の移動方向、移動速度、および姿勢のうちの1つ以上を含み得る。いくつかの実施形態では、制御命令を使用して、可動物体1のキャリアの状態を制御することができる。さらに、可動物体1のキャリアの状態は、キャリアの姿勢および動作モードのうちの1つまたは複数を含み得る。
遠隔端末2と可動物体1との間の1つ以上の伝送リンクは、遠隔端末2が可動物体1と通信して可動物体1とのデータ交換を容易にすることを可能にすることができる。いくつかの実施形態では、送信リンクは、Wi-Fi(登録商標)リンク、ソフトウェア定義無線(SDR)リンク、または電気通信ネットワークを含み得る。
(B)計算負荷分散方法
図2は、本開示の一実施形態に係る例示的な計算負荷分散方法のフローチャートの一例である。図2に示すように、ステップ201で、可動物体に関連する処理タスクが決定される。ステップ202で、処理タスクを可動物体でローカルに実行するか、もしくは遠隔端末においてリモートで実行するか、または可動物体でローカルに実行しかつ遠隔端末においてもリモートで実行するかどうかが、処理タスクの特性に少なくとも部分的に基づいて決定される。
可動物体に関連する処理タスクは、可動物体のコンポーネントまたはペイロードに関連するタスクであってよい。例えば、可動物体の構成要素は全地球測位システム(lobal osition ystem;GPS)受信機であり得、ペイロードはカメラであり得る。いくつかの実施形態では、可動物体に関連する処理タスクは、画像取得タスク、画像処理タスク、画像認識タスク、経路照会タスク、および障害物回避タスクのうちの1つまたは複数を含み得る。
処理タスクが可動物体の動きに関連する場合、処理タスクは可動物体でローカルに実行される(ステップ203)。一方、処理タスクが可動物体の動きに関連していない場合、処理タスクは遠隔端末(ステップ204)においてリモートで実行される。
本開示の可動物体および遠隔端末はそれぞれ、プロセッサを含み得る。可動物体および遠隔端末のプロセッサは、可動物体に関連する処理タスクを実行し、対応する処理結果を生成するように構成され得る。いくつかの実施形態では、可動物体のプロセッサの処理能力は、遠隔端末のプロセッサの処理能力よりも低くてもよい。したがって、可動物体におけるローカルでの処理タスク実行、および、遠隔端末におけるリモートでの処理タスク実行の少なくともいずれかは、例えば、どれだけの処理能力が必要かを決定できる処理タスクの特性に少なくとも部分的に基づいて決定できる。
いくつかの実施形態では、処理タスクの特性は、可動物体の動きに関連し得る。一方、処理タスクを可動物体でローカルに実行すると決定された場合、処理タスクは、可動物体のプロセッサを使用して実行され、処理結果を生成することができる。いくつかの実施形態では、処理タスクは、可動物体のプロセッサを使用して直ちに実行されてもよい。そのため、処理結果の生成にかかる時間は比較的短い場合がある。一方、遠隔端末においてリモートで処理タスクを実行することが決定された場合、上述した可動物体と遠隔端末との間の伝送リンクを使用して、処理タスクに関連するデータおよび命令の少なくとも1つを最初に遠隔端末に送信する必要がある場合がある。上記の可動物体および遠隔端末。処理タスクに関連するデータおよび命令の少なくともいずれかを受信した後、遠隔端末のプロセッサは、処理タスクを実行し、処理結果を生成することができ、次いで、処理結果は、可動物体に送信されることができる。したがって、遠隔端末において処理結果を生成するのにかかる時間は、可動物体で処理結果を生成するのにかかる時間よりも長くなる可能性がある。可動物体の動きは、可動物体の安全性と密接に関連している可能性があるため、可動物体の動きに関連する処理タスクは、可動物体において局所的に実行され得る。一方、処理タスクが可動物体の動きに関連していない場合、処理タスクは遠隔端末においてリモートで実行されてもよい。
いくつかの実施形態では、データおよび命令の少なくとも1つが遠隔端末に送信される前に、データおよび命令の少なくとも1つに補助情報が追加されてもよい。補助情報は、タイムスタンプ、可動物体の姿勢、速度、および位置のうちの1つまたは複数に関連する情報、および可動物体に配置されたキャリアの姿勢に関連する情報のうちの1つまたは複数を含み得る。このようにして、時間の同期化およびデータの同期化を達成することができる。
いくつかの実施形態では、処理タスクの特性は、処理タスクのデータ処理量に関連し得る。可動物体のプロセッサの処理能力は遠隔端末のプロセッサの処理能力よりも小さい場合があり、処理タスクのデータ処理量(処理タスクにより処理されるデータ量)が所定のデータ処理量の閾値より大きい場合、処理タスクは、遠隔端末で実行されてよい。この一方、処理タスクのデータ処理量が所定のデータ処理量の閾値を下回る場合、処理タスクは可動物体で実行されてもよい。
いくつかの実施形態では、処理タスクの特性は、処理タスクのデータ処理速度に関連し得る。可動物体のプロセッサの処理能力は、遠隔端末のプロセッサの処理能力よりも小さい場合があるため、処理タスクのデータ処理速度(処理タスクを実行するために必要なデータ処理速度)が所定のデータ処理速度の閾値以上である場合は、処理タスクが遠隔端末で実行される場合がある。この一方、処理タスクのデータ処理速度が所定のデータ処理速度閾値を下回る場合、処理タスクは可動物体で実行されてもよい。
いくつかの実施形態では、処理タスクの特性は、処理タスクのデータ容量に関連し得る。可動物体の重量制限のため、可動物体のデータ記憶容量は、遠隔端末のデータ記憶容量よりも低い場合がある。したがって、処理タスクのデータ容量(処理タスクによって処理される初期データ、処理タスク中に生成された中間データ、および、処理タスクの結果として生成された最終データの少なくともいずれかなど、処理タスクに関連するデータを保存するために必要なデータ容量/スペース)が所定のデータ容量閾値以上である場合、処理タスクは遠隔端末において実行されるとよい。一方、処理タスクのデータ容量が所定のデータ容量閾値を下回る場合、処理タスクは可動物体で実行されてもよい。
いくつかの実施形態では、処理タスクの特性は、処理タスクに必要な電力に関連し得る。可動物体の重量制限により、可動物体の電源の容量は制限される場合があり、それは、遠隔端末の電源の容量よりも小さい場合さえある。したがって、処理タスクに必要な電力が所定の電力閾値以上である場合、処理タスクは遠隔端末において実行され得る。一方、処理タスクに必要な電力が所定の電力閾値を下回る場合、処理タスクは可動物体で実行されてもよい。
図3は、本開示の一実施形態による計算負荷分散方法のアプリケーションのフローチャートの一例である。本実施形態では、可動物体のペイロードはカメラとすることができ、処理タスクは画像処理タスクとすることができる。図3に示すように、ステップ301で、画像は、可動物体に支持されるカメラを介して取得される。ステップ302で、処理タスクが画像処理タスクを含むことが決定される。
いくつかの実施形態では、可動物体に搭載されたカメラを使用して、例えば可動物体の周囲の画像を取得することができる。いくつかの実施形態では、画像は、画像処理タスクの対象となり得る。例えば、画像は、例えば、障害物回避および経路計画の少なくともいずれかを達成するために可動物体の位置を決定するために使用されてよい。いくつかの実施形態において、画像は、画像処理タスクの対象ではない場合がある。例えば、画像は、単にビデオ記録の目的で取得されてもよい。
ステップ303で、画像処理タスクをリモートで実行することが決定される。いくつかの実施形態では、画像が画像処理タスクの対象であると決定された後、画像処理タスクは、遠隔端末においてリモートで実行される必要がある場合がある。
ステップ304で、画像は遠隔端末に送信される。いくつかの実施形態では、遠隔端末において画像処理タスクをリモートで実行すると決定された後、画像は、可動物体と遠隔端末との間の伝送リンクを介して遠隔端末に送信され、その結果、画像処理タスクは、遠隔端末のプロセッサによって実行される。
いくつかの実施形態では、画像の関心領域(egion nterest;ROI)は、画像が遠隔端末に送信される前に決定されて、遠隔端末においてリモートで画像処理タスクを実行するのに必要な時間を短縮し、画像処理タスクの精度を向上させることができる。いくつかの実施形態では、画像の関心領域を決定することは、以前に取得された画像における目標物の座標を特定すること、および関心オブジェクトとして目標物の座標を囲む画像内の領域を決定することを含み得る。いくつかの実施形態では、画像全体ではなく、ROIを遠隔端末に送信することができる。他のいくつかの実施形態では、ROIを最初に送信することができ、ROIの送信が完了した後に画像の残余の部分を送信することができる。画像全体ではなくROIのみを送信するか、画像の他の部分を送信する前にROIを送信すると、遠隔端末においてリモートで画像処理タスクを実行するために必要な時間を短縮できる。いくつかの実施形態では、画像処理タスクの精度を改善するために、画像のROIの解像度を増加させ、一方で画像の残余の部分の解像度は変更しないままにするか、または減少させることができる。いくつかの実施形態では、画像のROIは、画像処理タスクの精度をさらに確実にするために、少なくとも2回遠隔端末に送信されてもよい。
可動物体の処理能力の使用を最適化するために、いくつかの実施形態では、画像を遠隔端末に送信することは、画像に対して画像信号処理(mage ignal rocessing;ISP)を実行することなく画像を遠隔端末に送信することを含み得る。したがって、画像は、カメラのセンサから画像伝送リンクのアイドルチャネルなどの伝送リンクのアイドルチャネルに直接送信され、そのチャネルを介して遠隔端末に送信され、これにより画像が可動物体の画像プロセッサによって処理される。
いくつかの実施形態では、遠隔端末のプロセッサの計算負荷を軽減するために、画像が遠隔端末に送信される前に、可動物体のプロセッサを使用することによって画像上で予備処理を実行することができる。したがって、遠隔端末の計算負荷は、部分的に可動物体に分散され得る。いくつかの実施形態では、予備処理は、画像の圧縮、解像度低減、および分割のうちの1つまたは複数を含み得る。画像の前処理が実行された後、処理された画像は、さらなる処理のために遠隔端末に送信されてもよい。
遠隔端末が画像を処理した後、処理結果が生成され、モバイル端末に送信される。遠隔端末と可動物体との間の同期化を改善するために、タイムスタンプを画像に追加して、時間同期を達成することができる。さらに、遠隔端末と可動物体との間の同期化を改善するために、画像に補助情報を追加してデータ同期を達成することがある。いくつかの実施形態では、補助情報は、可動物体の動き情報を含む。動き情報は、可動物体の位置、速度、および姿勢のうちの1つまたは複数を含み得る。いくつかの実施形態では、補助情報は、可動物体の構成要素の関連情報を含む。例えば、可動物体のコンポーネントの関連情報は、可動物体のジンバルの姿勢情報を含み得る。
図4は、本開示の別の実施形態による計算負荷分散方法の別のアプリケーションのフローチャートの一例である。この実施形態では、可動物体のペイロードは検出器とすることができ、処理タスクはルートクエリタスクとすることができる。図4に示すように、ステップ401で、可動物体の位置が特定される。ステップ402で、処理タスクがルートクエリタスクを含むことが決定される。ステップ403で、ルートクエリが生成される。
可動物体の操作性を確保するために、可動物体のオペレータは、可動物体が禁止されたスペースへ逸脱するのではなく計画されたルートに沿って移動していることを確認できるように、可動物体の位置をリアルタイムで認識する必要がある場合がある。このように、ルートクエリタスクが実行されるとよい。いくつかの実施形態では、可動物体は、可動物体の位置を特定することができるGPS受信機などの検出器を運ぶことができる。いくつかの実施形態では、検出器は、可動物体の位置をリアルタイムで特定することができる。他の実施形態では、検出器は、所定の時間間隔で可動物体の位置を特定することができる。
可動物体の位置が特定された後、可動物体の位置が経路照会タスクの対象であるかどうかを決定することができる。例えば、可動物体の位置は、可動物体が計画されたルートに沿って移動しているかどうかを識別するために使用されてもよい。可動物体が計画経路に沿って移動していると判定された場合、可動物体は、可動物体が目的地に到達するまで計画経路に沿って移動し続けることができる。いくつかの実施形態では、可動物体が計画経路に沿って移動していないと判定された場合、可動物体は目的地に到達できるように、計画経路に移動しなければならない場合がある。
ステップ404で、ルートクエリタスクをリモートで実行することが決定される。ステップ405で、可動物体の位置およびルートクエリが遠隔端末に送信される。
いくつかの実施形態では、地図を可動物体のメモリに格納することができ、ルートクエリを可動物体で実行することができる。これらの実施形態では、可動物体は、大量のデータを格納し、大量の電力を消費する可能性があるルートクエリなどの重い処理タスクを実行する必要がある場合がある。いくつかの実施形態では、処理タスクがルートクエリタスクであると決定された後、ルートクエリタスクが遠隔端末においてリモートで実行され得る。これらの実施形態では、可動物体の位置およびルートクエリは、可動物体と遠隔端末との間の伝送リンクを介して遠隔端末に送信され得、その結果、ルートクエリタスクは、遠隔端末のプロセッサによって実行され得る。
ステップ406で、遠隔端末からのクエリ結果が受信される。いくつかの実施形態では、遠隔端末が可動物体の位置およびルートクエリを可動物体から受信した後、遠隔端末のプロセッサを使用して、ルートクエリタスクを実行してクエリ結果を生成し、クエリ結果を可動物体に送信することができる。クエリ結果は、例えば、可動物体の現在のルートおよび可動物体の様々な代替ルートのうちの少なくともいずれかを含むことができる。可動物体は、クエリ結果を受信し、クエリ結果に基づいて、可動物体を再ルーティングするなどのさらなる操作を実行することができる。さらに、可動物体が遠隔端末からクエリ結果を受信した後、可動物体のプロセッサは、深度マップの変化を使用して可動物体のメモリに格納されたマップを更新することができる。
図5は、本開示の別の実施形態による計算負荷分散方法の別のアプリケーションのフローチャートの一例である。この実施形態では、本開示の計算負荷分散方法を、可動物体の軌道計画に使用することができる。
図5に示すように、ステップ501で、1つまたは複数の周囲の目標物の感知情報が、上記の伝送リンクを介して遠隔端末に送信される。いくつかの実施形態では、可動物体は、可動物体の周囲の1つまたは複数の目標物体を感知するためのセンサを搭載することができる。センサは、例えば視覚センサ、レーザーレーダ、マイクロ波レーダ、および超音波センサのいずれか1つまたは組み合わせを含み得る。いくつかの実施形態では、センサを使用して、1つまたは複数の周囲の目標物の感知情報を取得することができる。いくつかの実施形態では、感知情報は、位置、姿勢、速度、および1つまたは複数の周囲の目標物のそれぞれのオブジェクトタイプのうちの1つまたは複数を含むことができる。
ステップ502で、1つまたは複数の周囲のオブジェクトの関連情報が遠隔端末から受信される。いくつかの実施形態では、遠隔端末が1つまたは複数の周囲の目標物の感知情報を受信した後、遠隔端末は1つまたは複数の目標物を特定し、1つまたは複数の周囲のオブジェクトの関連情報を取得する。続いて、遠隔端末は、可動物体と遠隔端末との間の伝送リンクを介して、1つまたは複数の周囲の物体の関連情報を可動物体に送信することができる。いくつかの実施形態では、関連情報は、1つまたは複数の周囲の目標物のそれぞれの1つまたは複数の位置、姿勢、速度、およびオブジェクトタイプを含むことができる。追加的または代替的に、関連情報は、可動物体に対する1つまたは複数の周囲の目標物のそれぞれの1つまたは複数の位置、姿勢、および速度を含むことができる。
ステップ503で、1つまたは複数の周囲のオブジェクトの関連情報に基づいて、軌道計画が実行される。いくつかの実施形態では、可動物体が遠隔端末から1つまたは複数の周囲の物体の関連情報を受信した後、可動物体は、1つまたは複数の周囲の物体の関連情報に基づいて軌道計画を実行することができる。特に、軌道計画には障害物回避が含まれる場合がある。
本明細書で上述したように、遠隔端末と可動物体との間で計算負荷を分散することにより、可動物体の計算負荷を低減でき、それにより、可動物体のインテリジェンスおよび耐久性の少なくともいずれかを向上させながら可動物体の電力消費、重量およびサイズを低減することができる。
(C)計算負荷分散装置
(1)第1実施形態
図6は、本開示の一実施形態による例示的な計算負荷分散装置600のブロック図の一例である。図6に示すように、計算負荷分散装置600は、処理タスク決定モジュール10と、処理リソース決定モジュール20とを含む。処理タスク決定モジュール10は、直接接続または間接接続を介して処理リソース決定モジュール20に通信可能に接続され得る。
処理タスク決定モジュール10は、可動物体に関連する処理タスクを決定するよう構成され得る。可動物体に関連する処理タスクは、可動物体のコンポーネントまたはペイロードに関連するタスクであってよい。例えば、可動物体の構成要素は全地球測位システム(GPS)受信機であり得、ペイロードはカメラであり得る。いくつかの実施形態では、可動物体に関連する処理タスクは、画像取得タスク、画像処理タスク、画像認識タスク、経路照会タスク、軌道計画タスク、および障害物回避タスクのうちの1つまたは複数を含み得る。
処理リソース決定モジュール20は、処理タスクを可動物体でローカルに実行するか、遠隔端末においてリモートで実行するかを決定することにより、少なくとも部分的に処理タスクの特性に基づいて処理タスクを実行するための1つ以上の処理リソースを決定するように構成され得る。いくつかの実施形態では、処理タスクが可動物体の動きに関連する場合、処理タスクは可動物体でローカルに実行することができる。一方、処理タスクが可動物体の動きに関連していない場合、処理タスクは遠隔端末においてリモートで実行できる。
遠隔端末が可動物体と通信して可動物体とのデータ交換を容易にするように、遠隔端末と可動物体との間に伝送リンクを確立することができる。伝送リンクは、直接伝送リンクまたは間接伝送リンクであり得る。いくつかの実施形態では、送信リンクは、Wi-Fiリンク、ソフトウェア定義無線(SDR)リンク、または電気通信ネットワークを含み得る。さらに、遠隔端末と可動物体との間でデータを転送するための中継局としてサーバを使用することができる。
本開示の可動物体および遠隔端末はそれぞれ、処理ユニット、例えば、1つまたは複数のプロセッサを含むことができる。可動物体および遠隔端末の処理ユニットは、可動物体に関連する処理タスクを実行し、対応する処理結果を生成するように構成され得る。いくつかの実施形態では、可動物体の処理ユニットの処理能力は、遠隔端末の処理ユニットの処理能力よりも低くてもよい。したがって、可動物体でローカルに、および遠隔端末においてリモートでの少なくともいずれかで処理タスクを実行するかどうかは、例えば、どれだけの処理能力が必要かを決定できる処理タスクの特性に少なくとも部分的に基づいて決定できる。
いくつかの実施形態では、処理タスクの特性は、可動物体の動きに関連し得る。一方、処理リソース決定モジュール20が可動物体でローカルに処理タスクを実行すると決定した場合、処理タスクは可動物体で実行されて処理結果を生成することができる。いくつかの実施形態では、処理タスクは、可動物体で直ちに実行されてもよい。そのため、処理結果の生成にかかる時間は比較的短い場合がある。一方、処理リソース決定モジュール20が遠隔端末においてリモートで処理タスクを実行すると決定した場合、処理タスクに関連するデータおよび命令の少なくとも1つは、伝送リンクを使用して遠隔端末に送信される必要がある場合がある。上記の可動物体と遠隔端末との間。処理タスクに関連するデータおよび命令の少なくともいずれかを受信した後、処理タスクは、遠隔端末においてリモートで実行されて処理結果を生成し、次いで処理結果が可動物体に送信され得る。したがって、遠隔端末において処理結果の生成にかかる時間は、可動物体で処理結果の生成にかかる時間よりも長くなる可能性がある。可動物体の動きは、可動物体の安全性と密接に関連している可能性があるため、可動物体の動きに関連する処理タスクは、可動物体において局所的に実行され得る。一方、処理タスクが可動物体の動きに関連していない場合、処理タスクは遠隔端末においてリモートで実行されてもよい。
いくつかの実施形態では、計算負荷分散装置は、補助情報モジュールをさらに含むことができる。データおよび命令の少なくとも1つが遠隔端末に送信される前に、補助情報モジュールは、補助情報を取得して、データおよび命令の少なくとも1つに追加するように構成され得る。例えば、補助情報モジュールは、可動物体の異なる情報を感知するために可動物体に配置された1つ以上のセンサを含み得る。いくつかの実施形態では、補助情報は、タイムスタンプの1つまたは複数、姿勢、速度、および可動物体の位置の1つまたは複数に関連する情報、および可動物体に配置されたキャリアの姿勢に関連する情報を含み得る。このようにして、時間同期化およびデータ同期化を達成することができる。
(2)第2実施形態
図7は、本開示の別の実施形態による別の例示的な計算負荷分散装置700のブロック図の一例である。図7に示すように、計算負荷分散装置700は、処理タスク決定モジュール10と、処理リソース決定モジュール20と、画像取得モジュール30とを含む。
画像取得モジュール30は、例えば、可動物体に支持される撮像装置、例えば、カメラによって取り込まれた可動物体の周囲の画像を受信するように構成されてもよい。いくつかの実施形態では、画像は、画像処理タスクの対象となり得る。したがって、処理タスク決定モジュール10は、処理タスクが画像処理タスクを含むと決定することができる。さらに、処理リソース決定モジュール20は、画像処理タスクをリモートで実行することを決定することができる。画像が画像処理タスクの対象であると判定された後、画像処理タスクは、遠隔端末においてリモートで実行される必要がある場合がある。したがって、画像は、伝送リンクを介して遠隔端末に送信され得、その結果、画像処理タスクは、遠隔端末の処理ユニットによって実行され得る。
いくつかの実施形態では、画像が遠隔端末に送信される前に可動物体の処理ユニットを使用して画像の関心領域(ROI)を決定し、これにより、画像処理タスクをリモートで実行するために必要な時間を短縮して遠隔端末と画像処理タスクの精度を向上させることができる。いくつかの実施形態では、画像の関心領域を決定することは、以前に取得された画像における目標物の座標を特定すること、および関心オブジェクトとして目標物の座標を囲む画像内の領域を決定することを含み得る。いくつかの実施形態では、画像全体ではなく、ROIを遠隔端末に送信することができる。他のいくつかの実施形態では、ROIを最初に送信することができ、ROIの送信が完了した後に画像の残余の部分を送信することができる。画像全体ではなくROIのみを送信するか、画像の他の部分を送信する前にROIを送信すると、遠隔端末においてリモートで画像処理タスクを実行するために必要な時間を短縮できる。いくつかの実施形態では、画像処理タスクの精度を改善するために、画像のROIの解像度を増加させ、一方で画像の残余の部分の解像度は変更しないままにするか、または減少させることができる。いくつかの実施形態では、画像のROIは、画像処理タスクの精度をさらに確実にするために、少なくとも2回遠隔端末に送信されてもよい。
可動物体の処理能力の使用を最適化するために、いくつかの実施形態では、画像を遠隔端末に送信することは、画像に対して画像信号処理(ISP)を実行することなく画像を遠隔端末に送信することを含み得る。したがって、画像は、カメラのセンサから伝送リンクのアイドルチャネルに直接送信され、次いでそのチャネルを介して遠隔端末に送信されて、可動物体の処理ユニットによって画像を処理することができる。
いくつかの実施形態では、遠隔端末の処理ユニットの計算負荷を軽減するために、画像が遠隔端末に送信される前に、画像に対して可動物体の処理ユニットを使用することによって予備処理を実行することができる。したがって、遠隔端末の計算負荷は、部分的に可動物体に分散され得る。
(3)第3実施形態
図8は、本開示の別の実施形態による別の例示的な計算負荷分散装置800のブロック図である。図8に示すように、計算負荷分散装置800は、処理タスク決定モジュール10、処理リソース決定モジュール20、測位モジュール40、ルートクエリ生成モジュール50、およびマップ更新モジュール60を含む。
測位モジュール40は、可動物体に支持されるGPS受信機から可動物体の位置に関するデータを受信するように構成され得る。いくつかの実施形態では、GPS受信機は、可動物体の位置をリアルタイムで特定することができる。他の実施形態では、GPS受信機は、所定の時間間隔で可動物体の位置を特定することができる。
可動物体の位置が特定された後、可動物体の位置がルートクエリタスクの対象であるかどうかは、処理タスク決定モジュール10によって決定され得る。処理タスク決定モジュール10が、可動物体の位置がルートクエリタスクの対象であると決定した場合、ルートクエリ生成モジュール50を使用して、ルートクエリを生成することができる。したがって、処理タスク決定モジュール10は、処理タスクがルートクエリタスクを含むと決定することができ、処理リソース決定モジュール20は、ルートクエリタスクをリモートで実行することを決定することができる。可動物体の位置がルートクエリタスクの対象であると決定された後、可動物体の位置およびルートクエリは、伝送リンクを介して遠隔端末に送信されてもよい。
遠隔端末が可動物体の位置および可動物体からのルートクエリを受信した後、遠隔端末の処理ユニットを使用して、ルートクエリタスクを実行し、クエリ結果を生成し、可動物体にクエリ結果を送信することができる。可動物体は、クエリ結果を受信し、クエリ結果に基づいて、可動物体を再ルーティングするなどのさらなる操作を実行することができる。したがって、可動物体が遠隔端末からクエリ結果を受信した後、マップ更新モジュール60を使用して、深度マップの変化を使用して可動物体に格納された地図情報を更新することができる。
本開示の計算負荷分散装置は、上記の例示的な方法のうちの1つなど、本開示と一致する方法の一部またはすべてを実装するために使用され得る。例えば、本開示と一致する計算負荷分散装置は、上で説明した例示的な方法の1つなど、本開示と一致する方法の1つまたは複数のプロセスを実行するようにそれぞれ構成される1つまたは複数の追加モジュールを含むことができる。計算負荷分散装置の実装原理および技術的効果は、対応する方法のものと同じまたは同様であり、したがって、その詳細は、本明細書では再度説明されない。
(4)第4実施形態
図9は、本開示のさらに別の実施形態による計算負荷分散装置900の概略構造図である。計算負荷分散装置900は、本開示で説明される例示的な方法のうちの1つなど、本開示と一致する方法を実行するように構成される。図9に示すように、計算負荷分散装置900は、コンピュータプログラムを格納するメモリ910と、コンピュータプログラムを実行して、本明細書に記載の方法の1つなど、本開示と一致する方法の一部またはすべてを実行するように構成されたプロセッサ950とを含む。
メモリ910は、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、消去可能プログラマブル読み出し専用メモリ(EPROM)、電気的消去可能な読み取り専用メモリ(EEPROM)、またはUSBメモリなどのフラッシュメモリの少なくとも1つを含むことができるコンピュータ可読記憶媒体を含むことができる。
プロセッサ950は、中央処理装置(CPU)、マイクロプロセッサ(MPU)、デジタル信号プロセッサ(DSP)、またはフィールドプログラマブルゲートアレイ(FPGA)を含み得る。いくつかの実施形態では、プロセッサ950は、メモリ910に格納されたコンピュータプログラムを実行して、可動物体に関連する処理タスクを決定し、少なくとも部分的に処理タスクの特性に基づいて処理タスクを実行するための1つまたは複数の処理リソースを決定することができる。この決定は、処理タスクを可動物体でローカルに実行するか、遠隔端末においてリモートで実行するかを含む。
いくつかの実施形態では、処理タスクが可動物体の動きに関連する場合、処理タスクは、航空機で局所的に実行される。一方、処理タスクが移動式航空機の動きに関連していない場合、処理タスクは遠隔端末においてリモートで実行される。いくつかの実施形態では、遠隔端末において処理タスクをリモートで実行すると決定された場合、処理タスクに関連するデータおよび命令の少なくとも1つは、可動物体との間の伝送リンクを介して遠隔端末に最初に送信される必要がある場合がある。処理タスクに関連するデータおよび命令の少なくともいずれかを受信した後、遠隔端末は、例えばそのプロセッサを介して、処理タスクを実行して処理結果を生成することができ、次いで処理結果は可動物体に送信され得る。
いくつかの実施形態では、プロセッサ950は、データおよび命令のうちの少なくとも1つが遠隔端末に送信される前に、データおよび命令のうちの少なくとも1つに補助情報を追加するようにさらに構成され得る。補助情報は、タイムスタンプ、可動物体の姿勢、速度、および位置のうちの1つまたは複数に関連する情報、および可動物体に配置されたキャリアの姿勢に関連する情報のうちの1つまたは複数を含み得る。このようにして、時間同期化およびデータ同期化を達成することができる。
いくつかの実施形態では、可動物体に支持されるカメラなどのペイロードを使用して、例えば、可動物体の周囲の画像を取得することができる。いくつかの実施形態では、画像は、画像処理タスクの対象となり得る。したがって、プロセッサ950は、処理タスクが画像処理タスクを含むことを決定し、リモートで画像処理タスクを実行することを決定することによって1つまたは複数の処理リソースを決定するように構成され得る。画像が画像処理タスクの対象であると判定された後、画像処理タスクは、遠隔端末においてリモートで実行される必要がある場合がある。
いくつかの実施形態では、プロセッサ950は、画像が遠隔端末に送信される前に、画像の関心領域(ROI)を決定するように構成されてもよい。いくつかの実施形態では、画像の関心領域を決定することは、以前に取得された画像における目標物の座標を特定すること、および関心オブジェクトとして目標物の座標を囲む画像内の領域を決定することを含み得る。いくつかの実施形態では、画像全体ではなく、ROIを遠隔端末に送信することができる。他のいくつかの実施形態では、ROIを最初に送信することができ、ROIの送信が完了した後に画像の残余の部分を送信することができる。いくつかの実施形態では、画像処理タスクの精度を改善するために、画像のROIの解像度を増加させ、一方で画像の残余の部分の解像度は変更しないままにするか、または減少させることができる。いくつかの実施形態では、画像のROIは、画像処理タスクの精度をさらに確実にするために、少なくとも2回遠隔端末に送信されてもよい。
いくつかの実施形態では、ペイロードは、可動物体に支持されるGPS受信機であり得る。GPS受信機は、可動物体の位置を特定するように構成され得る。いくつかの実施形態では、可動物体の位置は、ルートクエリタスクの対象となり得る。したがって、プロセッサ950は、処理タスクがルートクエリタスクを含むことを決定し、ルートクエリタスクをリモートで実行することを決定することによって1つまたは複数の処理リソースを決定するように構成され得る。さらに、プロセッサ950は、可動物体の位置がルートクエリタスクの対象であると判定された場合、ルートクエリを生成するようにさらに構成され得る。
いくつかの実施形態では、ルートクエリタスクは、遠隔端末において実行されてもよい。したがって、可動物体の位置およびルートクエリは、遠隔端末に送信され得る。遠隔端末が可動物体の位置およびルートクエリを可動物体から受信した後、遠隔端末は、ルートクエリタスクを実行し、クエリ結果を生成し、クエリ結果を可動物体に送信することができる。可動物体は、クエリ結果を受信し、クエリ結果に基づいて、可動物体を再ルーティングするなどのさらなる操作を実行することができる。したがって、プロセッサ950は、可動物体が遠隔端末からクエリ結果を受信した後、深度マップの変更を使用して可動物体(その記憶装置など)に格納された地図情報を更新するようにさらに構成され得る。
いくつかの実施形態では、上記の動作に加えて、プロセッサ950は、本開示と一致する他の動作を実行するようにさらに構成され得る。例えば、プロセッサ950は、本開示で説明される例示的な方法の1つなど、本開示と整合する方法(プロセッサ950によって実行されることが明示的に説明されていない方法)の一部またはすべてを実行するようにさらに構成され得る。計算負荷分散装置900の動作については、本開示で説明される対応する例示的な方法を参照することができるため、その詳細な説明は省略する。
(D)可動物体および遠隔装置
図10は、本開示の実施形態による、例示的な可動物体1000および例示的な遠隔端末1030を示す概略図の一例である。可動物体1000は、例えば、航空機であり得る。航空機は図10では回転翼航空機として描かれているが、この描写は限定を意図するものではなく、任意の適切なタイプの航空機を使用することができる。当業者は、航空機システムとの関連で本明細書に記載されている実施形態のいずれも、任意の適切な航空機(例えば、UAV)に適用できることを理解するであろう。
図10に示すように、可動物体1000は、キャリア1002およびペイロード1004を含む。いくつかの実施形態では、キャリア1002はジンバルであり得、ペイロード1004は、カメラ、GPS受信機、および機械的アームのうちの1つ以上であり得る。いくつかの実施形態では、ペイロード1004は、キャリア1002を必要とせずに可動物体1000に提供されてもよい。
図10に示すように、可動物体1000は、推進システム1006、プロセッサ1008、通信システム1010、およびメモリ1012をさらに含む。
推進システム1006は、ローター、プロペラ、ブレード、エンジン、モーター、ホイール、車軸、磁石、およびノズルのうちの1つまたは複数を含むことができる。可動物体1000は、1つ以上、2つ以上、3つ以上、または4つ以上の推進システムを有し得る。推進システムはすべて同じタイプであってもよいし、1つ以上の推進システムが異なるタイプの推進システムであってもよい。推進システム1006は、支持要素(例えば、駆動シャフト)などの任意の適切な手段を使用して可動物体1000に取り付けることができる。推進システム1006は、可動物体1000の上部、下部、前部、後部、側部、またはそれらの適切な組み合わせなどで可動物体1000の任意の適切な部分に取り付けることができる。
いくつかの実施形態では、推進システム1006は、可動物体1000の水平移動を必要とせずに(例えば、滑走路を走行することなく)、可動物体1000が地表など物体の表面から垂直に離陸するか、表面に垂直に着陸することを可能にすることができる。任意選択で、推進システム1006は、可動物体1000が特定の位置および特定の向きの少なくともいずれかで空中をホバリングできるように動作可能であり得る。推進システム1006のうちの1つ以上は、他の推進システムとは独立して制御され得る。あるいは、推進システム1006は、同時に制御されるように構成することができる。例えば、可動物体1000は、可動物体1000に揚力および推力の少なくともいずれかを提供することができる複数の水平に向けられたローターを有することができる。複数の水平に配向されたローターを作動させて、垂直離陸、垂直着陸、およびホバリングの機能を可動物体1000に提供することができる。いくつかの実施形態では、水平に向けられたローターの1つ以上が時計回り方向に回転してもよく、一方、水平なローターの1つ以上が反時計回り方向に回転してもよい。例えば、時計回りの回転子の数は、反時計回りの回転子の数と等しくてもよい。各ローターによって生成される揚力および推力の少なくともいずれかを制御し、それによって可動物体1000の空間配置、速度、および加速の少なくともいずれかを(例えば、互いに直交する3つの直線方向並びに該3方向の各々を中心とする3つの回転に関して)調整するために、水平に向けられた各ローターの回転速度を独立して変えることができる。
通信システム1010は、可動物体1000と遠隔端末1030との間の通信を可能にする。図10に示すように、遠隔端末は通信システム1040を含み、伝送リンク1014は、可動物体1000の通信システム1010と遠隔端末1030の通信システム1040との間に確立され得る。通信システム1010および1040のそれぞれは、無線通信に適した任意の数の送信機、受信機、およびトランシーバの少なくともいずれかを含み得る。通信は、データが一方向にのみ送信できるように、一方向通信であってもよい。例えば、一方向通信は、可動物体1000のみが遠隔端末1030にデータを送信すること、またはその逆を含み得る。データは、通信システム1010の1つまたは複数の送信機から通信システム1040の1つまたは複数の受信機に、またはその逆に送信することができる。通信はまた、双方向通信であってもよく、その結果、データは、可動物体1000と遠隔端末1030との間で両方向に送信され得る。双方向通信は、通信システム1010の1つまたは複数の送信機から通信システム1040の1つまたは複数の受信機へ、およびその逆にデータを送信することを含むことができる。いくつかの実施形態では、伝送リンク1014は、Wi-Fiリンク、ソフトウェア定義無線(SDR)リンク、または電気通信ネットワークを含み得る。いくつかの実施形態では、サーバは、遠隔端末1030と可動物体1000との間でデータを転送するための中継局として使用されてもよい。
いくつかの実施形態では、遠隔端末1030は、可動物体1000、キャリア1002、およびペイロード1004の1つまたは複数に制御データを提供し、可動物体1000、キャリア1002、およびペイロード1004の1つまたは複数から情報(例えば、可動物体1000、キャリア1002、またはペイロード1004の位置情報および動き情報の少なくともいずれかの他、例えばペイロード1004としてカメラによって取り込まれた画像データなどの、ペイロード1004によって検知されたデータなど)を受信することができる。
いくつかの実施形態では、遠隔端末1030からの制御データまたは命令は、可動物体1000、キャリア1002、およびペイロード1004の少なくともいずれかの相対位置、移動、作動、または制御のための命令を含み得る。例えば、制御データは、(例えば、推進システム1006の制御を介して)可動物体100の位置および向きの少なくともいずれかの修正、または(例えば、キャリア1002の制御を介して)可動物体1000に対するペイロード1004の移動をもたらし得る。遠隔端末1030からの制御データは、ペイロード1004としてのカメラまたは他の撮像装置の動作の制御(例えば、静止画または動画の撮影、ズームインまたはズームアウト、オンまたはオフ、イメージングモードの切り替え、画像解像度の変更、焦点の変更、被写界深度の変更、露光時間の変更、視野角または視野の変更など)のようなペイロード1004の制御をもたらし得る。
いくつかの実施形態では、可動物体1000、キャリア1002、およびペイロード1004の少なくともいずれかからの通信は、1つまたは複数のセンサ(例えば、ペイロード1004としての位置決め装置)からの情報を含み得る。通信は、1つ以上の異なるタイプのセンサ(例えば、GPSセンサ、モーションセンサ、慣性センサ、近接センサ、および画像センサの少なくともいずれか)からの感知された情報を含み得る。そのような情報は、可動物体1000、キャリア1002、およびペイロード1004の少なくともいずれかの位置(例えば、場所、向き)、移動、または加速に関係し得る。ペイロード1004からのそのような情報は、ペイロード1004によって捕捉されたデータまたはペイロード1004の感知された状態を含み得る。
いくつかの実施形態では、キャリア1002およびペイロード1004はそれぞれ、遠隔端末1030と通信するよう構成された通信回路を含むことができ、これにより、遠隔端末1030は、可動物体1000、キャリア1002、およびペイロード1004のそれぞれと独立に通信して制御できる。
メモリ1012は、キャリア1002、ペイロード1004、および推進システム1006の動作など、可動物体1000の動作を制御するために必要な1つまたは複数のコンピュータプログラムなどを格納することができる。メモリ1012はさらに、読み出されることにより、本開示で説明される例示的な方法の1つなど、本開示に一致する方法の一部またはすべてを、例えばプロセッサ1008に実行させる1つまたは複数のコンピュータプログラムを格納することができる。本開示に一致する方法には、上述した計算負荷分散方法と以下に述べるデータ処理方法との少なくともいずれかを含む。メモリ1012は、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、消去可能プログラマブル読み出し専用メモリ(EPROM)、電気的消去可能な読み取り専用メモリ(EEPROM)、およびUSBメモリなどのフラッシュメモリの少なくとも1つを含むことができるコンピュータ可読記憶媒体を含むことができる。メモリ1012は、可動物体1000の内部に配置されてもよく、可動物体1000から取り外し可能に構成されてもよい。
プロセッサ1008は、可動物体1000に配置されてもよく、メモリ1012に格納されたコンピュータプログラムおよび命令の少なくともいずれかを実行して、本開示に記載されている例示的な方法の1つなどの本開示と一致する方法の一部またはすべてを実行するように構成されてよい。いくつかの実施形態では、プロセッサは、中央処理装置(CPU)、マイクロプロセッサ(MPU)、デジタル信号プロセッサ(DSP)、またはフィールドプログラマブルゲートアレイ(FPGA)であってよい。
いくつかの実施形態では、メモリ1012に格納されたコンピュータプログラムがプロセッサ1008に読み出されて実行されると、プロセッサ1008は、可動物体1000に関連する処理タスクを決定し、処理タスクを実行するための1つまたは複数の処理リソースを、少なくとも部分的には処理タスクの特性に基づいて決定することができる。この決定には、処理タスクを可動物体1000でローカルに実行するか、遠隔端末1030においてリモートで実行するかが含まれる。
いくつかの実施形態では、処理タスクが可動物体1000の動きに関連する場合、処理タスクは、例えば可動物体1000のプロセッサ1008を使用することによって、可動物体1000でローカルに実行される。この一方、処理タスクが可動物体1000の動きに関連しない場合、処理タスクは、例えば、遠隔端末1030のプロセッサ1032を使用することによって、遠隔端末1030においてリモートで実行される。いくつかの実施形態では、遠隔端末1030においえリモートで処理タスクを実行すると決定された場合、処理タスクに関連するデータおよび命令のうちの少なくとも1つは、可動物体1000および遠隔端末1030間の上述した伝送リンク1014を使用して遠隔端末1030に最初に送信される必要がある。処理タスクに関連するデータおよび命令の少なくともいずれかを受信した後、遠隔端末1030のプロセッサ1032は、処理タスクを実行し、処理結果を生成することができ、次いで、処理結果は、可動物体1000に送信されることができる。
いくつかの実施形態では、データおよび命令の少なくとも1つが遠隔端末1030に送信される前に、データおよび命令の少なくとも1つに補助情報が追加されてもよい。補助情報は、タイムスタンプの1つまたは複数、可動物体1000の姿勢、速度、および位置の1つまたは複数に関する情報、および可動物体1000に配置されたキャリア1002の姿勢に関する情報を含むことができる。このようにして、時間同期化およびデータ同期化を達成することができる。
いくつかの実施形態では、図10に示されるように、可動物体1000は、撮像装置1016をさらに含む。撮像装置1016は、可動物体1000によって支持されるカメラを含み、例えば、可動物体1000の周囲の画像を取得するように構成され得る。いくつかの実施形態では、画像は、画像処理タスクの対象となり得る。したがって、可動物体1000のプロセッサ1008は、処理タスクが画像処理タスクを含むことを決定し、画像処理タスクをリモートで実行することを決定することによって1つまたは複数の処理リソースを決定するようにさらに構成され得る。画像が画像処理タスクの対象であると決定された後、画像処理タスクは、遠隔端末1030においてリモートで実行される必要がある場合がある。したがって、画像は、通信システム1010を使用して伝送リンク1014を介して遠隔端末1030に送信され得、その結果、画像処理タスクは、遠隔端末1030のプロセッサ1032によって実行され得る。
いくつかの実施形態において、遠隔端末1030においてリモートで画像処理タスを実行するために必要な時間を短縮し、画像処理タスクの精度を向上させるため、可動物体1000のプロセッサ1008を使用することにより画像が遠隔端末1030に送信される前に画像の関心領域(ROI)決定される。いくつかの実施形態では、画像の関心領域を決定することは、以前に取得された画像における目標物の座標を特定すること、および関心オブジェクトとして目標物の座標を囲む画像内の領域を決定することを含み得る。いくつかの実施形態では、画像全体ではなく、ROIを遠隔端末1030に送信することができる。他のいくつかの実施形態では、ROIを最初に送信することができ、ROIの送信が完了した後に画像の残余の部分を送信することができる。画像全体ではなくROIのみを送信するか、画像の他の部分を送信する前にROIを送信すると、遠隔端末においてリモートで画像処理タスクを実行するために必要な時間を短縮できる。いくつかの実施形態では、画像処理タスクの精度を改善するために、画像のROIの解像度を増加させ、一方で画像の残余の部分の解像度は変更しないままにするか、または減少させることができる。いくつかの実施形態では、画像のROIは、画像処理タスクの精度をさらに保証するために、少なくとも2回遠隔端末1030に送信されてもよい。
可動物体1000の処理能力の使用を最適化するために、いくつかの実施形態では、画像は、画像に対して画像信号処理(ISP)を実行することなく遠隔端末1030に送信されてもよい。したがって、画像は、カメラのセンサから伝送リンク1014のアイドルチャネルに直接送信され、次いで、そのチャネルを介して遠隔端末に送信され、可動物体1000のプロセッサ1008などの画像プロセッサによって画像を処理することができる。
いくつかの実施形態では、遠隔端末のプロセッサ1032の計算負荷を軽減するために、画像が遠隔端末1030に送信される前に、画像に対して可動物体1000のプロセッサ1008を使用することによって予備処理を実行することができる。したがって、遠隔端末1030の計算負荷は、部分的に可動物体1000に分散され得る。
いくつかの実施形態では、図10に示されるように、可動物体1000は、位置決め装置1018をさらに含む。位置決め装置1018は、可動物体1000に支持されるGPS受信機を含み、可動物体1000の位置を特定するように構成され得る。いくつかの実施形態では、位置決め装置1018は、可動物体1000の位置をリアルタイムで特定し得る。他の実施形態では、位置決め装置1018は、所定の時間間隔で可動物体1000の位置を特定することができる。
可動物体1000の位置が特定された後、可動物体1000の位置がルートクエリタスクの対象であるかどうかを決定することができる。可動物体の位置がルートクエリタスクの対象であると判定された場合、プロセッサ1008を使用して、ルートクエリを生成することができる。
さらに、可動物体1000のプロセッサ1008は、処理タスクがルートクエリタスクを含むことを決定し、ルートクエリタスクをリモートで実行することを決定することによって1つまたは複数の処理リソースを決定するようにさらに構成され得る。可動物体100の位置がルートクエリタスクの対象であるとプロセッサ1008が決定した後、可動物体1000の位置およびルートクエリは、伝送リンク1014を介して通信システム1010によって遠隔端末1030に送信され得る。
遠隔端末1030が可動物体1000の位置および可動物体からルートクエリを受信した後、遠隔端末のプロセッサ1032は、ルートクエリタスクを実行し、クエリ結果を生成し、クエリ結果を可動物体1000に送信するために使用することができる。可動物体1000は、クエリ結果を受信し、クエリ結果に基づいて、可動物体を再ルーティングするなどのさらなる動作を実行することができる。したがって、可動物体1000が遠隔端末1030からクエリ結果を受信した後、プロセッサ1008を使用して、深度マップの変化を使用して可動物体1000に格納された地図情報を更新することができる。
いくつかの実施形態では、上記の動作に加えて、プロセッサ1008は、メモリ1012に格納されたコンピュータプログラムを読み出して実行し、本開示で説明される例示的な方法の1つなど、本開示と一致する(プロセッサ1008によって実行されるものと上記で明確に説明されていない)方法の一部またはすべてを実行するようにさらに構成され得る。プロセッサ1008の動作の実装原理および技術的効果は、対応する方法のものと同じまたは同様であり、したがって、その詳細は、本明細書では再度説明されない。
(E)データ処理方法
図11は、本開示の一実施形態に係るデータ処理方法のフローチャートの一例である。図11に示すように、ステップ1101で、処理タスクは複数のサブタスクに分割される。ステップ1102において、複数のサブタスクは、複数のサブタスクの少なくとも特性に基づいて処理するために、可動物体および遠隔端末のうちの少なくとも1つに割り当てられる。いくつかの実施形態では、処理タスクは、画像処理タスク、軌道計画タスク、マップ更新タスク、および経路照会タスクのうちの1つまたは複数を含むことができる。さらに、いくつかの実施形態では、複数のサブタスクは、画像取得サブタスク、画像認識サブタスク、情報取得サブタスク、オブジェクト特定サブタスク、関連情報取得サブタスク、計画サブタスク、変更取得サブタスク、更新サブタスク、位置特定サブタスク、およびルート決定サブタスクのうちの1つまたは複数を含むことができる。特に、複数のサブタスクは、異なる順序で処理されてもよい。
いくつかの実施形態では、複数のサブタスクのそれぞれが優先度を有することができ、複数のサブタスクの割り当ては、少なくとも部分的にサブタスクの優先度に基づくことができる。例えば、閾値優先度以上の優先度を有するサブタスクを可動物体に割り当てることができ、例えば、よりタイムリーに実行することができる。一方、閾値優先度よりも低い優先度を有するサブタスクは、遠隔端末に割り当てることができ、例えば、より高い精度で実行することができる。いくつかの実施形態では、サブタスクの優先度は、例えば、サブタスクの特性、関係するデータの量、および必要な計算および処理能力の少なくともいずれかなどの様々な要因に依存する可能性がある。
いくつかの実施形態では、複数のサブタスクは、第1サブタスクおよび第2サブタスクを含むことができ、第1サブタスクおよび第2サブタスクは、異なる優先順位を有することができる。いくつかの実施形態では、(例えば、第1サブタスクがより高い優先順位を有するために)第1サブタスクが可動物体によって処理され得、(例えば第2サブタスクがより低い優先順位を有するために)第2サブタスクが遠隔端末によって処理され得る。このように、少なくとも複数のサブタスクの特性に基づいて処理するために、複数のサブタスクを可動物体および遠隔端末の少なくとも1つに割り当てることは、可動物体で第1サブタスクを実行し、第2サブタスクを遠隔端末に送信することを含めてよい。
サブタスクは、可動物体または遠隔端末において処理される。いくつかの実施形態では、可動物体の重量制限および安全要件により、可動物体で処理されているサブタスクは、可動物体の動きおよび遠隔端末で処理されているサブタスクの少なくともいずれかに関連するサブタスクである場合もあるし、可動物体の動きに関連しないサブタスクである場合もある。いくつかの実施形態では、比較的少量のデータ量を伴うか、またはより少ないリソースを必要とするサブタスクを、可動物体で実行することができる。例えば以下のうちの少なくともいずれかの場合があり得る。すなわち、可動物体1000で処理されているサブタスクのデータ処理量が、遠隔端末1030において処理されているサブタスクのデータ処理量よりも少ない場合;可動物体1000で処理されているサブタスクのデータ処理速度が、遠隔端末1030において処理されているサブタスクのデータ処理速度よりも遅い場合;可動物体1000で処理されているサブタスクのデータ容量が、遠隔端末1030において処理されているサブタスクのデータ容量よりも小さい場合;可動物体1000で処理されているサブタスクに必要な計算能力が、遠隔端末1030において処理されているサブタスクに必要な計算能力よりも低い場合;および、可動物体1000で処理されているサブタスクに必要な電力量が、遠隔端末1030において処理されているサブタスクに必要な電力量よりも小さい場合などである。
いくつかの実施形態では、第1サブタスクは、第1サブタスク結果を生成するために可動物体で処理されてもよい。第1サブタスク結果は、可動物体と遠隔端末との間の伝送リンクを介して遠隔端末に伝送され得る。続いて、第2サブタスクは、第1サブタスク結果に基づいて遠隔端末において処理され、最終的な処理結果を生成することができる。
いくつかの実施形態では、第2サブタスクは、遠隔端末において処理されて、第2サブタスク結果を生成することができる。第2サブタスク結果は、可動物体と遠隔端末との間の送信リンクを介して可動物体に送信され得る。続いて、第1サブタスクが、第2サブタスクの結果に基づいて可動物体で処理されて、最終的な処理結果を生成することができる。いくつかの実施形態では、最終処理結果は、さらなる処理のために遠隔端末に送信されてよい。いくつかの実施形態では、第2サブタスクが遠隔端末において処理される前に、取得されたデータ(例えば、取得された画像、可動物体の位置など)が可動物体から遠隔端末に送信されてよい。これにより、取得されたデータを使用して遠隔端末が第2サブタスクを処理することができる
いくつかの実施形態では、処理タスクは画像処理タスクを含み、複数のサブタスクは画像取得サブタスクと画像認識サブタスクを含む。画像取得サブタスクは、可動物体に搭載されたペイロード(例えば、カメラ)を使用して画像を取得できるため、可動物体に割り当てることができる。さらに、画像認識サブタスクはより多くの処理能力を必要とする可能性があるため、画像認識サブタスクは、比較的高い処理能力を有し得る遠隔端末に割り当てられ得る。したがって、可動物体のペイロードによって取得された画像は、遠隔端末が画像を認識するために遠隔端末に送信され得る。
いくつかの実施形態では、処理タスクは、軌道計画タスクを含み、複数のサブタスクは、情報取得サブタスク、オブジェクト特定サブタスク、関連情報取得サブタスク、および計画サブタスクのうちの少なくとも1つを含むことができる。
情報取得サブタスクは、例えば、可動物体に配置された感知装置によって可動物体で実行することができ、目標物体の情報を取得することを含むことができる。感知装置は、全地球測位システム(GPS)センサ、モーションセンサ、慣性センサ、近接センサ、および画像センサの少なくともいずれかを含み得る。いくつかの実施形態では、感知装置を使用して、気象条件、潜在的な障害物への近接性、地理的特徴の場所、人工構造物の場所など、可動物体を取り巻く環境に関するデータを提供することができる。目標物の情報を取得した後、目標物の情報を遠隔端末に送信し、オブジェクト特定サブタスクを遠隔端末などで実行して、目標物の情報に基づいて目標物を特定できる。
目標物が特定された後、関連情報取得サブタスクは、例えば遠隔端末において実行されて、目標物の関連情報を取得することができる。いくつかの実施形態では、関連情報は、可動物体に対する目標物の位置、姿勢、および速度のうちの1つまたは複数を含み得る。目標物の関連情報が取得された後、目標物の関連情報を可動物体に送信し、計画サブタスクを、例えば可動物体で実行して、少なくとも部分的に目標物体の関連情報に基づいて可動物体の軌道を計画することができる。これにより、例えば、目標物体を回避するため、または目標物体に向かうために、計画された軌道に沿って可動物体を移動し得る。
いくつかの実施形態では、可動物体によって運ばれるペイロードを使用することによって目標物の情報を取得することができるので、情報取得サブタスクを可動物体に割り当てることができる。いくつかの実施形態では、目標物を特定し、目標物の関連情報を取得することは、より多くの処理能力を必要とする場合があるため、オブジェクト特定サブタスクおよび関連情報取得サブタスクを遠隔端末に割り当てることができる。いくつかの実施形態では、計画サブタスクを実行するために必要な処理能力は比較的小さい可能性があるため、計画サブタスクを可動物体に割り当てることができる。例えば、計画サブタスクは、特定サブタスクおよび関連情報取得サブタスクよりも少ない処理能力を必要とする場合がある。
いくつかの実施形態では、処理タスクは、マップ更新タスクを含み、複数のサブタスクは、変更取得サブタスクおよび更新サブタスクのうちの少なくとも1つを含むことができる。いくつかの実施形態では、変化取得サブタスクを可動物体に割り当てることができ、可動物体によって運ばれる上述の感知装置を使用して、可動物体の位置および可動物体の周囲の物体を決定して、例えば、地図の変更を取得することができる。いくつかの実施形態では、地図情報は大量の記憶スペースを必要とする可能性があるため、地図情報は遠隔端末に格納することができる。したがって、地図の変更を遠隔端末に送信することができ、更新サブタスクを遠隔端末に割り当てて、可動物体によって取得された地図情報の変更量に基づいて地図情報を更新することができる。
いくつかの実施形態では、処理タスクは、ルートクエリタスクを含み、複数のサブタスクは、位置特定サブタスクおよびルート決定サブタスクの少なくとも1つを含む。いくつかの実施形態では、位置特定サブタスクを可動物体に割り当てることができ、上述の可動物体によって運ばれる感知装置を使用して、可動物体の位置を特定(決定)することができる。いくつかの実施形態では、経路の計算はより多くの処理能力を必要とする場合があるため、ルート決定サブタスクは、可動物体よりも比較的高い処理能力を有し得る遠隔端末に割り当てられ得る。
(F)データ処理装置
図12は、本開示の実施形態によるデータ処理装置1200のブロック図である。図12に示すように、データ処理装置1200は、分割モジュール1210および割り当てモジュール1220を含む。分割モジュール1210は、直接接続または間接接続を介して割り当てモジュール1020に通信可能に接続され得る。
分割モジュール1210は、処理タスクを複数のサブタスクに分割するように構成でき、割り当てモジュール1220は、少なくとも複数のサブタスクに基づいて処理するために複数のサブタスクを可動物体および遠隔端末の少なくとも1つに割り当てるように構成できる。複数のサブタスクの特性。いくつかの実施形態では、処理タスクは、画像処理タスク、軌道計画タスク、マップ更新タスク、および経路照会タスクのうちの1つまたは複数を含むことができる。いくつかの実施形態では、複数のサブタスクは、画像取得サブタスク、画像認識サブタスク、情報取得サブタスク、オブジェクト特定サブタスク、関連情報取得サブタスク、計画サブタスク、変更取得サブタスク、更新サブタスク、位置特定サブタスク、およびルート決定サブタスクの一つまたは複数を含んでよい。いくつかの実施形態では、複数のサブタスクは、異なる順序で処理されてもよい。
いくつかの実施形態では、複数のサブタスクのそれぞれが優先度を有することができ、複数のサブタスクの割り当ては、少なくとも部分的にサブタスクの優先度に基づくことができる。例えば、閾値優先度以上の優先度を有するサブタスクを可動物体に割り当てることができ、例えば、よりタイムリーに実行することができる。一方、閾値優先度よりも低い優先度を有するサブタスクは、遠隔端末に割り当てることができ、例えば、より高い精度で実行することができる。いくつかの実施形態では、サブタスクの優先度は、例えば、サブタスクの特性、関係するデータの量、および必要な計算および処理能力の少なくともいずれかなどの様々な要因に依存する可能性がある。
いくつかの実施形態では、複数のサブタスクは、第1サブタスクおよび第2サブタスクを含むことができ、第1サブタスクおよび第2サブタスクは、異なる優先順位を有することができる。いくつかの実施形態では、第1サブタスクは可動物体によって処理されてもよく、第2サブタスクは遠隔端末によって処理されてもよい。したがって、割り当てモジュール1220は、第1サブタスクを可動物体に割り当て、第2サブタスクを遠隔端末に割り当てることができる。
いくつかの実施形態では、処理タスクは画像処理タスクを含み、分割モジュール1210は画像処理タスクを画像取得サブタスクまたは画像認識サブタスクの少なくとも1つに分割することができる。いくつかの実施形態では、割り当てモジュール1220は、画像を取得するために可動物体によって運ばれるペイロード(例えば、カメラ)を使用できるため、画像取得サブタスクを可動物体に割り当てることができる。さらに、画像認識サブタスクはより多くの処理能力を必要とする可能性があるため、割り当てモジュール1220は、比較的高い処理能力を有し得る遠隔端末に画像認識サブタスクを割り当て得る。
いくつかの実施形態では、データ処理装置1200は、可動物体によって運ばれ、図12に示されるように、感知モジュール1230をさらに含む。感知モジュール1230は、全地球測位システム(GPS)センサ、運動センサ、慣性センサ、近接センサ、または画像センサなどの感知装置からデータを取得するように構成され得る。いくつかの実施形態では、感知モジュール1230は、気象条件、潜在的な障害物への近接性、地理的特徴の場所、人工構造物の場所などの、可動物体を取り巻く環境に関するデータを感知装置から取得するように構成され得る。
いくつかの実施形態では、処理タスクは、軌道計画タスクを含み、分割モジュール1210は、軌道計画タスクを、情報取得サブタスク、オブジェクト特定サブタスク、関連情報取得サブタスク、および計画サブタスクの少なくとも1つに分割することができる。いくつかの実施形態では、割り当てモジュール1220は、情報取得サブタスクおよび計画サブタスクを可動物体に割り当て、オブジェクト特定サブタスクおよび関連情報取得サブタスクを遠隔端末に割り当てることができる。
可動物体は、例えば、感知モジュール1230を介して情報取得サブタスクを実行して、対象物体の情報を取得することができる。目標物の情報が取得された後、目標物の情報は遠隔端末に送信され、遠隔端末は目標物の情報に基づいて目標物を特定することができる。遠隔端末は、関連情報取得サブタスクを実行して、目標物が特定された後、目標物の関連情報を取得できる。いくつかの実施形態では、関連情報は、可動物体に対する目標物のそれぞれの位置、姿勢、および速度のうちの1つまたは複数を含み得る。いくつかの実施形態では、目標物の関連情報が取得された後、目標物の関連情報が可動物体に送信され、可動物体は、計画サブタスクを実行して、少なくとも部分的に目標物体の関連情報に基づいて移動端末の軌道を計画することができ、これにより、可動物体は計画された軌道に沿って移動し、例えば目標物体を回避したり標物体に向かったりすることができる。
いくつかの実施形態では、目標オブジェクトの情報は、可動物体によって運ばれるペイロードを使用することによって取得できるので、割り当てモジュール1220は、情報取得サブタスクを可動物体に割り当てることができる。いくつかの実施形態では、目標物を特定し、目標物の関連情報を取得することは、より多くの処理能力を必要とする場合があるため、割り当てモジュール1220は、オブジェクト特定サブタスクおよび関連情報取得サブタスクを遠隔端末に割り当てることができる。いくつかの実施形態では、計画サブタスクを実行するために必要な処理能力は比較的小さい可能性があるため、計画サブタスクを可動物体に割り当てることができる。例えば、計画サブタスクは、特定サブタスクおよび関連情報取得サブタスクよりも少ない処理能力を必要とする場合がある。
いくつかの実施形態では、処理タスクは、マップ更新タスクを含み、分割モジュール1210は、マップ更新タスクを、変更取得サブタスクおよび更新サブタスクのうちの少なくとも1つに分割することができる。いくつかの実施形態では、割り当てモジュール1220は、変更取得サブタスクを可動物体に割り当てることができ、可動物体は、例えば、上述の感知モジュール1230を介して、例えば、マップの変更を取得するために可動物体の位置および可動物体の周囲の物体を決定することができる。いくつかの実施形態では、地図情報は大量の記憶スペースを必要とする可能性があるため、地図情報は遠隔端末に格納することができる。したがって、割り当てモジュール1220は、可動物体によって取得された地図情報の変化量に基づいて地図を更新するために、更新サブタスクを遠隔端末に割り当てることができる。
いくつかの実施形態では、処理タスクはルートクエリタスクを含み、分割モジュール1210は、ルートクエリタスクを位置特定サブタスクおよびルート決定サブタスクの少なくとも1つに分割することができる。いくつかの実施形態では、上述の感知モジュール1230を使用して、可動物体の位置を特定(決定)することができる。可動物体の位置が特定された後、位置を遠隔端末に送信して、遠隔端末がルート決定サブタスクを実行してルートを決定することができる。
本開示のデータ処理装置は、上記の例示的な方法のうちの1つなど、本開示と一致する方法の一部またはすべてを実装するために使用され得る。例えば、本開示と一致するデータ処理装置は、上記の例示的な方法の1つなど、本開示と一致する方法の1つまたは複数のプロセスを実行するようにそれぞれ構成される1つまたは複数の追加モジュールを含むことができる。データ処理装置の実装原理および技術的効果は、対応する方法の実装原理および技術的効果と同じまたは同様であり、したがって、その詳細は、本明細書では再度説明されない。
図13は、本開示の実施形態によるデータ処理装置1300の概略構造図である。データ処理装置1300は、本開示で説明される例示的な方法のうちの1つなど、本開示と一致する方法を実行するように構成される。図13に示すように、データ処理装置1300は、上述したデータ処理方法の具体的手順が記述されたコンピュータプログラムを格納するメモリ1310と、本開示で説明される例示的な方法の1つなど、本開示と一致する方法の一部またはすべてを実行するようにコンピュータプログラムを読み出して実行するように構成されるプロセッサ1350とを含む。
メモリ1310は、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、消去可能プログラマブル読み出し専用メモリ(EPROM)、電気的消去可能な読み取り専用メモリ(EEPROM)、またはUSBメモリなどのフラッシュメモリの少なくとも1つを含むことができるコンピュータ可読記憶媒体を含むことができる。
プロセッサ1350は、中央処理装置(CPU)、マイクロプロセッサ(MPU)、デジタル信号プロセッサ(DSP)、またはフィールドプログラマブルゲートアレイ(FPGA)を含むことができる。いくつかの実施形態では、プロセッサ1350は、メモリ1310に格納されたコンピュータプログラムを読み出して実行し、処理タスクを複数のサブタスクに分割し、複数のサブタスクの少なくとも特性に基づいて複数のサブタスクを可動物体および遠隔端末の少なくとも1つに割り当てて処理させるように構成され得る。特に、複数のサブタスクは、異なる順序で処理されてもよい。
いくつかの実施形態では、プロセッサ1350は、処理タスクを第1サブタスクおよび第2サブタスクに分割することができ、第1サブタスクおよび第2サブタスクは異なる優先順位を有することができる。いくつかの実施形態では、第1サブタスクは可動物体によって処理されてもよく、第2サブタスクは遠隔端末によって処理されてもよい。したがって、プロセッサ1350は、第1サブタスクを可動物体に割り当て、第2サブタスクを遠隔端末に割り当てることができる。いくつかの実施形態では、プロセッサ1350は、第1サブタスクを実行することができる。
いくつかの実施形態では、処理タスクは画像処理タスクを含むことができ、プロセッサ1350は画像処理タスクを画像取得サブタスクおよび画像認識サブタスクの少なくとも1つに分割することができる。したがって、プロセッサ1350は、画像取得サブタスクを可動物体に割り当て、画像認識サブタスクを遠隔端末に割り当てることができる。いくつかの実施形態では、プロセッサ1350は、例えば、可動物体によって運ばれる撮像装置を用いて、画像取得サブタスクを実行することができる。
いくつかの実施形態では、処理タスクは、軌道計画タスクを含むことができ、プロセッサ1350は、軌道計画タスクを、情報取得サブタスク、オブジェクト特定サブタスク、関連情報取得サブタスク、および計画サブタスクの少なくとも1つに分割することができる。したがって、プロセッサ1350は、取得サブタスクおよび計画サブタスクを可動物体に割り当て、特定サブタスクおよび関連情報取得サブタスクを遠隔端末に割り当てることができる。いくつかの実施形態では、プロセッサ1350は、取得サブタスク(例えば、可動物体によって運ばれる感知装置の助けを借りて)および計画サブタスクを実行することができる。
いくつかの実施形態では、処理タスクは、マップ更新タスクを含むことができ、プロセッサ1350は、マップ更新タスクを、変更取得サブタスクおよび更新サブタスクのうちの少なくとも1つに分割することができる。したがって、プロセッサ1350は、変更取得サブタスクを可動物体に割り当て、更新サブタスクを遠隔端末に割り当てることができる。いくつかの実施形態では、プロセッサ1350は、例えば、可動物体によって運ばれる感知装置の助けを借りて、変更取得サブタスクを実行することができる。
いくつかの実施形態では、処理タスクはルートクエリタスクを含むことができ、プロセッサ1350は、ルートクエリタスクを位置特定サブタスクおよびルート決定サブタスクの少なくとも1つに分割することができる。したがって、プロセッサ1350は、位置特定サブタスクを可動物体に割り当て、ルート決定サブタスクを遠隔端末に割り当てることができる。いくつかの実施形態では、プロセッサ1350は、例えば、可動物体によって運ばれる感知装置の助けを借りて、位置特定サブタスクを実行することができる。
いくつかの実施形態では、上記の動作に加えて、プロセッサ1350は、本開示と一致する他の動作を実行するようにさらに構成され得る。例えば、プロセッサ1350は、本開示で説明される例示的な方法の1つなど、本開示と整合する(プロセッサ1350によって実行されることが明示的に説明されていない)方法の一部またはすべてを実行するようにさらに構成され得る。データ処理装置1300の動作については、本開示で説明される対応する例示的な方法を参照することができ、したがって、その詳細な説明は省略される。
本開示と一致するデータ処理方法、データ処理装置、およびデータ処理装置はまた、図10に関連して上述された可動物体1000において実装され得る。いくつかの実施形態では、メモリ1012は、コンピュータに読み出されて実行されると、本開示と一致するデータ処理方法を実行させるコンピュータプログラムを格納することができ、プロセッサ1008は、メモリ1012に格納されたコンピュータプログラムを読み出して実行することで、上述した例示的なデータ処理方法の1つなど、本開示と一致する方法の一部または全部を実行することができる。
いくつかの実施形態では、プロセッサ1008は、処理タスクを複数のサブタスクに分割し、複数のサブタスクを可動物体1000および遠隔端末1030の少なくとも1つに割り当てて、複数のサブタスクの特性に少なくとも基づいて処理するように構成できる。
いくつかの実施形態では、プロセッサ1008は、処理タスクを第1サブタスクおよび第2サブタスクに分割することができ、第1サブタスクおよび第2サブタスクは異なる優先順位を有することができる。いくつかの実施形態では、第1サブタスクは、可動物体1000によって処理され得、第2サブタスクは、遠隔端末1030によって処理され得る。したがって、プロセッサ1008は、第1サブタスクを可動物体1000に割り当て、第2サブタスクを遠隔端末1030に割り当てるように構成され得る。いくつかの実施形態では、プロセッサ1008は、例えば、可動物体1000の他の構成要素の助けを借りてまたはこれを伴わずに第1サブタスクを実行することができる。
サブタスクは、可動物体1000または遠隔端末1030で処理することができる。いくつかの実施形態では、可動物体1000の重量制限および安全要件により、可動物体1000で処理されているサブタスクは、可動物体1000の動きおよび処理されているサブタスクの少なくともいずれかに関連するサブタスクであり得る。遠隔端末1030での動きは、可動物体1000の動きに関連しないサブタスクであり得る。いくつかの実施形態では、比較的少量のデータ量を伴うか、またはより少ないリソースを必要とするサブタスクを、可動物体1000で実行することができる。例えば以下のうちの少なくともいずれかの場合があり得る。すなわち、可動物体1000で処理されているサブタスクのデータ処理量が、遠隔端末1030において処理されているサブタスクのデータ処理量よりも少ない場合;可動物体1000で処理されているサブタスクのデータ処理速度が、遠隔端末1030において処理されているサブタスクのデータ処理速度よりも遅い場合;可動物体1000で処理されているサブタスクのデータ容量が、遠隔端末1030において処理されているサブタスクのデータ容量よりも小さい場合;可動物体1000で処理されているサブタスクに必要な計算能力が、遠隔端末1030において処理されているサブタスクに必要な計算能力よりも低い場合;および、可動物体1000で処理されているサブタスクに必要な電力量が、遠隔端末1030において処理されているサブタスクに必要な電力量よりも小さい場合などである。
いくつかの実施形態では、第1サブタスクは、第1サブタスク結果を生成するために可動物体1000で処理されてもよい。第1サブタスク結果は、可動物体1000と遠隔端末1030との間の伝送リンク1014を介して遠隔端末1030に伝送され得る。続いて、第2サブタスクは、第1サブタスク結果に基づいて遠隔端末1030で処理されて、最終的な処理結果を生成することができる。
いくつかの実施形態では、第2サブタスクは、遠隔端末1030で処理されて、第2サブタスク結果を生成することができる。第2サブタスク結果は、可動物体1000と遠隔端末1030との間の伝送リンク1014を介して可動物体1000に送信され得る。その後、第1サブタスクは、第2サブタスク結果に基づいて可動物体1000で処理されて、最終的な処理結果を生成することができる。いくつかの実施形態では、最終処理結果は、さらなる処理のために遠隔端末1030に送信されてもよい。いくつかの実施形態では、第2サブタスクが遠隔端末1030で処理される前に、取得されたデータ(例えば、取得された画像、可動物体1000の位置など)が可動物体1000から遠隔端末1030に送信されてよく、これにより、取得されたデータを使用して遠隔端末1030は第2サブタスクを処理することができる。
いくつかの実施形態では、処理タスクは画像処理タスクを含み、プロセッサ1008は画像処理タスクを画像取得サブタスクおよび画像認識サブタスクの少なくとも1つに分割することができる。いくつかの実施形態では、キャリア1002によって運ばれるペイロード1004(例えば、カメラ)が画像を取得するために使用され得るので、プロセッサ1008は、画像取得サブタスクを可動物体1000に割り当てるように構成され得る。さらに、画像認識サブタスクはより多くの処理能力を必要とする可能性があるため、プロセッサ1008は、比較的高い処理能力を有し得る遠隔端末1030に画像認識サブタスクを割り当てるように構成され得る。
いくつかの実施形態では、処理タスクは、軌道計画タスクを含み、プロセッサ1008は、軌道計画タスクを、情報取得サブタスク、オブジェクト特定サブタスク、関連情報取得サブタスク、および計画サブタスクの少なくとも1つに分割することができる。いくつかの実施形態では、プロセッサ1008は、情報取得サブタスクおよび計画サブタスクを可動物体1000に割り当て、オブジェクト特定サブタスクおよび関連情報取得サブタスクを遠隔端末1030に割り当てることができる。例えば、プロセッサ1008は、可動物体1000によって運ばれる感知装置の助けを借りて情報取得サブタスクを実行して、目標物の情報を取得することができる。感知装置は、全地球測位システム(GPS)センサ、モーションセンサ、慣性センサ、近接センサ、および撮像装置1016および位置決め装置1018の少なくともいずれかなどの画像センサを含み得る。いくつかの実施形態では、感知装置を使用して、気象条件、潜在的な障害物への近接性、地理的特徴の場所、人工構造物の場所などの、可動物体1000を取り巻く環境に関するデータを提供することができる。目標物の情報が取得された後は、遠隔端末1030がオブジェクト特定サブタスクを実行して目標物の情報に基づいて目標物を識別するために、プロセッサ1008が通信システム1010を制御し、伝送リンク1014を介して目標物の情報を遠隔端末1030に送信することができる。
目標物が特定された後、遠隔端末1030は、関連情報取得サブタスクを実行して、目標物の関連情報を取得することができる。いくつかの実施形態では、関連情報は、可動物体1000に対する目標物の位置、姿勢、および速度のうちの1つまたは複数を含み得る。目標物の関連情報が取得された後、遠隔端末1030は、伝送リンク1014を介して目標物の関連情報を可動物体1000に送信することができ、プロセッサ1008などの可動物体1000は、実行することができる。可動物体1000が計画された軌道に沿って移動して、例えば、可動物体1000を回避するか、または可動物体1000に向けるように、可動物体1000の軌道を少なくとも部分的に可動物体1000の関連情報に基づいて計画するサブタスクを計画する。
いくつかの実施形態では、可動物体1000のキャリア1002によって運ばれるペイロード1004を使用することによって目標物の情報を取得できるので、プロセッサ1008は、情報収集サブタスクを可動物体1000に割り当てるように構成され得る。いくつかの実施形態では、目標物を特定し、目標物の関連情報を取得することは、より多くの処理能力を必要とする可能性があるため、プロセッサ1008は、オブジェクト特定サブタスクおよび関連情報取得サブタスクを遠隔端末1030に割り当てるように構成され得る。いくつかの実施形態では、計画サブタスクを実行するために必要な処理能力は比較的小さい場合があるため、プロセッサ1008は、計画サブタスクを可動物体1000に割り当てることができる。例えば、計画サブタスクは、特定サブタスクおよび関連情報取得サブタスクよりも少ない処理能力を必要とする場合がある。
いくつかの実施形態では、処理タスクは、マップ更新タスクを含み、プロセッサ1008は、マップ更新タスクを変更取得サブタスクおよび更新サブタスクに分割し、変更取得サブタスクを可動物体1000に割り当て、更新サブタスクを遠隔端末1030へ割り当てることができる。いくつかの実施形態では、プロセッサ1008は、例えば、上述の感知装置を用いて、例えば、可動物体の位置および可動物体の周囲の物体(オブジェクト)を決定して、地図情報の変化を取得することにより、変更取得サブタスクを実行することができる。地図情報は大量の記憶スペースを必要とする可能性があるので、地図情報は遠隔端末1030に記憶され得る。したがって、プロセッサ1008は、遠隔端末1030が更新サブタスクを実行して地図を更新するために、伝送リンク1014を介して地図情報の変更を遠隔端末1030に送信するように通信システム1010を制御することができる。
いくつかの実施形態では、処理タスクはルートクエリタスクを含み、プロセッサ1008はルートクエリタスクを位置特定サブタスクおよびルート決定サブタスクの少なくとも1つに分割し、位置特定サブタスクを可動物体1000に割り当て、ルート決定サブタスクを遠隔端末1030へ割り当てることができる。いくつかの実施形態では、プロセッサ1008は、例えば、可動物体1000の位置を特定する(決定する)ために、例えば、上述の感知装置の助けを借りて、位置特定サブタスクを実行することができる。したがって、プロセッサ1008は、位置特定サブタスクを可動物体1000に割り当てるように構成され得る。プロセッサ1008は、通信システム1010を制御して、可動物体1000の位置情報を、伝送リンク1014を介して遠隔端末1030に送信することができ、遠隔端末1030は、可動物体1000よりも比較的高い処理能力を有して、より多くの処理能力を必要とする可能性があるルート決定サブタスクを実行することができる。
(G)プログラム及び記憶媒体
いくつかの実施形態では、上記の動作に加えて、プロセッサ1008は、メモリ1012に格納されたコンピュータプログラムを実行して、本開示で説明される例示的なデータ処理方法の1つなど、本開示と一致する方法の一部またはすべて(プロセッサ1008によって実行されるとは上記で明確には説明されていない)を実行するようにさらに構成され得る。プロセッサ1008の動作の実装原理および技術的効果は、対応する方法のものと同じまたは同様であり、したがって、その詳細は、本明細書では再度説明されない。
当業者は、上記実施形態における方法のプロセスのすべてまたは一部が、関連するハードウェアに命令するコンピュータプログラムによって実装され得ることを理解するであろう。プログラムは、コンピュータ可読記憶媒体に格納されてもよい。プログラムが読み出されて実行されると、プログラムは、1つまたは複数のプロセッサに、上記の例示的な方法の1つなど、本開示と一致する方法の少なくとも一部を実行させることができる。記憶媒体は、磁気ディスク、光ディスク等の携帯可能なものに限定されず、ハードディスク装置や読み取り専用メモリ(ROM)またはランダムアクセスメモリ(RAM)などなどの固定型の記録媒体でもよいし、非一時的記憶媒体でもよい。また、上述した計算負荷分散方法およびデータ処理の少なくともいずれかの一連の手順を組込んだプログラムをインターネット等の通信回線(無線通信を含む)を介して頒布してもよい。さらに、上述した計算負荷分散方法およびデータ処理の少なくともいずれかの一連の手順を組込んだプログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、又は記憶媒体に収納して頒布してもよい。
上記は、本開示の例示的な実施形態を単に説明するものであり、本開示を限定することを意図するものではない。本開示の趣旨および原理から逸脱することなく行われた修正、同等の置換、または改善は、本開示の範囲内に含まれるものとする。
1,100,1000:可動物体
2:遠隔端末
3:伝送リンクおよび通信ネットワーク
4:サーバ
10:処理タスク決定モジュール
20:処理リソース決定モジュール
30:画像取得モジュール
40:測位モジュール
50:ルートクエリ生成モジュール
60:マップ更新モジュール
600,700,800,900:計算負荷分散装置
910,1310:メモリ
950,1350:プロセッサ
1000:可動物体
1002:キャリア
1004:ペイロード
1006:推進システム
1008,1032:プロセッサ
1010,1040:通信システム
1012:メモリ
1014:伝送リンク
1016:撮像装置
1018:位置決め装置
1030:遠隔端末
1200:データ処理装置
1210:分割モジュール
1220:割り当てモジュール
1300:データ処理装置

Claims (79)

  1. 可動物体に関連する処理タスクを決定することと、
    前記処理タスクの特性に少なくとも部分的に基づいて、前記処理タスクを実行するための1つまたは複数の処理リソースを決定することと、
    を備え、
    前記処理リソースを決定することとは、前記可動物体でローカルに実行すること、および、遠隔端末においてリモートで実行することの少なくともいずれかにより、前記処理タスクを実行するかを決定することを含む、
    計算負荷分散方法。
  2. 前記1つまたは複数の処理リソースを決定することは、前記処理タスクが前記可動物体の動きに関連することに応答して、前記処理タスクをローカルで実行することを決定することを含む、請求項1に記載の計算負荷分散方法。
  3. 可動物体のプロセッサを使用して前記処理タスクを実行することをさらに備える、
    請求項2に記載の計算負荷分散方法。
  4. 前記1つまたは複数の処理リソースを決定することは、前記処理タスクが前記可動物体の動きに関連しないことに応答して、前記処理タスクをリモートで実行することを決定することを含む、請求項1に記載の計算負荷分散方法。
  5. 前記可動物体と前記遠隔端末との間の伝送リンクを介して、前記処理タスクに関連するデータおよび命令の少なくとも1つを前記遠隔端末に伝送することをさらに備える、
    請求項4に記載の計算負荷分散方法。
  6. 前記遠隔端末から処理結果を受信することをさらに備える、
    請求項5に記載の計算負荷分散方法。
  7. 前記データおよび前記命令のうちの少なくとも1つを前記遠隔端末に送信する前に、
    前記データに補助情報を追加することをさらに備え、
    前記補助情報は、タイムスタンプ、前記可動物体の姿勢、速度、および位置の1つ以上に関連する情報、または前記可動物体に配置されたキャリアの姿勢に関連する情報のうちの少なくとも1つを含む、
    請求項5に記載の計算負荷分散方法。
  8. 前記キャリアは、ペイロードを支持するように構成されたジンバルを含む、
    請求項7に記載の計算負荷分散方法。
  9. 前記可動物体に搭載されたカメラを介して画像を取得することをさらに備え、
    前記処理タスクを決定することは、画像処理タスクを決定することを含み、
    前記1つまたは複数の処理リソースを決定することは、前記画像処理タスクをリモートで実行することを決定することを含む、
    請求項1に記載の計算負荷分散方法。
  10. 前記画像を前記遠隔端末に送信することをさらに備える、
    請求項9に記載の計算負荷分散方法。
  11. 前記画像を前記遠隔端末に送信する前に、
    前記画像の関心領域(RОI)を決定することをさらに備える、
    請求項10に記載の計算負荷分散方法。
  12. 前記画像の前記関心領域を決定することは、
    以前に取得した画像内に目標物の座標を特定することと、
    前記画像内で前記目標物の座標を囲む領域を関心領域として決定することと、を含む、
    請求項11に記載の計算負荷分散方法。
  13. 前記画像を前記遠隔端末に送信することは、前記画像の関心領域を送信してから前記画像の残余の部分を送信することを含む、
    請求項11に記載の計算負荷分散方法。
  14. 前記画像を前記遠隔端末に送信する前に、
    前記画像の関心領域または残余の部分の解像度を上げることをさらに備える、
    請求項11に記載の計算負荷分散方法。
  15. 前記画像を前記遠隔端末に送信することは、前記関心領域を少なくとも2回繰り返し送信することを含む、
    請求項11に記載の計算負荷分散方法。
  16. 前記画像を前記遠隔端末に送信することは、前記画像に対して画像信号処理を実行することなく前記画像を送信することを含む、
    請求項10に記載の計算負荷分散方法。
  17. 前記画像信号処理を実行せずに前記画像を送信することは、前記カメラのセンサから画像送信リンクのアイドルチャネルに直接送信することを含む、
    請求項16に記載の計算負荷分散方法。
  18. 前記送信された画像は、前記可動物体の画像プロセッサによって処理されていない、
    請求項16に記載の計算負荷分散方法。
  19. 前記画像を前記遠隔端末に送信する前に、画像に予備処理を実行することをさらに備える、
    請求項10に記載の計算負荷分散方法。
  20. 前記予備処理は、圧縮、解像度低減、および分割の少なくともいずれかを含む、
    請求項19に記載の計算負荷分散方法。
  21. 時間同期のために画像にタイムスタンプを追加することをさらに備える、
    請求項10に記載の計算負荷分散方法。
  22. データ同期のために前記画像に補助情報を追加することをさらに備える、
    請求項10に記載の計算負荷分散方法。
  23. 前記補助情報は、前記可動物体の動き情報を含む、
    請求項22に記載の計算負荷分散方法。
  24. 前記可動物体の前記動き情報は、前記可動物体の位置、速度、および姿勢の少なくともいずれかを含む、
    請求項23に記載の計算負荷分散方法。
  25. 前記補助情報は、前記可動物体の構成要素の関連情報を含む、
    請求項22に記載の計算負荷分散方法。
  26. 前記可動物体の前記構成要素の前記関連情報は、前記可動物体に支持されるジンバルの姿勢情報を含む、
    請求項25に記載の計算負荷分散方法。
  27. 前記可動物体の位置を特定することと、
    ルートクエリを生成することと、
    をさらに備え、
    前記処理タスクを決定することは、ルートクエリタスクを決定することを含み、
    前記1つまたは複数の処理リソースを決定することは、前記ルートクエリタスクをリモートで実行することを決定することを含む。
    請求項1に記載の計算負荷分散方法。
  28. 前記可動物体の位置およびルートクエリを前記遠隔端末に送信することと、
    前記遠隔端末からクエリ結果を受信することと、
    をさらに備える、
    請求項18に記載の計算負荷分散方法。
  29. 深度マップの変更を使用することにより、前記可動物体に格納されているマップを更新することをさらに備える、
    請求項1に記載の計算負荷分散方法。
  30. 前記遠隔端末は、ハンドヘルドデバイスまたはクラウド計算プラットフォームを含む、請求項1に記載の計算負荷分散方法。
  31. 前記処理タスクは、軌道計画タスクを含み、
    当該計算負荷分散方法は、
    1つまたは複数の周囲の目標物の感知情報を遠隔端末に送信することと、
    前記遠隔端末から前記周囲の目標物の関連情報を受信することと、
    前記周囲の目標物の関連情報に基づいて軌道計画を実行することと、
    をさらに備える、
    請求項1に記載の計算負荷分散方法。
  32. 前記軌道計画は、障害物回避を含む、請求項31に記載の計算負荷分散方法。
  33. 前記処理タスクの特性に少なくとも部分的に基づいて前記1つまたは複数の処理リソースを決定することは、前記処理タスクのデータ処理量に基づいて前記1つまたは複数の処理リソースを決定することを含む、
    請求項1に記載の計算負荷分散方法。
  34. 前記データ処理量がデータ処理量閾値以上であることに応答して、
    処理のために前記遠隔端末に前記処理タスクを送信することと、
    前記遠隔端末から処理結果を受信することと、
    をさらに備える、
    請求項33に記載の計算負荷分散方法。
  35. 前記データ処理量がデータ処理量閾値を下回ることに応答して、
    モバイル端末でローカルに処理タスクを実行する、
    ことを備える、
    請求項33に記載の計算負荷分散方法。
  36. 前記処理タスクの特性に少なくとも部分的に基づいて前記1つまたは複数の処理リソースを決定することは、前記処理タスクのデータ処理速度に基づいて前記1つまたは複数の処理リソースを決定することを含む、
    請求項1に記載の計算負荷分散方法。
  37. 前記データ処理速度がデータ処理速度閾値以上であることに応答して、
    処理のために前記遠隔端末に前記処理タスクを送信することと、
    前記遠隔端末から処理結果を受信することと、
    をさらに備える、
    請求項36に記載の計算負荷分散方法。
  38. 前記データ処理速度がデータ処理速度閾値を下回ることに応答して、
    前記可動物体でローカルに前記処理タスクを実行することをさらに備える、
    請求項36に記載の計算負荷分散方法。
  39. 前記処理タスクの特性に少なくとも部分的に基づいて前記1つまたは複数の処理リソースを決定することは、前記処理タスクのデータ容量に基づいて前記1つまたは複数の処理リソースを決定することを含む、
    請求項1に記載の計算負荷分散方法。
  40. 前記データ容量がデータ容量閾値以上であることに応答して、
    処理のために前記遠隔端末に処理タスクを送信することと、
    前記遠隔端末から処理結果を受信することと、
    をさらに備える、
    請求項39に記載の計算負荷分散方法。
  41. 前記データ容量がデータ容量閾値を下回ることに応答して、
    可動物体でローカルに処理タスクを実行することと、
    をさらに備える、
    請求項39に記載の計算負荷分散方法。
  42. 前記処理タスクの特性に少なくとも部分的に基づいて前記1つまたは複数の処理リソースを決定することは、前記処理タスクに必要な電力に基づいて前記1つまたは複数の処理リソースを決定することを含む、
    請求項1に記載の計算負荷分散方法。
  43. 必要とされる電力が電力閾値以上であることに応答して、
    処理のために前記遠隔端末に前記処理タスクを送信することと、
    前記遠隔端末から処理結果を受信することと、
    をさらに備える、
    請求項42に記載の計算負荷分散方法。
  44. 必要とされる電力が電力閾値を下回ることに応答して、
    可動物体でローカルに前記処理タスクを実行することをさらに備える、
    請求項42に記載の計算負荷分散方法。
  45. プロセッサと、
    前記プロセッサにより読み出されて実行されると、前記プロセッサに請求項1から44のいずれか一項に記載の計算負荷分散方法を実行させるプログラムを格納するメモリと、
    を備える計算負荷分散装置。
  46. 可動物体であって、
    当該可動物体に移動力を提供するように構成される推進システムと、
    プロセッサと、
    前記プロセッサにより読み出されて実行されると、前記プロセッサに請求項1から31のいずれか一項に記載の計算負荷分散方法を実行させるプログラムを格納するメモリと、
    を備える、可動物体。
  47. 前記遠隔端末は、ハンドヘルドデバイスまたはクラウド計算プラットフォームを含む、
    請求項46に記載の可動物体。
  48. 処理タスクを複数のサブタスクに分割することと、
    前記複数のサブタスクの少なくとも特性に基づいて、前記複数のサブタスクを可動物体および遠隔端末の少なくとも1つに割り当てて処理することと、
    を備えるデータ処理方法。
  49. 前記複数のサブタスクは、第1サブタスクおよび第2サブタスクを含み、
    前記複数のサブタスクを可動物体および遠隔端末の少なくとも1つに割り当てることは、
    前記可動物体で前記第1サブタスクを処理することと、
    前記第2サブタスクを前記遠隔端末に送信することと、
    を含む、請求項48に記載のデータ処理方法。
  50. 前記第1サブタスクおよび前記第2サブタスクは、異なる優先順位を有する、
    請求項49に記載のデータ処理方法。
  51. 前記第1サブタスクを処理したサブタスク結果を前記遠隔端末に送信することと、
    前記遠隔端末から最終処理結果を受信することと、
    をさらに備え、
    前記最終処理結果は、前記サブタスク結果に基づいて前記第2サブタスクを処理することで前記遠隔端末により取得される、
    請求項49に記載のデータ処理方法。
  52. 前記第2サブタスクを処理することにより前記遠隔端末によって取得されるサブタスク結果を前記遠隔端末から受信し、
    前記サブタスク結果に基づいて前記第1サブタスクを処理して最終処理結果を生成することと、
    をさらに備える、
    請求項49に記載のデータ処理方法。
  53. 前記最終処理結果を前記遠隔端末に送信することをさらに備える、
    請求項52に記載のデータ処理方法。
  54. 第2サブタスクの処理のため、取得したデータを前記遠隔端末に送信することをさらに備える、
    請求項52に記載のデータ処理方法。
  55. 前記第1サブタスクは前記可動物体の動きに関連する、
    請求項49に記載のデータ処理方法。
  56. 前記第2サブタスクは、前記可動物体の動きに関連しない、
    請求項49に記載のデータ処理方法。
  57. 前記第1サブタスクのデータ処理量は、前記第2サブタスクのデータ処理量よりも小さい、
    請求項49に記載のデータ処理方法。
  58. 前記第1サブタスクのデータ処理速度は、前記第2サブタスクのデータ処理速度よりも遅い、
    請求項49に記載のデータ処理方法。
  59. 前記第1サブタスクのデータ容量は、前記第2サブタスクのデータ容量よりも小さい、
    請求項49に記載のデータ処理方法。
  60. 前記第1サブタスクが必要とする電力量は、前記第2サブタスクが必要とする電力量よりも少ない、
    請求項49に記載のデータ処理方法。
  61. 前記複数のサブタスクは、異なる順序で処理される、
    請求項48に記載のデータ処理方法。
  62. 前記処理タスクは画像処理タスクを含む、
    請求項48に記載のデータ処理方法。
  63. 前記複数のサブタスクは、画像取得サブタスクおよび画像認識サブタスクを含む、
    請求項62に記載のデータ処理方法。
  64. 画像を取得するために前記画像取得サブタスクを可動物体に割り当てることと、
    前記画像認識サブタスクを前記遠隔端末に割り当てて、取得した画像を識別することと、
    をさらに備える、
    請求項63に記載のデータ処理方法。
  65. 前記処理タスクは、軌道計画タスクを含む、
    請求項48に記載のデータ処理方法。
  66. 前記複数のサブタスクは、
    目標物の情報を取得する情報取得サブタスクと、
    前記目標物の情報に基づいて目標物を特定するための目標物特定サブタスクと、
    前記目標物の関連情報を取得する関連情報取得サブタスクと、
    前記目標物の関連情報に少なくとも部分的に基づいて前記可動物体の軌道を計画するための計画サブタスクと、
    を含む、
    請求項65に記載のデータ処理方法。
  67. 前記目標物の情報を取得することと、
    前記目標物の情報を前記遠隔端末に送信することと、
    前記目標物の情報に基づいて特定された目標物に基づいて取得される前記目標物の関連情報を前記遠隔端末から受信することと、
    前記目標物の関連情報に少なくとも部分的に基づいて軌道計画を実行することと、
    をさらに備える、
    請求項66に記載のデータ処理方法。
  68. 前記処理タスクは、マップ更新タスクを含む、
    請求項48に記載のデータ処理方法。
  69. 前記複数のサブタスクは、
    マップの変更を取得するための変更取得サブタスクと、
    前記マップの変更量に基づいて前記マップを更新するための更新サブタスクと、
    を含む、
    請求項68に記載のデータ処理方法。
  70. 前記マップの変更を取得することと
    前記マップの変更を前記遠隔端末に送信することと、
    をさらに備える、
    請求項69に記載のデータ処理方法。
  71. 前記処理タスクは、ルートクエリタスクを含む、
    請求項48に記載のデータ処理方法。
  72. 前記複数のサブタスクは、位置特定サブタスクおよびルート決定サブタスクを含む、
    請求項71に記載のデータ処理方法。
  73. 前記位置特定サブタスクを前記可動物体に割り当てることと、
    前記ルート決定サブタスクを前記遠隔端末に割り当てることと、
    をさらに備える、
    請求項72に記載のデータ処理方法。
  74. プロセッサと、
    前記プロセッサにより読み出されて実行されると、請求項48から73のいずれか一項に記載のデータ処理方法を前記プロセッサに実行させるコンピュータプログラムを格納するメモリと、
    を備える、
    データ処理装置。
  75. 個別または集合的に構成され、請求項48から66のいずれか一項に記載のデータ処理方法を実行するように構成された1つ以上のプロセッサを備える、
    可動物体。
  76. 前記1つまたは複数のプロセッサは、
    取得サブタスクと計画サブタスクとを当該可動物体に割り当て、
    目標物を特定するための目標物特定サブタスクと、前記目標物の関連情報を取得する関連情報取得サブタスクと、を前記遠隔端末に割り当てる、
    ようにさらに構成される、
    請求項75に記載の可動物体。
  77. 前記処理タスクは、マップ更新タスクを含み、
    前記複数のサブタスクは、
    マップの変更を取得するための変更取得サブタスクと、
    前記マップの変更量に基づいて前記マップを更新するための更新サブタスクと、
    を含み、
    前記1つまたは複数のプロセッサは、
    前記変更取得サブタスクを前記可動物体に割り当て、
    前記更新サブタスクを前記遠隔端末に割り当てる、
    ようにさらに構成される、
    請求項75に記載の可動物体。
  78. 請求項1から31のいずれか一項に記載の計算負荷分散方法をコンピュータに実行させるプログラム。
  79. 請求項48から73のいずれか一項に記載のデータ処理方法をコンピュータに実行させるプログラム。
JP2020095514A 2019-10-30 2020-06-01 計算負荷分散方法、計算負荷分散装置、可動物体、データ処理方法、データ処理装置、およびプログラム Pending JP2021072091A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/CN2019/114457 WO2021081830A1 (en) 2019-10-30 2019-10-30 Computation load distribution
CNPCT/CN2019/114457 2019-10-30

Publications (1)

Publication Number Publication Date
JP2021072091A true JP2021072091A (ja) 2021-05-06

Family

ID=74343742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020095514A Pending JP2021072091A (ja) 2019-10-30 2020-06-01 計算負荷分散方法、計算負荷分散装置、可動物体、データ処理方法、データ処理装置、およびプログラム

Country Status (4)

Country Link
US (1) US20210018938A1 (ja)
JP (1) JP2021072091A (ja)
CN (1) CN112639735A (ja)
WO (1) WO2021081830A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023089996A1 (ja) * 2021-11-18 2023-05-25 株式会社クボタ 作業機の遠隔制御システム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11653104B2 (en) * 2020-02-05 2023-05-16 Dragonfruit Ai, Inc. Management of video data processing resources across multiple processing locations
US11528493B2 (en) * 2020-05-06 2022-12-13 Alibaba Group Holding Limited Method and system for video transcoding based on spatial or temporal importance
US11958626B2 (en) * 2021-10-07 2024-04-16 Gulfstream Aerospace Corporation Maximum takeoff weight determination for aircraft
WO2023183866A1 (en) * 2022-03-25 2023-09-28 Northeastern University Vehicular edge intelligence in unlicensed spectrum bands

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11239353A (ja) * 1998-02-23 1999-08-31 Sharp Corp 映像符号化装置及び映像復号化装置並びに映像符号化方法及び映像復号化方法
JPH11261545A (ja) * 1998-03-10 1999-09-24 Hitachi Denshi Ltd 映像・音声信号伝送システム
JP2001160062A (ja) * 1999-12-03 2001-06-12 Mitsubishi Electric Corp 画像データ検索装置
JP2003501902A (ja) * 1999-05-27 2003-01-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ信号の符号化
JP2003060652A (ja) * 2001-04-27 2003-02-28 Matsushita Electric Ind Co Ltd 無線伝送装置
JP2003348431A (ja) * 2002-05-27 2003-12-05 Canon Inc 撮像装置
JP2010095246A (ja) * 2008-10-20 2010-04-30 Honeywell Internatl Inc 無人航空機のナビゲーションのためのシステム及び方法
JP2014505432A (ja) * 2011-01-14 2014-02-27 クゥアルコム・インコーポレイテッド ワイヤレス通信システムにおけるダイナミックなタスク処理のための技術
JP2016082441A (ja) * 2014-10-17 2016-05-16 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
JP2017538098A (ja) * 2015-09-16 2017-12-21 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd Uavの位置を推定するシステム及び方法
JP2018110304A (ja) * 2016-12-28 2018-07-12 パナソニックIpマネジメント株式会社 監視システム、監視方法、及びプログラム
US20180276049A1 (en) * 2017-03-24 2018-09-27 Tata Consultancy Services Limited Systems and methods for estimating computation times a-priori in fog computing robotics
US10110814B1 (en) * 2016-10-27 2018-10-23 Ambarella, Inc. Reducing bandwidth for video streaming using de-warping and video analytics
US20180322749A1 (en) * 2017-05-05 2018-11-08 Doron KEMPEL System and method for threat monitoring, detection, and response
KR20190030589A (ko) * 2017-09-14 2019-03-22 아주대학교산학협력단 오프로딩 시스템을 통해 무인 비행체의 영상을 분석하기 위한 방법 및 장치
JP2019131332A (ja) * 2018-01-30 2019-08-08 トヨタ自動車株式会社 ドローン管理システム、及び、ドローン管理方法
JP2019185689A (ja) * 2018-04-17 2019-10-24 株式会社ロックガレッジ 検出対象位置特定システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102193559A (zh) * 2011-04-06 2011-09-21 嘉兴电力局 一种无人器地面站远程操控装置
CN103812052B (zh) * 2014-03-07 2016-06-01 国家电网公司 一种用于无人机输电线路巡检的集中监控系统及监控方法
JP6133506B2 (ja) * 2014-04-17 2017-05-24 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 飛行制限区域に対する飛行制御
CN109562829B (zh) * 2016-06-14 2022-11-08 深圳市大疆创新科技有限公司 一种无人机的设备、控制设备、配置方法和计算机实施方法
CN106687375B (zh) * 2016-07-29 2020-08-04 深圳市大疆创新科技有限公司 无人飞行器的控制方法、装置、存储介质及无人飞行器
US11032357B2 (en) * 2017-03-30 2021-06-08 Intel Corporation Data processing offload
CN108170158B (zh) * 2017-12-05 2020-02-28 中国科学院自动化研究所 基于数据驱动的无人机智能对抗控制方法
CN108958286A (zh) * 2018-07-18 2018-12-07 福州大学 多旋翼飞行器云服务器网络系统及其控制方法
CN109542110B (zh) * 2018-09-10 2021-04-02 哈尔滨工业大学 涵道式多旋翼系留无人机的控制器设计方法
DE102018123411A1 (de) * 2018-09-24 2020-03-26 Autel Robotics Europe Gmbh Zielbeobachtungsverfahren, zugehörige Vorrichtung und System
CN109765927A (zh) * 2018-12-29 2019-05-17 湖北无垠智探科技发展有限公司 一种基于app的无人机航摄飞行遥控系统

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11239353A (ja) * 1998-02-23 1999-08-31 Sharp Corp 映像符号化装置及び映像復号化装置並びに映像符号化方法及び映像復号化方法
JPH11261545A (ja) * 1998-03-10 1999-09-24 Hitachi Denshi Ltd 映像・音声信号伝送システム
JP2003501902A (ja) * 1999-05-27 2003-01-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ信号の符号化
JP2001160062A (ja) * 1999-12-03 2001-06-12 Mitsubishi Electric Corp 画像データ検索装置
JP2003060652A (ja) * 2001-04-27 2003-02-28 Matsushita Electric Ind Co Ltd 無線伝送装置
JP2003348431A (ja) * 2002-05-27 2003-12-05 Canon Inc 撮像装置
JP2010095246A (ja) * 2008-10-20 2010-04-30 Honeywell Internatl Inc 無人航空機のナビゲーションのためのシステム及び方法
JP2014505432A (ja) * 2011-01-14 2014-02-27 クゥアルコム・インコーポレイテッド ワイヤレス通信システムにおけるダイナミックなタスク処理のための技術
JP2016082441A (ja) * 2014-10-17 2016-05-16 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
JP2017538098A (ja) * 2015-09-16 2017-12-21 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd Uavの位置を推定するシステム及び方法
US10110814B1 (en) * 2016-10-27 2018-10-23 Ambarella, Inc. Reducing bandwidth for video streaming using de-warping and video analytics
JP2018110304A (ja) * 2016-12-28 2018-07-12 パナソニックIpマネジメント株式会社 監視システム、監視方法、及びプログラム
US20180276049A1 (en) * 2017-03-24 2018-09-27 Tata Consultancy Services Limited Systems and methods for estimating computation times a-priori in fog computing robotics
US20180322749A1 (en) * 2017-05-05 2018-11-08 Doron KEMPEL System and method for threat monitoring, detection, and response
KR20190030589A (ko) * 2017-09-14 2019-03-22 아주대학교산학협력단 오프로딩 시스템을 통해 무인 비행체의 영상을 분석하기 위한 방법 및 장치
JP2019131332A (ja) * 2018-01-30 2019-08-08 トヨタ自動車株式会社 ドローン管理システム、及び、ドローン管理方法
JP2019185689A (ja) * 2018-04-17 2019-10-24 株式会社ロックガレッジ 検出対象位置特定システム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JAKOB ENGEL, ET AL.: ""LSD-SLAM: Large-Scale Direct Monocular SLAM"", PROCEEDINGS OF ECCV 2014 (ALSO PUBLISHED AS "LECTURE NOTES IN COMPUTER SCIENCE, VOL. 8690"), JPN6021024402, 2014, pages 834 - 849, XP055393120, ISSN: 0004538631, DOI: 10.1007/978-3-319-10605-2_54 *
小野 文孝: "「静止画符号化の標準化動向」", 画像電子学会誌, vol. 30, no. 3, JPN6021024408, 25 May 2001 (2001-05-25), JP, pages 212 - 219, ISSN: 0004538630 *
畠 圭祐(外1名): "「有線ドローンによる風力発電設備の点検実施について」", 日本風力エネルギー学会誌, vol. 第41巻,第1号(通巻第121号), JPN6021024405, May 2017 (2017-05-01), JP, pages 128 - 130, ISSN: 0004538629 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023089996A1 (ja) * 2021-11-18 2023-05-25 株式会社クボタ 作業機の遠隔制御システム

Also Published As

Publication number Publication date
WO2021081830A1 (en) 2021-05-06
CN112639735A (zh) 2021-04-09
US20210018938A1 (en) 2021-01-21

Similar Documents

Publication Publication Date Title
US11835561B2 (en) Unmanned aerial vehicle electromagnetic avoidance and utilization system
US11776413B2 (en) Aerial vehicle flight control method and device thereof
JP2021072091A (ja) 計算負荷分散方法、計算負荷分散装置、可動物体、データ処理方法、データ処理装置、およびプログラム
US11709491B2 (en) Dynamically adjusting UAV flight operations based on radio frequency signal data
US11874656B2 (en) Unmanned aerial vehicle modular command priority determination and filtering system
US10930000B2 (en) Method and system for detecting and tracking objects using characteristic points
US20210132612A1 (en) Techniques for sharing mapping data between an unmanned aerial vehicle and a ground vehicle
US10409293B1 (en) Gimbal stabilized components for remotely operated aerial vehicles
US11927953B2 (en) Customizable waypoint missions
CN113196197A (zh) 使用有效载荷组件执行实时地图构建的可移动物体
US11709073B2 (en) Techniques for collaborative map construction between an unmanned aerial vehicle and a ground vehicle
US20200064869A1 (en) Perpetual unmanned aerial vehicle surveillance
US10386857B2 (en) Sensor-centric path planning and control for robotic vehicles
US10299314B2 (en) Autonomous mobile robot, movement control method, movement control program, and system
TW201838360A (zh) 航空機器人飛行器天線切換
CN116830057A (zh) 无人机(uav)集群控制
US11620913B2 (en) Movable object application framework
JP2024009938A (ja) 無人飛行体のフライト管理サーバ及びフライト管理システム
US20200106958A1 (en) Method and system for operating a movable platform using ray-casting mapping
US11019613B2 (en) Methods and systems for managing network resources of a vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210924

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220222