JP2022527007A - 運動障害疾患分析用の補助撮影装置、制御方法及び装置 - Google Patents

運動障害疾患分析用の補助撮影装置、制御方法及び装置 Download PDF

Info

Publication number
JP2022527007A
JP2022527007A JP2021559634A JP2021559634A JP2022527007A JP 2022527007 A JP2022527007 A JP 2022527007A JP 2021559634 A JP2021559634 A JP 2021559634A JP 2021559634 A JP2021559634 A JP 2021559634A JP 2022527007 A JP2022527007 A JP 2022527007A
Authority
JP
Japan
Prior art keywords
human body
image
assembly
mechanical arm
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021559634A
Other languages
English (en)
Other versions
JP7326465B2 (ja
Inventor
ジャン，リン
ウ，ジエンバオ
Original Assignee
テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド filed Critical テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Publication of JP2022527007A publication Critical patent/JP2022527007A/ja
Application granted granted Critical
Publication of JP7326465B2 publication Critical patent/JP7326465B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4082—Diagnosing or monitoring movement diseases, e.g. Parkinson, Huntington or Tourette
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J17/00—Joints
    • B25J17/02—Wrist joints
    • B25J17/0258—Two-dimensional joints
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00—Arms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/023—Cartesian coordinate type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1101—Detecting tremor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Developmental Disabilities (AREA)
  • Multimedia (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本出願は、運動障害疾患分析用の補助撮影装置、制御方法及び装置を提供し、人工知能の技術分野に関する。前記補助撮影装置は、ベース、メカニカルアーム、制御アセンブリ及び撮影アセンブリを含み、メカニカルアームの一端はベースに接続されており、撮影アセンブリはメカニカルアームに設置され、制御アセンブリはメカニカルアーム及び撮影アセンブリにそれぞれ電気的に接続されており、制御アセンブリはメカニカルアームの方位移動を制御することで撮影アセンブリの位置を調整し、撮影アセンブリを制御して撮影させる。関連技術では、患者の運動データを取得するために患者はウェアラブルデバイスを装着する必要があることに対して、本出願の実施例で提供される補助撮影装置によれば、患者は装置を着用する必要がないので、患者に対する運動制限を軽減し、データの真実性を保証し、分析及び診断結果の精度をさらに向上できる。

Description

本出願は、２０１９年０９月１６日に提出した、出願番号が２０１９１０８７３００９.６であって、発明の名称が「運動障害疾患分析用の補助撮影装置、制御方法及び装置」である中国特許出願の優先権を主張し、本出願で、その全ての内容を援用する。
本出願の実施例は、人工知能（ＡＩ）技術の分野に関し、特に、運動障害疾患分析用の補助撮影装置、制御方法及び装置に関する。
科学技術が発展するにつれて、運動障害疾患（例えば、パーキンソン病）の診断は、もはや医療従事者の目視検査に完全に依存することはなく、ウェアラブルデバイスなどのデバイスを介して、定量的な診断を行うことができる。
関連技術において、センサーにより運動障害疾患を検出する。例えば、センサーをウェアラブルデバイス（例えば、手袋）に取り付け、患者はウェアラブルデバイスを着用し、対応するアクションを行い、ウェアラブルデバイスに組み込まれているセンサーは、リアルタイムで運動データを採集し、医療従事者は、採集した運動データに基づいて患者の状況を診断することができる。
上記関連技術において、患者が着用するウェアラブルデバイスは、患者のアクションに影響を及ぼし、データの歪みをもたらす可能性があり、その結果、分析結果は不正確になってしまう。
本出願の実施例は、運動障害疾患分析用の補助撮影装置、制御方法及び装置を提供し、データの真実性を向上させ、分析結果の精度を向上させる。前記技術案は以下のとおりである。
本出願の実施例の一態様によれば、運動障害疾患分析用の補助撮影装置を提供し、前記補助撮影装置は、ベース、メカニカルアーム、制御アセンブリ及び撮影アセンブリを含み、
前記メカニカルアームの一端は前記ベースに接続されており、
前記撮影アセンブリは前記メカニカルアームに設置され、前記制御アセンブリは前記メカニカルアーム及び前記撮影アセンブリにそれぞれ電気的に接続され、前記制御アセンブリは前記メカニカルアームの方位移動を制御することで前記撮影アセンブリの位置を調整し、前記撮影アセンブリを制御して撮影させ、
前記メカニカルアームの方位移動は、水平移動及び垂直移動のうちの少なくとも１つを含む。
本出願の実施例の一態様によれば、運動障害疾患分析用の補助撮影装置の制御方法を提供し、上記の態様に記載の運動障害疾患分析用の補助撮影装置における制御アセンブリに応用され、前記方法は、
第１の位置にある前記撮影アセンブリを制御して撮影させ、運動障碍患者のターゲット人体部位を含む第１の画像を取得し、
前記第１の画像における前記ターゲット人体部位に対応するターゲット領域の位置を確定し、
前記第１の画像における前記ターゲット人体部位に対応するターゲット領域の位置に基づいて、前記メカニカルアームの方位移動を制御して前記撮影アセンブリを第２の位置に調整し、
前記第２の位置にある前記撮影アセンブリを制御して撮影させ、前記ターゲット人体部位を含む第２の画像を取得することを含む。
本出願の実施例の一態様によれば、運動障害疾患分析用の補助撮影装置の制御装置を提供し、上記の態様に記載の運動障害疾患分析用の補助撮影装置における制御アセンブリに適用され、前記装置は、
第１の位置にある前記撮影アセンブリを制御して撮影させ、運動障碍患者のターゲット人体部位を含む第１の画像を取得するための撮影制御モジュールと、
前記第１の画像における前記ターゲット人体部位に対応するターゲット領域の位置を確定するための位置確定モジュールと、
前記第１の画像における前記ターゲット領域の位置に基づいて、前記メカニカルアームの方位移動を制御して前記撮影アセンブリを第２の位置に調整するための位置調整モジュールとを含んでおり、
前記撮影制御モジュールは、前記第２の位置にある前記撮影アセンブリを制御して撮影させ、前記ターゲット人体部位を含む第２の画像を取得するために用いられる。
本出願の実施例の一態様によれば、制御アセンブリを提供し、前記制御アセンブリはプロセッサー及びメモリを含んでおり、前記メモリには少なくとも１つの命令、少なくとも１つのプログラム、コードセット、又は命令セットを記憶しており、前記少なくとも１つのプログラム、前記コードセット又は命令セットは、上記の態様に記載の運動障害疾患分析用の補助撮影装置の制御方法を実現するように、前記プロセッサーによってロードされて実行される。
本出願の実施例の一態様によれば、コンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ読み取り可能な記憶媒体には少なくとも１つの命令、少なくとも１つのプログラム、コードセット、又は命令セットを記憶しており、前記少なくとも１つのプログラム、前記コードセット又は命令セットは、上記の態様に記載の運動障害疾患分析用の補助撮影装置の制御方法を実現するように、前記プロセッサーによってロードされて実行される。
本出願の実施例の一態様によれば、コンピュータプログラム製品を提供し、前記コンピュータプログラム製品がプロセッサーによって実行される場合に、上記の運動障害疾患分析用の補助撮影装置の制御方法を実現するために用いられる。
本出願の実施例で提供される技術案は、以下の有益な効果を有する。
本出願の実施例は、運動障害疾患分析用の補助撮影装置を提供し、当該補助撮影装置における制御アセンブリは、制御メカニカルアームの方位移動を制御することで撮影アセンブリの位置を調整し、撮影アセンブリを制御して撮影させることができる。関連技術では、患者の運動データを取得するために患者はウェアラブルデバイスを装着する必要があることに対して、本出願の実施例で提供される補助撮影装置によれば、患者は装置を着用する必要がないので、患者に対する運動制限を軽減し、データの真実性を保証し、分析及び診断結果の精度をさらに向上できる。
本出願の一実施例で提供される運動障害疾患分析用の補助撮影装置の概略図である。 本出願の別の実施例で提供される運動障害疾患分析用の補助撮影装置の概略図である。 本出願に係るメカニカルアームの方位移動の概略図を例示的に示す。 本出願に係る別の運動障害疾患分析用の補助撮影装置の概略図を例示的に示す。 本出願に係る別のメカニカルアームの方位移動の概略図を例示的に示す。 本出願の一実施例で提供される運動障害疾患分析用の補助撮影装置の制御方法のフローチャートである。 本出願の別の実施例で提供される運動障害疾患分析用の補助撮影装置の制御方法のフローチャートである。 本出願に係る人体の関節位置の概略図を例示的に示す。 本出願に係る人体関節接続図の概略図を例示的に示す。 本出願に係るターゲット領域を確定する概略図を例示的に示す。 本出願に係る撮影モジュールの位置調整の概略図を例示的に示す。 本出願に係る撮影モジュール位置を調整した後のターゲット領域の概略図を例示的に示す。 本出願に係る撮影モジュール焦点距離を調整した後のターゲット領域の概略図を例示的に示す。 本出願に係る姿勢認識モデルの概略図を例示的に示す。 本出願に係る人体関節位置図の概略図を例示的に示す。 本出願に係る人体関節接続図の概略図を例示的に示す。 本出願に係る運動障害疾患分析用の補助撮影装置の制御方法のフローチャートを例示的に示す。 本出願で提供される解決策の有益効果の概略図を例示的に示す。 本出願の一実施例で提供される運動障害疾患分析用の補助撮影装置の制御装置のブロック図である。 本出願の別の実施例で提供される運動障害疾患分析用の補助撮影装置の制御装置のブロック図である。 本出願の一実施例で提供される制御アセンブリの構造概略図である。
本出願の実施例の目的、技術案及びメリットをより明確にするために、以下、図面と合わせて、本出願の実施形態を更に詳しく説明する。
ＡＩ(Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、人工知能)は、デジタルコンピュータ又はデジタルコンピュータによって制御されるマシンを使用して、人間の知能をシミュレート、延長、拡張し、環境を感知し、知識を取得し、知識を使用して最適な結果を得る理論、方法、技術、及びアプリケーションシステムである。つまり、人工知能は、計算機科学の総合的な技術であり、知能の本質を理解し、人間の知能と類似するように反応できる新しいインテリジェントマシンを生み出そうとする。人工知能は、様々なインテリジェントマシンの設計原理と実現方法を研究して、マシンに感知、推論、決定の機能を持たせる。
人工知能技術は、総合的な学科であり、ハードウェア技術とソフトウェア技術の両方を含む幅広い分野に係る。人工知能の基本的な技術は、一般に、センサー、ＡＩ専用チップ、クラウドコンピューティング、分散ストレージ、ビッグデータ処理技術、オペレーティング/インタラクションシステム、メカトロニクスなどの技術を含む。人工知能のソフトウェア技術は、主に、コンピュータビジョン技術、音声処理技術、自然言語処理技術、機械学習/深層学習などを含む。
ＣＶ（Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、コンピュータビジョン技術)は、如何にマシンに「見せる」かを研究する科学である。具体的には、人間の目の代わりにカメラとコンピュータを使用して、ターゲットに対して識別、追跡、測定などのマシンビジョンを行い、グラフィックス処理をさらに行って、コンピュータに、人間の目が観察したりメータに伝送して検出したりするのにより適した画像となるように処理させる。科学学科として、コンピュータビジョンは関連する理論と技術を研究し、画像や多次元データから情報を取得できる人工知能システムを構築しようとする。コンピュータビジョン技術は、一般に、画像分割、画像処理、画像認識、画像意味分析、画像検索、ＯＣＲ、ビデオ処理、ビデオ意味分析、ビデオ内容/行為認識、３次元オブジェクト再構成、３Ｄ技術、仮想現実、拡張現実、同期ローカリゼーションとマッピングなどの技術を含み、よく知られている顔認識、指紋認識などの生体特徴認識技術をさらに含む。
音声技術(Ｓｐｅｅｃｈ Ｔｅｃｈｎｏｌｏｇｙ)の主要な技術には、ＡＳＲ(Ａｕｔｏｍａｔｉｃ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ、自動音声認識技術)、ＴＴＳ(Ｔｅｘｔ Ｔｏ Ｓｐｅｅｃｈ、音声合成技術)、及び声紋認識技術が含まれる。コンピュータに聞かせ、見せ、話せ、感じさせることは、人間とコンピュータのインタラクションの将来の発展方向であり、その中、音声は将来最も有望な人間とコンピュータのインタラクションの方法の１つになっている。
ＭＬ(Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ、機械学習)は、複数の分野が交わる学科であり、確率論、統計学、近似理論、凸解析、アルゴリズム複雑性理論などの複数の学科に係る。新しい知識やスキルを習得するためにコンピュータが人間の学習行動をどのようにシミュレート又は実現するかを専門に研究し、既存の知識構造を再組織して自身のパフォーマンスを継続的に改善する。機械学習は、人工知能のコアであり、コンピュータに知能を持たせる基本的な方法であり、その適用は人工知能のすべての分野をカバーする。機械学習及び深層学習は、一般に、人工ニューラルネットワーク、信念ネットワーク、強化学習、転移学習、帰納学習、教示学習などの技術を含む。
ＡＩ技術の研究と進歩に伴い、ＡＩ技術は、一般的なスマートホーム、スマートウェアラブルデバイス、仮想アシスタント、スマートスピーカー、スマートマーケティング、無人運転、自動運転、無人航空機、ロボット、スマート医療、スマートカスタマーサービスなどの複数の分野で研究され、適用されている
。技術の発展に伴い、ＡＩ技術はより多くの分野で応用され、ますます重要な役割を果たすと考えられる。
本出願の実施例で提供される解決策は、人工知能のＣＶ、音声技術及びＭＬなどの技術に関し、運動障害疾患分析用の補助撮影装置及び当該補助撮影装置の制御方法を提供し、当該補助撮影装置及び当該補助撮影装置の制御方法は、運動障碍疾患分析及び研究分野、例えば、パーキンソン病の分析と研究に適用してもよく、安全防護分野に適用して、画面中の人が過激な行動をとっているかどうかを判断し、すぐに警報を出してもよく、新しい小売分野に適用して、人々の購入などの行動を判断してもよく、歩行分析の分野に適用して、スポーツ選手の運動状况の評価、パフォーマンスの向上に使用してもよく、さらに生体認証識別子とし、空間内の個人の位置を追跡してもよく、さらに、アクションキャプチャに使用し、例えば、ダンスゲームのプレイに使用してもよく、人間とコンピュータのインタラクション手段として、家電製品等を遠隔制御してもよい。
図１を参照し、本出願の一実施例で提供される運動障害疾患分析用の補助撮影装置の概略図を示している。当該補助撮影装置１００は、ベース１１０、メカニカルアーム１３０、制御アセンブリ１４０及び撮影アセンブリ１５０を含む。
ベース１１０は、補助撮影装置１００全体の他のコンポーネントを支持する。メカニカルアーム１３０の一端はベース１１０に接続されている。当該メカニカルアーム１３０の一端はベース１１０と固定して接続され、つまり、メカニカルアーム１３０の一端とベース１１０の相対位置は変化しなくてもよく、移動可能に接続され、つまり、メカニカルアーム１３０の一端とベース１１０との相対位置は変化してもよい。また、当該メカニカルアーム１３０の一端はベース１１０に直接接続され、例えば、メカニカルアーム１３０の一端は接着、溶接、挿入などによってベース１１０に直接接続されてもよく、間接接続され、例えば、メカニカルアーム１３０の一端はあるコンポーネントを介してベース１１０に間接的に接続されてもよい。
撮影アセンブリ１５０は、メカニカルアーム１３０に設置され、制御アセンブリ１４０はメカニカルアーム１３０及び撮影アセンブリ１５０にそれぞれ電気的に接続され、制御アセンブリ１４０は、メカニカルアーム１３０の方位移動を制御することで撮影アセンブリ１５０の位置を調整し、撮影アセンブリ１５０を制御して撮影させる。なお、メカニカルアーム１３０の方位移動は、水平移動及び垂直移動のうちの少なくとも１つを含む。
本出願の実施例では、水平移動とは、水平方向の移動、例えば、水平面上での前、後、左、右又は他の方向への移動を指す。垂直移動とは、垂直方向の移動、例えば、垂直方向上方への移動、垂直方向下方への移動を指す。なお、メカニカルアーム１３０は、水平移動のみをサポートしてもよく、垂直方向の移動のみをサポートしてもよく、水平方向の移動と垂直方向の移動の両方をサポートしてもよく、これは、本出願の実施例では限定されない。また、メカニカルアーム１３０は、水平移動中に同時に垂直移動を行うことができ、つまり、水平移動及び垂直移動を同時に行い、これは本出願の実施例では限定されない。
任意選択で、メカニカルアーム１３０は、支点又は軸の周りを回転する機能をサポートすることもできる。これにより、メカニカルアーム１３０の方位移動はより柔軟になり、カメラアセンブリ１５０の位置は、より柔軟かつ正確に調整される。
要するに、本出願の実施例で提供される技術案によれば、運動障害疾患分析用の補助撮影装置を提供し、当該補助撮影装置における制御アセンブリは、制御メカニカルアームの方位移動を制御することで撮影アセンブリの位置を調整し、撮影アセンブリを制御して撮影させることができる。関連技術では、患者の運動データを取得するために患者はウェアラブルデバイスを装着する必要があることに対して、本出願の実施例で提供される補助撮影装置によれば、患者は装置を着用する必要がないので、患者に対する運動制限を軽減し、データの真実性を保証し、分析及び診断結果の精度をさらに向上できる。
図２を参照し、本出願の別の実施例で提供される運動障害疾患分析用の補助撮影装置の概略図を示している。当該補助撮影装置１００は、ベース１１０、並進トラック１２０、メカニカルアーム１３０、制御アセンブリ１４０及び撮影アセンブリ１５０を含む。
なお、ベース１１０は、補助撮影装置１００全体の他のコンポーネントを支持する。ベースは、円形、正方形、正六角形などの規則的な形状であってもよいし、他の不規則な形状であってもよく、本出願の実施例では限定されない。また、本出願の実施例では、ベース１１０の材料は限定されない。
上記の並進トラック１２０は、ベース１１０に設置され、メカニカルアーム１３０の一端は並進トラック１２０に設置され、メカニカルアーム１３０は並進トラック１２０にスライド可能に接続される。
並進トラック１２０は、ベース１１０に固定して設置されてもよい。メカニカルアーム１３０の一端が並進トラック上でスライドできるように、メカニカルアーム１３０の一端は並進トラック１２０にスライド可能に接続される。
任意選択で、上記の並進トラック１２０は、ラウンドチューブトラックであってもよく、メカニカルアーム１３０の一端にボールヒンジを介して接続されてもよい。
任意選択で、上記の並進トラック１２０は、メカニカルアーム１３０の水平移動を実現する。
撮影アセンブリ１５０は、メカニカルアーム１３０に設置され、制御アセンブリ１４０はメカニカルアーム１３０及び撮影アセンブリ１５０にそれぞれ電気的に接続され、制御アセンブリ１４０は、メカニカルアーム１３０の方位移動を制御することで撮影アセンブリ１５０の位置を調整し、撮影アセンブリ１５０を制御して撮影させる。なお、メカニカルアーム１３０の方位移動は、水平移動及び垂直移動のうちの少なくとも１つを含む。
上記の撮影アセンブリ１５０は、メカニカルアーム１３０の他端に設置されてもよいし、メカニカルアームの他の位置に設置されてもよく、メカニカルアーム１３０の実構造に応じて撮影アセンブリ１５０の位置を設定してもよく、これは本出願の実施例では限定されない。
上記の制御アセンブリ１４０は、少なくとも１つのブロック制御チップを含むことができ、１つの制御チップのみを含む場合に、制御チップは、他のアセンブリを制御して、撮影、方位移動などの様々な機能を実施させることができ、複数の制御チップを含む場合、異なる制御チップは異なる機能を実現でき、例えば、１つの制御チップは、撮影アセンブリ１５０を制御して撮影させ、別の制御チップは、撮影された画像を処理し、さらに別の制御チップは、メカニカルアーム１３０の方位運動を制御し、これは本出願の実施例では限定されない。
任意選択で、上記のメカニカルアーム１３０は、水平移動のみを行ってもよく、垂直方向の移動のみを行ってもよく、水平方向の移動と垂直方向の移動の両方を行ってもよいが、これは、本出願の実施例では限定されない。
任意選択で、上記の撮影アセンブリ１５０は、ズームカメラを含む。制御アセンブリ１４０は、必要に応じて、当該ズームカメラを制御して焦点距離を自動的に調整し、画像をより鮮明にすることができる。幾つかの他の例において、上記の撮影アセンブリ１５０はデジタルカメラ、デジタルカメラレンズ、デジタルビデオレコーダーなどの画像撮影機能を有する撮影モジュールをさらに含み得るが、これは本出願の実施例では限定されない。
本出願の実施例では、メカニカルアーム１３０の異なる構成によって、上記の補助撮影装置１００は、以下の２つの異なる設計スキームを有し得る。
第１のスキーム：図２に示すように、上記のメカニカルアーム１３０は互いに接続された少なくとも２つの回転軸を含み、例えば、互いに接続された３つの回転軸である第１の回転軸１３１、第２の回転軸１３２及び第３の回転軸１３３を含む。上記の回転軸の数は、実際のニーズに応じて設定することができ、これは本出願の実施例では限定されない。
撮影アセンブリ１５０は、ベース１１０から離れた回転軸、例えば、第３の回転軸１３３の一端に設置される。回転軸１３１の一端は並進トラック１２０にスライド可能に接続される。
制御アセンブリ１４０は、メカニカルアーム１３０を制御して並進トラック１２０上で水平移動を行わせることで、撮影アセンブリ１５０の水平位置を調整する。制御アセンブリ１４０は、回転軸を制御して垂直移動させることで、撮影アセンブリ１５０の垂直位置を調整する。
図３に示すように、メカニカルアームの方位移動の概略図を例示的に示している。制御アセンブリ１４０は処理して、メカニカルアーム１３０を距離ｄ１だけ水平移動させ、距離ｈ３だけ垂直移動させる必要があることが分かると、制御アセンブリ１４０はメカニカルアーム１３０の第１の回転軸１３１を制御して並進トラック１２０上で距離ｄ１だけ移動させ，メカニカルアーム１３０の第３の回転軸１３３を制御して距離ｈ３だけ垂直移動させることができる。
第２のスキーム：図４に示すように、上記のメカニカルアーム１３０は垂直トラックを含む。任意選択で、当該垂直トラックと並進トラック１２０とは十字構造を形成する。
制御アセンブリ１４０は、メカニカルアーム１３０の垂直トラックを制御して並進トラック１２０上で水平移動させることで、撮影アセンブリ１５０の水平位置を調整する。制御アセンブリ１５０は、さらに、撮影アセンブリ１５０を制御して垂直トラック上で垂直移動させる。
例示的に、図５に示すように、制御アセンブリ１５０は撮影アセンブリ１５０を制御して垂直トラック上で距離ｈ３だけ垂直移動させる。制御アセンブリ１５０は垂直トラックを制御して並進トラック１２０上で距離０だけ水平移動させる。
上記の二つのメカニカルアームの設計構造において、第２の設計構造は、メカニカルアームの複数の回転軸を垂直トラックとして設計したので、補助撮影装置の構造を効果的に簡略化し、製造の複雑さを軽減する。
幾つかの他の実施例において、上記のメカニカルアームは他の設計構造をさらに有し得るが、これは本出願の実施例では限定されない。
要するに、本出願の実施例で提供される技術案によれば、運動障害疾患分析用の補助撮影装置を提供し、当該補助撮影装置における制御アセンブリは、制御メカニカルアームの方位移動を制御することで撮影アセンブリの位置を調整し、撮影アセンブリを制御して撮影させることができる。関連技術では、患者の運動データを取得するために患者はウェアラブルデバイスを装着する必要があることに対して、本出願の実施例で提供される補助撮影装置によれば、患者は装置を着用する必要がないので、患者に対する運動制限を軽減し、データの真実性を保証し、分析及び診断結果の精度をさらに向上できる。
また、本出願の実施例で提供される補助撮影装置における撮影アセンブリは、ズームカメラであってもよく、これにより、制御アセンブリは当該ズームカメラを制御して自動的にズーミングさせることができ、撮影画像又はビデオの解像度を向上させ、運動ビデオのぼけを低減する。
図６を参照して、本出願一実施例で提供される運動障害疾患分析用の補助撮影装置の制御方法のフローチャートを示している。本実施例では、主に、当該方法が以上で説明された運動障害疾患分析用の補助撮影装置における制御アセンブリに適用されることを例として説明する。当該方法は以下のステップを含むことができる。
ステップ５０１において、第１の位置にある撮影アセンブリを制御して撮影させ、第１の画像を取得する。
制御アセンブリは、撮影アセンブリを制御して運動障碍患者を撮影させ、第１の画像を取得させることができる。上記の第１の画像は運動障碍患者のターゲット人体部位を含む。上記のターゲット人体部位は、手、顔、足などの人体部位であってもよい。上記の運動障害疾患は、パーキンソン病であってもよく、びまん性レビー小体型認知症であってもよく、本態性振戦であってもよく、肝レンズ核変性症などであってもよいが、これは本出願の実施例では限定されない。
また、上記の第１の画像は、一枚の画像であってもよいし、ビデオにおける画像フレームであってもよい。
任意選択で、第１の位置にある撮影アセンブリを制御して撮影させる前に、制御アセンブリは、補助装置をさらに制御して音声で撮影の開始を患者に対して促してもよいし、相応するアクションを行うように患者に対してガイドしてもよい。
なお、上記の第１の位置は、補助撮影装置が最初に始動される際に撮影アセンブリの位置であってもよいし、位置調整プロセスにおける任意の位置であってもよいが，これは本出願の実施例では限定されない。
ステップ５０２において、第１の画像におけるターゲット人体部位に対応するターゲット領域の位置を確定する。
上記の第１の画像を取得した後に、制御アセンブリは、当該第１の画像に対して分析処理を行うことで、第１の画像におけるターゲット人体部位に対応するターゲット領域の位置を確定する。上記のターゲット人体部位に対応するターゲット領域とは、第１の画像におけるターゲット人体部位を含む一部領域を指す。
任意選択で、上記の第１の画像におけるターゲット人体部位に対応するターゲット領域の位置を確定することは、姿勢認識モデルを呼び出して完成することができ、詳細な説明について、以下の図７の実施例を参照すればよく、ここで再度説明しない。
ステップ５０３において、第１の画像におけるターゲット人体部位に対応するターゲット領域の位置に基づいて、メカニカルアームの方位移動を制御して撮影アセンブリを第２の位置に調整する。
上記の第１の画像におけるターゲット人体部位に対応するターゲット領域の位置を確定した後に、当該ターゲット領域の中心位置と第１の画像の中心位置との間の方位偏差を分析でき、さらに、当該方位偏差に基づいてメカニカルアームの方位移動を制御して撮影アセンブリを第２の位置に調整できる。
上記のメカニカルアームの方位移動は、水平移動及び垂直移動のうちの少なくとも１つを含む。制御アセンブリは、メカニカルアームを制御して水平移動のみを行うか、垂直方向の移動のみを行うか、又は水平方向の移動と垂直方向の移動の両方を行ってもよい。
なお、制御アセンブリを最適な位置に調整できない場合に、さらに、一定の姿勢調整を行うように患者に対して音声で促してもよい。
ステップ５０４において、第２の位置にある撮影アセンブリを制御して撮影させ、第２の画像を取得する。
撮影アセンブリを第２の位置に調整した後に、制御アセンブリは撮影アセンブリを制御して再撮影させ、第２の画像を取得させる。なお、上記の第２の画像はターゲット人体部位を含む。任意選択で、撮影アセンブリの位置が制御されて調整されたので、ターゲット人体部位に対応するターゲット領域が第２の画像の中心位置に位置する。本出願の実施例では、画像の中心位置とは画像の中心点の位置を指す。例えば、画像は長さＬ、幅Ｗの矩形の画像である、画像の左上の頂点を原点として２次元の直交座標系を構築すると仮定すると、画像の中心位置の座標は(Ｌ/２，Ｗ/２)として表すことができる。ターゲット人体部位に対応するターゲット領域は第２の画像の中心位置に位置し、ターゲット人体部位に対応するターゲット領域に当該第２の画像の中心位置を含むことを指す。
任意選択で、補助撮影装置は、最適な角度で患者の運動ビデオを撮影することを確保し、撮影を必要とするアクション及びアクション記述を音声で促し、撮影アセンブリを制御して画像又は運動ビデオ撮影機能を起動させる。
任意選択で、撮影が終了した後、制御アセンブリは撮影モジュールを制御して撮影を停止させ、アクションを停止するように患者に対して音声で促し、撮影された画像又はビデオを自動的に保存する。
要するに、本出願の実施例で提供される技術案によれば、補助撮影装置における制御アセンブリは、メカニカルアームの方位移動を制御することで、撮影モジュールを最適な位置に調整し、当該撮影モジュールを制御して撮影させ、撮影された画像におけるターゲット人体部位に対応するターゲット領域は画像の中心位置に位置する。関連技術では、患者の運動データを取得するために患者はウェアラブルデバイスを装着する必要があることに対して、本出願の実施例における補助撮影装置の制御アセンブリは、撮影モジュールの位置を自動的に調整でき、患者は装置を着用する必要がないので、患者に対する運動制限を軽減し、データの真実性を保証し、また、制御アセンブリは撮影アセンブリを制御してターゲット人体部位に対応するターゲット領域を画像の中心位置に調整し、ターゲット領域をより鮮明にし、分析及び診断結果の精度をさらに向上できる。
図７を参照して、本出願の別の実施例で提供される運動障害疾患分析用の補助撮影装置の制御方法のフローチャートを示している。本実施例では、主に、当該方法が以上で説明された運動障害疾患分析用の補助撮影装置における制御アセンブリに適用されることを例として説明する。当該方法は以下のステップを含むことができる。
ステップ６０１において、第１の位置にある撮影アセンブリを制御して撮影させ、第１の画像を取得する。
このステップは、以上の図６の実施例におけるステップ５０１と同様又は類似するので、ここで再度説明しない。
ステップ６０２において、姿勢認識モデルを呼び出して第１の画像における各関節の人体関節位置図、及び人体関節接続図を確定する。
制御アセンブリは、姿勢認識モデルを呼び出して第１の画像における各関節の人体関節位置図、及び人体関節接続図を認識して確定することができる。なお、人体関節位置図は、第１の画像における人体の関節の位置、例えば左肩の位置、左肘の位置、左手首の位置、鼻の位置、首の位置などを表す。
例示的に、図８に示すように、人体の関節の位置の概略図を例示的に示す。図８中の番号０－２４はそれぞれ人体の２５個の関節に対応し、それぞれ、鼻、首、右肩、右肘、右手首、左肩、左肘、左手首、中股、右臀部、右膝、右足首、左臀部、左膝
、左足首、右目、左目、右耳、左耳、左足の親指、左足の小指、左のかかと、右足の親指、右足の小指、右のかかとである。
上記の人体関節接続図は、第１の画像における人体の関節の間の接続関係、例えば、左肩と左肘を結ぶ線、右肩と右肘を結ぶ線、右肘と右手首を結ぶ線などを表す。
例示的に、図９に示すように、人体関節接続図の概略図を例示的に示している。図９の(ａ)部分は第１の画像であり、制御アセンブリは姿勢認識モデルを呼び出して図９の(ｂ)部分に示す人体関節接続図を確定することができる。
上記の姿勢認識モデルは、エンドツーエンドの深層学習モデルであってもよく、当該モデルは入力が第１の画像、出力が第１の画像における各関節の人体関節位置図及び人体関節接続図であってもよい。上記の姿勢認識モデルの説明について図１４～図１６で提供される実施例を参照すればよいが、ここで再度説明しない。
ステップ６０３において、人体関節位置図、及び人体関節接続図に基づいて第１の画像におけるターゲット人体部位に対応するターゲット領域の位置を確定する。
上記の人体関節位置図及び人体関節接続図を取得した後に、上記の人体関節位置図、及び人体関節接続図に基づいて第１の画像におけるターゲット人体部位に対応するターゲット領域の位置を確定することができる。
任意選択で、上記の人体関節位置図、及び人体関節接続図に基づいて第１の画像におけるターゲット人体部位に対応するターゲット領域の位置を確定するステップは、以下のサブステップを含むことができる。
(１)人体関節位置図、及び人体関節接続図に基づいて、ターゲット人体部位に関連する関連関節を確定する。
上記の関連関節はターゲット人体部位と接続関係を持つ関節であってもよい。例えば、ターゲット人体部位が手であると仮定すると、ターゲット人体部位に関連する関連関節は手首及び肘であってもよい。
(２)関連関節の位置座標を取得する。
さらに、人体関節位置図に基づいて上記の関連関節の座標位置を確定することができる。
(３)関連関節の位置座標に基づいて第１の画像におけるターゲット人体部位に対応するターゲット領域の位置を確定する。
図１０に示すように、確定ターゲット領域の概略図を例示的に示している。ターゲット人体部位が手、ターゲット領域が手領域であることを例とする。図の破線のボックスは手領域を示す。制御アセンブリは、手に関連する関連関節を手首(図１０中の番号６の点)、及び肘(図１０中の番号７の点)として確定でき、さらに、手首及び肘の位置座標を取得でき、各位置座標は、ｘ軸座標及びｙ軸座標を含む。
なお、ｘ軸座標は[０]で、ｙ軸座標は[１]で示してもよい。つまり、手首の位置座標は（lwrist[0]，lwrist[1]）、肘の位置座標は（lelbow [0]，lelbow [1]）として示されてもよい。
上記の手首及び肘の位置座標に基づいて、人体関節接続図と合わせて、下記数式に従って手領域の中心点(図１０で黒い三角形で表される)の位置座標を算出することができる。
center_x = lwrist[0] + 0.33*（lwrist[0]-lelbow[0]）；
center_y = lwrist[1] + 0.33 *（lwrist[1]-lelbow[1]）；
なお、center_xは、手領域の中心点のｘ軸座標を示し、center_yは手領域の中心点のｙ軸座標を示す。つまり、手領域の中心点の座標は（center_x，center_y）として示すことができる。
手領域の中心点の座標を取得した後に、中心点に沿って２つの辺に拡張して図１０に示す手領域を取得し、図１０の破線のボックスＡＢＣＤに示すように、当該破線のボックスＡＢＣＤの辺の長さは、下記数式により算出できる。
Figure 2022527007000002
Figure 2022527007000003
Figure 2022527007000004
なお、Widthは、破線のボックスＡＢＣＤの辺長さを示し、DistanceWristElbowは、手首と肘との距離を示し、DistanceElbowShoulderは肘と肩部との距離を示し、lshoulder[0]は、肩のｘ軸座標を示し、lshoulder[1]は肩のｙ軸座標を示す。
手領域の中心点の位置座標及び破線のボックス辺長に基づいて、下記の数式に従って破線のボックスを構成する左上隅(Ａ点)及び右下隅(Ｃ点)の２つの座標を算出することができる。
Figure 2022527007000005
Figure 2022527007000006
Figure 2022527007000007
Figure 2022527007000008
 なお、Bbox_left_top[0]はＡ点のｘ軸座標を示し、Bbox_left_top[1]はＡ点のｙ軸座標を示し、Bbox_right_bottom[0]はＣ点のｘ軸座標を示し、Bbox_right_bottom[1]はＣ点のｙ軸座標を示す。
このようにして、最終的な手領域、即ち、ターゲット人体部位に対応するターゲット領域を取得する。
ステップ６０４において、第１の画像におけるターゲット人体部位に対応するターゲット領域の位置に基づいて、ターゲット人体部位に対応するターゲット領域の第１の中心点と第１の画像の第２の中心点との間の方位偏差を計算する。
上記の第１の画像におけるターゲット人体部位に対応するターゲット領域の位置を確定した後に、人体部位に対応するターゲット領域の第１の中心点及び第１の画像の第２の中心点を確定でき、さらに、第１の中心点と第２の中心点との間の方位偏差を算出できる。
上記の方位偏差は、第１の画像における第１の画像中心位置からのターゲット領域の偏差を表す。上記の方位偏差は横方向偏差及び縦方向偏差を含んでもよい。
任意選択で、上記の第１の画像におけるターゲット人体部位に対応するターゲット領域の位置に基づいて、ターゲット人体部位に対応するターゲット領域の第１の中心点と第１の画像の第２の中心点との間の方位偏差を算出するステップは、
(１)第１の中心点の位置座標、及び第２の中心点の位置座標を確定するサブステップと、
(２)第１の中心点の位置座標と第２の中心点の位置座標との間の横方向偏差距離及び縦方向偏差距離を確定するサブステップとを含むことができる。
図１１に示すように、撮影モジュールの位置調整の概略図を例示的に示している。図１１の菱形はターゲット人体部位に対応するターゲット領域の第１の中心点１１を示し、小さな白丸は第１の画像の第２の中心点１２を示す。第１の中心点の位置座標及び第２の中心点の位置座標を確定した後に、横方向偏差距離ｄ１及び縦方向偏差距離ｄ２を取得できる。
ステップ６０５において、方位偏差に基づいて、メカニカルアームの方位移動を制御して撮影アセンブリを第２の位置に調整する。
上記の方位偏差を確定した後に、当該方位偏差に基づいて撮影アセンブリの位置を調整することができる。
任意選択で、上記の方位偏差に基づいて、メカニカルアームの方位移動を制御して撮影アセンブリを第２の位置に調整するステップは、メカニカルアームを制御して横方向偏差距離だけ水平移動させ、縦方向偏差距離だけ垂直移動させて、撮影アセンブリを第２の位置に調整することを含む。
上記の方位偏差を取得した後に、さらに、補助撮影装置のメカニカルアームの移動方向及び距離を算出することができる。
図３を参照し、メカニカルアームの方位移動の概略図を例示的に示す。上記の方位偏差に基づいて、メカニカルアーム１３０は横方向の偏差距離ｄ１だけ水平移動し、縦方向偏差距離ｄ２だけ垂直移動する必要があることが分かり、なお、水平移動は並進トラック１２０により実現され、垂直移動は回転軸により実現される。図３に示すように、回転軸の長さをＬ、回転軸の第１の位置の角度をα０、第２の位置に移動した後の角度をα１とすると、回転軸を回転させる必要があるαは次の数式により算出できる。
Figure 2022527007000009
Figure 2022527007000010
 なお、ｈ１は第１の位置での水平線からの第３の回転軸の高さを示し、ｈ２は第２の位置での水平線からの第３の回転軸の高さを示し、当該水平線は、第３回転軸と第２回転軸の接続点を通る水平線である。
ステップ６０６において、第２の位置にある撮影アセンブリを制御して撮影させ、第２の画像を取得させる。
なお、第２の画像はターゲット人体部位を含み、ターゲット人体部位に対応するターゲット領域は第２の画像の中心位置に位置する。
図１２に示すように、ターゲット人体部位に対応するターゲット領域が手領域２０であることを例とする。図１２の(ａ)部分は第１の画像であり、第１の画像において、手領域２０が第１の画像における上部位置に位置し、図１２の(ｂ)部分は第２の画像であり、第２の画像において、手領域２０が第２の画像の中心位置に位置する。
任意選択で、撮影アセンブリがズームカメラである場合に、制御アセンブリは、第２の位置にある撮影アセンブリを制御して撮影させ、第２の画像を取得させる前に、
(１)ターゲット人体部位を検出し、ターゲット人体部位に対応するターゲット領域が第１の画像を占めるアスペクト比を確定するステップと、
(２)アスペクト比に基づいて、撮影アセンブリを制御して焦点距離を調整することでターゲット人体部位に対応するターゲット領域が第１の画像を占めるアスペクト比を調整するステップを実行することができる。
撮影アセンブリが第２の位置に調整されると、撮影するターゲット人体部位に対応するターゲット領域が第２の画像の中間位置に位置し、この場合、さらに、ターゲット領域の具体的な位置及びサイズを検出して、ターゲット人体部位に対応するターゲット領域が第１の画像を占めるアスペクト比を計算してもよく、さらに、撮影アセンブリの焦点距離を調整して、ターゲット人体部位に対応するターゲット領域ができるだけ画像全体を埋めるようにすることができ、これにより、ターゲット人体部位に対応するターゲット領域がより鮮明になる。
例示的に、図１３に示すように、ターゲット人体部位に対応するターゲット領域が手領域２０であることを例とする。図１３の(ａ)部分に示すように、焦点距離が調整されていない場合に撮影された画像であり、手領域が画像を占めるアスペクト比が小さいことが分かり、図１３の(ｂ) 部分に示すように、ターゲット人体部位に対応するターゲット領域が第１の画像を占めるアスペクト比に基づいて撮影焦点距離を調整し、図１３の(ｃ)部分に示すように、焦点距離が調整された後に撮影された画像であり、手領域２０が画像を占めるアスペクト比は大きいことが分かり、手領域はより鮮明になる。
要するに、本出願の実施例で提供される技術案によれば、補助撮影装置における制御アセンブリは、姿勢認識モデルを呼び出し、姿勢認識モデルの出力結果と組み合わることで画像におけるターゲット人体部位に対応するターゲット領域の位置を確定し、さらに、ターゲット領域の中心点と画像の中心点との間の方位偏差を確定し、当該方位偏差に基づいて撮影アセンブリの位置を最適な位置に調整し、ターゲット人体部位に対応するターゲット領域が画像の中心位置に位置するようにする。姿勢認識モデルを呼び出し、関連する人工知能アルゴリズムを採用するので、補助撮影装置は撮影位置及び角度実現の自動調整、焦点距離の自動調整を実現でき、手動で調整することなく、撮影角度を手動で調整するという面倒な操作を回避し、時間と労力を節約し、撮影効率が向上する。
また、撮影アセンブリが最適な位置に調整されると、撮影アセンブリの焦点距離をさらに調整して、ターゲット人体部位に対応するターゲット領域ができるだけ画像全体を埋めるようにすることができ、ターゲット人体部位に対応するターゲット領域はより鮮明になる。
以下、姿勢認識モデルについて詳細に説明する。図１４に示すように、姿勢認識モデルの概略図を例示的に示す。姿勢認識モデル１３００は、特徴抽出部１３１０、位置確定部１３２０及び接続確定部１３３０を含む。
なお、上記の特徴抽出部１３１０は、第１の画像の画像特徴を抽出する。上記の特徴抽出部は、ＶＧＧ１９の前の１０層であってもよい。上記の画像特徴は、色特徴、テクスチャ特徴、形状特徴、及びセマンティック特徴のうちの少なくとも１つを含んでもよい。
上記の画像特徴を抽出した後に、当該画像特徴を位置確定部１３２０及び接続確定部１３３０にそれぞれ入力することができる。上記の位置確定部１３２０は、画像特徴に基づいて、第１の画像における各画素点がターゲット関節に属する信頼度を計算し、ターゲット関節の人体関節位置図を取得する。
例示的に、図１５に示すように、上記の位置確定部１３２０は、ｈ′×ｗ′個の画素のうちの各画素が左肩に属する信頼度を計算し、当該信頼度を、画像表示、即ち、人体関節位置図に変換することができ、当該図の円形５０でマークされた領域は図の最も明るい領域であり、つまり、左肩を示す。
任意選択で、上記の位置確定部１３２０は、ｔ個の段階を含み、ｔ個の段階はｔ個の関節に対応する。なお、第１の段階の位置確定部１３２０は、画像特徴を入力し、その中の１つの関節の人体関節位置図を出力し、第１の段階の後の段階において、当該段階の前の段階で出力された人体関節位置図、人体関節接続図及び特徴マップを入力する。
上記の接続確定部１３３０は、画像特徴に基づいて、第１の画像における、関節を結ぶ線の位置及び方向を表すためのベクトル場を確定し、人体関節接続図を取得する。
任意選択で、上記の接続確定部１３３０も、ｔ個の段階を含み、ｔ個の段階はｔ個の関節に対応する。なお、第１の段階の接続確定部１３３０は画像特徴を入力、その中のいずれか二つの関節を結ぶ線の人体関節接続図を出力し、第１の段階の後の段階において当該段階の前の段階で出力された人体関節位置図、人体関節接続図及び特徴マップを入力する。
例示的に、図１６に示すように、上記の接続確定部１３３０は関節である首と左肩とを結んで、１つのベクトル場６０を形成し、当該ベクトル場６０は、関節である首と左肩を結ぶ線の位置及び方向を指示してもよい。
上記の姿勢認識モデルは、継続的に強化トレーニングされ、当該姿勢認識モデルは画像データから身体関節の正確な位置を学習し、最終的に、各関節の人体関節位置図及び人体関節接続図を得ることができる。
要するに、本出願の実施例で提供される技術案によれば、姿勢認識モデルを呼び出して人体関節位置図及び人体関節接続図を取得することで、さらに、ターゲット人体部位に対応するターゲット領域を確定することができる。姿勢認識モデルにより、ターゲット人体部位に対応するターゲット領域位置を確定する精度を向上させることができる。
また、本出願の実施例で提供される姿勢認識モデルにおいて、画像特徴抽出と人体関節位置図及び人体関節接続図の予測とは互いに独立し、予測結果の精度を向上させる。
図１７に示すように、運動障害疾患分析用の補助撮影装置の制御方法のフローチャートを例示的に示す。本実施例では、主に、当該方法が以上で説明された運動障害疾患分析用の補助撮影装置における制御アセンブリに適用されることを例として説明する。
補助撮影装置の起動１６０１後、制御アセンブリは上記の補助装置を制御し、撮影の開始を患者に対して音声で促すことができ１６０２、その後、制御アセンブリは撮影アセンブリを制御して撮影させることができ、その後、制御アセンブリは撮影アセンブリから戻った画像を取得した後に、姿勢認識モデルを呼び出して患者の人体の関節位置を検出し、画像におけるターゲット人体部位に対応するターゲット領域(例えば、手領域)の位置を確定する１６０３。制御アセンブリは画像における当該ターゲット領域の位置が適切であるかどうかを判断でき１６０４、適切でないと、制御アセンブリは計算分析によりメカニカルアームの水平移動距離及び垂直移動距離を取得し、さらに、撮影アセンブリの位置を自動的に調整し１６０５、調整後のターゲット領域が画像の中心位置に現れることを確保する。その後、制御アセンブリはターゲット領域を検出して、全てのターゲット人体部位をカバーできる最小領域を取得することができ、撮影アセンブリの焦点距離１６０６を調整してターゲット領域が画像に完全に現れ且つできるだけ大きく現れるようにする。最後、制御アセンブリは撮影アセンブリを制御して撮影させ、患者の特定アクションの運動ビデオを記録し１６０７、カウントし、設定された撮影時間に従って、ビデオ撮影を完成させた後にアクションを停止するように患者に対して促し、撮影が終了するように患者に対して音声で促す１６０８。制御アセンブリはビデオに名前を付けて保存し、次のビデオの撮影を準備する。
図１８に示すように、本出願で提供される解決策の有益な効果の概略図を例示的に示す。図１８の(ａ)部分は撮影アセンブリが第１の位置で撮影した第１の画像であり、当該第１の画像における手領域が上部領域に位置し、その後、制御アセンブリがメカニカルアームの方位移動を制御して撮影アセンブリを第２の位置に調整し、撮影アセンブリを制御して撮影させ、第２の画像を取得し、図１８の(ｂ)部分に示すように、第２の画像において、手領域が第２の画像の中心位置に位置し、次に、制御アセンブリは撮影アセンブリの焦点距離を調整して、ターゲット人体部位に対応するターゲット領域ができるだけ画像全体を埋めるようにすることができ、図１８の(ｃ)に示すように、最後、当該第２の位置と焦点距離で、手の特定運動のビデオを撮影して、得られたビデオにおける手領域はより鮮明になる。
本出願で提供される補助撮影装置は、運動ビデオ分析技術のビデオ撮影段階に適用可能であり、相応する運動ビデオに対する自動インテリジェントな撮影を実現する。補助撮影装置は人工知能アルゴリズムを採用し、まず、撮影ニーズに応じてターゲット人体の運動部位(例えば、手、顔又は足)を自動的に特定し、相応する部位の最適な撮影角度を計算し、カメラの位置を自動的に調整して運動部位を画面中央に位置させ、カメラの焦点距離を自動的に調整して撮影ビデオをより鮮明にし、最終的に、高品質の運動ビデオを取得してさらなるビデオ分析に使用し、精確なデータを取得し診察室条件下での運動障碍疾患分析と研究に使用する。
下記は、本願に係る装置の実施例であり、本願に係る方法の実施例を実行する。本願に係る装置の実施例に披露されていない詳細について、本願に係る方法の実施例を参照すればよい。
図１９を参照し、本出願一実施例で提供される運動障害疾患分析用の補助撮影装置の制御装置のブロック図を示している。当該装置は、上記の方法例を実現する例示的な機能を有し、前記機能は、ハードウェアによって実現されてもよいし、ハードウェアによって相応のソフトウェアを実行することにより実現されてもよい。当該装置は、以上で説明された制御アセンブリであってもよいし、制御アセンブリに設置されてもよい。当該装置１８００は、撮影制御モジュール１８１０、位置確定モジュール１８２０及び位置調整モジュール１８３０を含むことができる。
撮影制御モジュール１８１０は、第１の位置にある前記撮影アセンブリを制御して撮影させ、運動障碍患者のターゲット人体部位を含む第１の画像を取得する。
位置確定モジュール１８２０は、前記第１の画像における前記ターゲット人体部位に対応するターゲット領域の位置を確定する。
位置調整モジュール１８３０は、前記第１の画像における前記ターゲット領域の位置に基づいて、前記メカニカルアームの方位移動を制御して前記撮影アセンブリを第２の位置に調整する。
前記撮影制御モジュール１８１０は、前記第２の位置にある前記撮影アセンブリを制御して撮影させ、前記ターゲット人体部位を含む第２の画像を取得する。
要するに、本出願の実施例で提供される技術案によれば、補助撮影装置における制御アセンブリは、メカニカルアームの方位移動を制御することで、撮影モジュールを最適な位置に調整し、当該撮影モジュールを制御して撮影させ、撮影された画像におけるターゲット人体部位に対応するターゲット領域は画像の中心位置に位置する。関連技術では、患者の運動データを取得するために患者はウェアラブルデバイスを装着する必要があることに対して、本出願の実施例における補助撮影装置の制御アセンブリは、撮影モジュールの位置を自動的に調整でき、患者は装置を着用する必要がないので、患者に対する運動制限を軽減し、データの真実性を保証し、また、制御アセンブリは撮影アセンブリを制御してターゲット人体部位に対応するターゲット領域を画像の中心位置に調整し、ターゲット領域をより鮮明にし、分析及び診断結果の精度をさらに向上できる。
幾つかの可能な設計において、図２０に示すように、前記位置確定モジュール１８２０は、
姿勢認識モデルを呼び出して前記第１の画像における各関節の人体関節位置図及び人体関節接続図を確定し、前記人体関節位置図は前記第１の画像における人体の関節の位置を表し、前記人体関節接続図は前記第１の画像における人体の関節間の接続関係を表すモデル呼び出しユニット１８２１と、
前記人体関節位置図、及び前記人体関節接続図に基づいて、前記第１の画像における前記ターゲット人体部位に対応するターゲット領域の位置を確定するための位置確定ユニット１８２２と、を含む。
幾つかの可能な設計において、前記姿勢認識モデルは、特徴抽出部、位置確定部、及び接続確定部を含み、前記特徴抽出部は、前記第１の画像の画像特徴を抽出し、前記位置確定部は、前記画像特徴に基づいて、前記第１の画像における各画素点がターゲット関節に属する信頼度を計算し、ターゲット関節の人体関節位置図を取得し、前記接続確定部は、前記画像特徴に基づいて、前記第１の画像における関節を結ぶ線の位置及び方向を表すためのベクトル場を確定し、前記人体関節接続図を取得する。
幾つかの可能な設計において、前記位置確定ユニット１８２２は、前記人体関節位置図、及び前記人体関節接続図に基づいて、前記ターゲット人体部位に関連する関連関節を確定し、前記関連関節の位置座標を取得し、前記関連関節の位置座標に基づいて前記第１の画像における前記ターゲット人体部位に対応するターゲット領域位置を確定する。
幾つかの可能な設計において、図２０に示すように、前記位置調整モジュール１８３０は、
前記第１の画像における前記ターゲット人体部位に対応するターゲット領域の位置に基づいて、前記ターゲット人体部位に対応するターゲット領域の第１の中心点と前記第１の画像の第２の中心点との間の方位偏差を計算するための偏差計算ユニット１８３１と、
前記方位偏差に基づいて、前記メカニカルアームの方位移動を制御して前記撮影アセンブリを第２の位置に調整するための位置調整ユニット１８３２と、を含む。
幾つかの可能な設計において、前記偏差計算ユニット１８３１は、前記第１の中心点の位置座標、及び前記第２の中心点の位置座標を確定し、前記第１の中心点の位置座標と前記第２の中心点の位置座標との間の横方向偏差距離、及び縦方向偏差距離を確定する。
前記位置調整ユニット１８３２は、前記メカニカルアームを制御して前記横方向偏差距離だけ水平移動させ、前記縦方向偏差距離だけ垂直移動させて、前記撮影アセンブリを第２の位置に調整する。
幾つかの可能な設計において、図２０に示すように、前記装置１８００は、比例確定モジュール１８４０及び焦点距離調整モジュール１８５０をさらに含む。
比例確定モジュール１８４０は、前記ターゲット人体部位を検出して、前記ターゲット人体部位に対応するターゲット領域が前記第１の画像を占めるアスペクト比を確定する。
焦点距離調整モジュール１８５０は、前記アスペクト比に基づいて、前記撮影アセンブリを制御して焦点距離を調整することで、前記ターゲット人体部位に対応するターゲット領域が前記第１の画像を占めるアスペクト比を調整する。
なお、上記実施例に提供される装置は、その機能を実現する際に、上記各機能モジュールに分割されることのみを例として説明したが、実際の応用では、必要に応じて、上記機能を異なる機能モジュールに完成させてもよく、つまり、以上で説明する機能の全部又は一部を完成するように、機器の内部構成を異なる機能モジュールに分割してもよい。また、上記実施例に提供される装置は方法の実施例と同一の発想に属し、その具体的な実現過程について、方法実施例を詳しく参照すればよく、ここではその詳細を省略する。
図２１を参照し、本出願の一実施例で提供される制御アセンブリの構造概略図を示している。当該制御アセンブリは、上記の実施例で提供される運動障害疾患分析用の補助撮影装置の制御方法を実施する。具体的には、以下の通りである。
前記制御アセンブリ２０００は、中央処理装置（ＣＰＵ）２００１と、ランダムアクセスメモリ（ＲＡＭ）２００２及びリードオンリーメモリ（ＲＯＭ）２００３を含むシステムメモリ２００４と、システムメモリ２００４と中央処理装置２００１とを接続するシステムバス２００５と、を備える。前記制御アセンブリ２０００は、コンピュータ内の各素子間での情報伝送を支援する基本入出力システム（Ｉ／Ｏシステム）２００６と、オペレーティングシステム２０１３、アプリケーションプログラム２０１４及び他のプログラムモジュール２０１５を記憶するための大容量記憶装置２００７とをさらに備える。
前記基本入出力システム２００６は、情報を表示するためのディスプレイ２００８と、ユーザーが情報を入力するための、マウス、キーボードのような入力装置２００９とを備える。前記ディスプレイ２００８及び入力装置２００９は、システムバス２００５に接続される入出力コントローラ２０１０を介して中央処理装置２００１に接続される。前記基本入出力システム２００６は、キーボード、マウス、又は電子スタイラス等、複数の他のデバイスからの入力を受信し処理するための入出力コントローラ２０１０をさらに備えてもよい。同様に、入出力コントローラ２０１０は、スクリーン、プリンタ又は他のタイプの出力デバイスへの出力をさらに提供する。
前記大容量記憶装置２００７は、システムバス２００５に接続される大容量記憶コントローラ（図示せず）を介して中央処理装置２００１に接続される。前記大容量記憶装置２００７及びその関連するコンピュータ読取可能な媒体は、制御アセンブリ２０００に不揮発性記憶を提供する。つまり、前記大容量記憶装置２００７は、ハードディスク又はＣＤ－ＲＯＭドライバのようなコンピュータ読取可能な媒体（図示せず）を備えてもよい。
一般性を失うことなく、前記コンピュータ読取可能な媒体は、コンピュータ記憶媒体及び通信媒体を備えることができる。コンピュータ記憶媒体は、コンピュータ読取可能な命令、データ構造、プログラムモジュール又は他のデータのような情報を記憶する如何なる方法又は技術で実現される揮発性及び不揮発性、リムーバブル及びノンリムーバブルメディアを含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ(Ｅｌｅｃｔｒｉｃａｌ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)、フラッシュメモリ又は他のソリッドステート記憶技術、ＣＤ－ＲＯＭ、ＤＶＤ又は他の光学記憶、テープカセット、テープ、磁気ディスク記憶又は他の磁気記憶装置を含む。もちろん、前記コンピュータ記憶媒体は上述したものに限られない。上述したシステムメモリ２００４及び大容量記憶装置２００７はメモリと総称される。
本出願の各実施例によれば、前記制御アセンブリ２０００は、インターネットのようなネットワークを介してネットワーク上のリモートコンピュータに接続されて実行されてもよい。つまり、制御アセンブリ２０００は、前記システムバス２００５に接続されるネットワークインターフェースユニット２０１１を介してネットワーク２０１２に接続されるか、ネットワークインターフェースユニット２０１１を用いて他のタイプのネットワーク又はリモートコンピュータシステム（図示せず）に接続されてもよい。
前記メモリは少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットをさらに含み、前記少なくとも１つの命令、 少なくとも１つのプログラム、コードセット又は命令セットは、メモリに記憶され、且つ上記の運動障害疾患分析用の補助撮影装置の制御方法を実現するように、１つ又は複数のプロセッサーによって実行されるように配置される。
例示的な実施例では、さらに、コンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ読み取り可能な記憶媒体に少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットが記憶されており、前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセット又は前記命令セットは、上記の運動障害疾患分析用の補助撮影装置の制御方法を実現するように、プロセッサーによって実行される。
例示的な実施例では、さらに、コンピュータプログラム製品を提供し、当該コンピュータプログラム製品がプロセッサーによって実行される場合に、上記の運動障害疾患分析用の補助撮影装置の制御方法を実現する。
本文に言及された「複数」とは、２つ以上を意味する。「及び／又は」は、関連対象の関連付けを記述し、３つの関係が可能であることを表し、例えば、Ａ及び／又はＢは、Ａが単独に存在するか、Ａ及びＢが同時に存在するか、Ｂが単独に存在するという３つの場合を表すことができる。文字「／」は、一般的には、関連付けられている対象が「又は」の関係にあることを表す。
以上は、本発明の好適な実施例に過ぎず、本出願を限定することは意図していない。本出願の精神や原則内の如何なる修正、均等の置き換え、改良などは、本出願の保護範囲内に含まれるべきである。

Claims (16)

  1. 運動障害疾患分析用の補助撮影装置であって、前記補助撮影装置は、ベース、メカニカルアーム、制御アセンブリ及び撮影アセンブリを含み、
    前記メカニカルアームの一端は前記ベースに接続されており、
    前記撮影アセンブリは前記メカニカルアームに設置され、前記制御アセンブリは前記メカニカルアーム及び前記撮影アセンブリにそれぞれ電気的に接続され、前記制御アセンブリは前記メカニカルアームの方位移動を制御することで前記撮影アセンブリの位置を調整し、前記撮影アセンブリを制御して撮影させ、
    前記メカニカルアームの方位移動は、水平移動及び垂直移動のうちの少なくとも１つを含む補助撮影装置。
  2. 前記補助撮影装置は、前記ベースに設置された並進トラックをさらに含み、前記メカニカルアームの一端は前記並進トラックに設置され、前記メカニカルアームは前記並進トラックにスライド可能に接続されることを特徴とする請求項１に記載の補助撮影装置。
  3. 前記制御アセンブリは、前記メカニカルアームを制御して前記並進トラック上で水平移動を行わせることで、前記撮影アセンブリメラの水平位置を調整する請求項２に記載の補助撮影装置。
  4. 前記メカニカルアームは、互いに接続された少なくとも２つの回転軸を含み、前記撮影アセンブリは前記ベースから離れた回転軸に設置されており、
    前記制御アセンブリは、前記回転軸を制御して前記垂直移動を行わせることで、前記撮影アセンブリの垂直位置を調整する請求項１に記載の補助撮影装置。
  5. 前記メカニカルアームは、垂直トラックを含み、
    前記制御アセンブリは、さらに、前記撮影アセンブリを制御して前記垂直トラック上で前記垂直移動を行わせる請求項１に記載の補助撮影装置。
  6. 前記撮影アセンブリは、ズームカメラを含む請求項１～５のいずれか一項に記載の補助撮影装置。
  7. 運動障害疾患分析用の補助撮影装置の制御方法であって、請求項１に記載の運動障害疾患分析用の補助撮影装置における制御アセンブリに適用され、前記方法は、
    第１の位置にある前記撮影アセンブリを制御して撮影させ、運動障碍患者のターゲット人体部位を含む第１の画像を取得するステップと、
    前記第１の画像における、前記ターゲット人体部位に対応するターゲット領域の位置を確定するステップと、
    前記第１の画像における、前記ターゲット人体部位に対応するターゲット領域の位置に基づいて、前記メカニカルアームの方位移動を制御して前記撮影アセンブリを第２の位置に調整するステップと、
    前記第２の位置にある前記撮影アセンブリを制御して撮影させ、前記ターゲット人体部位を含む第２の画像を取得するステップと、を含む方法。
  8. 前記第１の画像における、前記ターゲット人体部位に対応するターゲット領域の位置を確定するステップは、
    姿勢認識モデルを呼び出して前記第１の画像における各関節の人体関節位置図及び人体関節接続図を確定するステップであって、前記人体関節位置図は前記第１の画像における人体の関節の位置を表し、前記人体関節接続図は前記第１の画像における人体の関節間の接続関係を表すステップと、
    前記人体関節位置図、及び前記人体関節接続図に基づいて、前記第１の画像における前記ターゲット人体部位に対応するターゲット領域の位置を確定するステップと、を含む請求項７に記載の方法。
  9. 前記姿勢認識モデルは、特徴抽出部、位置確定部、及び接続確定部を含み、
    前記特徴抽出部は、前記第１の画像の画像特徴を抽出し、
    前記位置確定部は、前記画像特徴に基づいて、前記第１の画像における各画素点がターゲット関節に属する信頼度を計算し、ターゲット関節の人体関節位置図を取得し、
    前記接続確定部は、前記画像特徴に基づいて、前記第１の画像における関節を結ぶ線の位置及び方向を表すためのベクトル場を確定し、前記人体関節接続図を取得する請求項８に記載の方法。
  10. 前記人体関節位置図、及び前記人体関節接続図に基づいて、前記第１の画像における前記ターゲット人体部位に対応するターゲット領域の位置を確定するステップは、
    前記人体関節位置図、及び前記人体関節接続図に基づいて、前記ターゲット人体部位に関連する関連関節を確定するステップと、
    前記関連関節の位置座標を取得するステップと、
    前記関連関節の位置座標に基づいて、前記第１の画像における前記ターゲット人体部位に対応するターゲット領域位置を確定するステップと、を含む請求項８に記載の方法。
  11. 前記第１の画像における前記ターゲット人体部位に対応するターゲット領域の位置に基づいて、前記メカニカルアームの方位移動を制御して前記撮影アセンブリを第２の位置に調整するステップは、
    前記第１の画像における前記ターゲット人体部位に対応するターゲット領域の位置に基づいて、前記ターゲット人体部位に対応するターゲット領域の第１の中心点と前記第１の画像の第２の中心点との間の方位偏差を計算するステップと、
    前記方位偏差に基づいて、前記メカニカルアームの方位移動を制御して前記撮影アセンブリを第２の位置に調整するステップと、を含む請求項７～１０のいずれか一項に記載の方法。
  12. 前記第１の画像における前記ターゲット人体部位に対応するターゲット領域の位置に基づいて、前記ターゲット人体部位に対応するターゲット領域の第１の中心点と前記第１の画像の第２の中心点との間の方位偏差を計算するステップは、
    前記第１の中心点の位置座標、及び前記第２の中心点の位置座標を確定するステップと、
    前記第１の中心点の位置座標と前記第２の中心点の位置座標との間の横方向偏差距離、及び縦方向偏差距離を確定するステップとを含み、
    前記方位偏差に基づいて、前記メカニカルアームの方位移動を制御して前記撮影アセンブリを第２の位置に調整するステップは、
    前記メカニカルアームを制御して前記横方向偏差距離だけ水平移動させ、前記縦方向偏差距離だけ垂直移動させて、前記撮影アセンブリを第２の位置に調整するステップを含む請求項１１に記載の方法。
  13. 前記第１の画像における前記ターゲット人体部位に対応するターゲット領域の位置に基づいて、前記メカニカルアームの方位移動を制御して前記撮影アセンブリを第２の位置に調整した後に、
    前記ターゲット人体部位を検出して、前記ターゲット人体部位に対応するターゲット領域が前記第１の画像を占めるアスペクト比を確定するステップと、
    前記アスペクト比に基づいて、前記撮影アセンブリを制御して焦点距離を調整することで、前記ターゲット人体部位に対応するターゲット領域が前記第１の画像を占めるアスペクト比を調整するステップと、をさらに含む請求項７～１０のいずれか一項に記載の方法。
  14. 請求項１に記載の運動障害疾患分析用の補助撮影装置における制御アセンブリに適用される運動障害疾患分析用の補助撮影装置の制御装置であって、前記装置は、
    第１の位置にある前記撮影アセンブリを制御して撮影させ、運動障碍患者のターゲット人体部位を含む第１の画像を取得するための撮影制御モジュールと、
    前記第１の画像における、前記ターゲット人体部位に対応するターゲット領域の位置を確定するための位置確定モジュールと、
    前記第１の画像における前記ターゲット領域の位置に基づいて、前記メカニカルアームの方位移動を制御して前記撮影アセンブリを第２の位置に調整するための位置調整モジュールとを含み、
    前記撮影制御モジュールは、前記第２の位置にある前記撮影アセンブリを制御して撮影させ、前記ターゲット人体部位を含む第２の画像を取得する装置。
  15. 制御アセンブリであって、前記制御アセンブリはプロセッサー及びメモリを含み、前記メモリには少なくとも１つの命令、少なくとも１つのプログラム、コードセット、又は命令セットが記憶され、前記少なくとも１つの命令、少なくとも１つのプログラム、前記コードセット又は命令セットは、請求項７～１３のいずれか一項に記載の方法を実現するように、前記プロセッサーによってロードされて実行される制御アセンブリ。
  16. コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な記憶媒体には少なくとも１つの命令、少なくとも１つのプログラム、コードセット、又は命令セットが記憶され、前記少なくとも１つの命令、少なくとも１つのプログラム、前記コードセット又は命令セットは、請求項７～１３のいずれか一項に記載の方法を実現するように、プロセッサーによってロードされて実行されるコンピュータ読み取り可能な記憶媒体。
JP2021559634A 2019-09-16 2020-09-07 運動障害疾患分析用の補助撮影装置、制御方法及び装置 Active JP7326465B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910873009.6 2019-09-16
CN201910873009.6A CN110561399B (zh) 2019-09-16 2019-09-16 用于运动障碍病症分析的辅助拍摄设备、控制方法和装置
PCT/CN2020/113755 WO2021052208A1 (zh) 2019-09-16 2020-09-07 用于运动障碍病症分析的辅助拍摄设备、控制方法和装置

Publications (2)

Publication Number Publication Date
JP2022527007A true JP2022527007A (ja) 2022-05-27
JP7326465B2 JP7326465B2 (ja) 2023-08-15

Family

ID=68780270

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021559634A Active JP7326465B2 (ja) 2019-09-16 2020-09-07 運動障害疾患分析用の補助撮影装置、制御方法及び装置

Country Status (5)

Country Link
US (1) US11945125B2 (ja)
EP (1) EP3928929A4 (ja)
JP (1) JP7326465B2 (ja)
CN (1) CN110561399B (ja)
WO (1) WO2021052208A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110561399B (zh) 2019-09-16 2022-02-18 腾讯科技（深圳）有限公司 用于运动障碍病症分析的辅助拍摄设备、控制方法和装置
CN112043299A (zh) * 2020-09-30 2020-12-08 上海联影医疗科技股份有限公司 一种医学设备的控制方法和系统
CN113792580B (zh) * 2021-08-02 2023-11-03 日立楼宇技术（广州）有限公司 一种自动扶梯的辅助拍摄系统、方法、装置及存储介质
CN113920056A (zh) * 2021-08-31 2022-01-11 北京影谱科技股份有限公司 一种控制机械臂对物体进行拍摄的方法及装置
DE102022202555A1 (de) * 2022-03-15 2023-09-21 Carl Zeiss Meditec Ag Verfahren zum Bestimmen der dreidimensionalen Positionen von Punkten einer Zielregion an einem Patienten in einem Referenzkoordinatensystem eines chirurgischen Visualisierungssystems und chirurgisches Visualisierungssystem
CN114619448B (zh) * 2022-03-18 2024-06-07 珠海市大然机器人科技有限公司 一种方便监控机械臂关节角度的装置
CN114705691B (zh) * 2022-06-06 2022-09-06 深圳向一智控科技有限公司 一种工业机器视觉控制方法及装置
CN116038754B (zh) * 2023-03-28 2023-07-07 之江实验室 机械臂腕关节、机械臂及仿人机器人

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007260404A (ja) * 2006-03-29 2007-10-11 Depuy Products Inc 患者の運動学上の動作をモニターするためのシステムおよび方法
CN102662410A (zh) * 2012-05-24 2012-09-12 南开大学 一种面向运动目标追踪的视觉系统及其控制方法
CN102831380A (zh) * 2011-06-15 2012-12-19 康佳集团股份有限公司 一种基于深度图像感应的肢体动作识别方法及系统
CN108734065A (zh) * 2017-04-20 2018-11-02 奥克斯空调股份有限公司 一种手势图像获取设备及方法
JP2019150533A (ja) * 2018-03-06 2019-09-12 株式会社 Ｍｔｇ 運動制御システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7274803B1 (en) * 2002-04-02 2007-09-25 Videomining Corporation Method and system for detecting conscious hand movement patterns and computer-generated visual feedback for facilitating human-computer interaction
US8698888B2 (en) * 2009-10-30 2014-04-15 Medical Motion, Llc Systems and methods for comprehensive human movement analysis
US20160271803A1 (en) * 2013-05-03 2016-09-22 Michael Stewart Robotic disinfection system
CN105937692B (zh) * 2016-04-26 2018-03-27 上海颢汉数字技术有限公司 一种可用于三维重建的多功能三维拍摄架
CN107016667B (zh) * 2017-03-21 2019-07-05 哈尔滨理工大学 一种利用双目视觉获取大型零部件三维点云的装置
CN108734066B (zh) * 2017-04-20 2021-09-07 奥克斯空调股份有限公司 一种手势图像获取设备及方法
CN107564065B (zh) * 2017-09-22 2019-10-22 东南大学 一种协作环境下人机最小距离的测算方法
CN108647633B (zh) * 2018-05-08 2023-12-22 腾讯科技（深圳）有限公司 识别跟踪方法、识别跟踪装置和机器人
CN109717833A (zh) * 2018-11-26 2019-05-07 中国科学院软件研究所 一种基于人体运动姿态的神经疾病辅助诊断系统
CN109859324A (zh) * 2018-12-29 2019-06-07 北京光年无限科技有限公司 一种基于虚拟人的动作教学方法及装置
CN110561399B (zh) * 2019-09-16 2022-02-18 腾讯科技（深圳）有限公司 用于运动障碍病症分析的辅助拍摄设备、控制方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007260404A (ja) * 2006-03-29 2007-10-11 Depuy Products Inc 患者の運動学上の動作をモニターするためのシステムおよび方法
CN102831380A (zh) * 2011-06-15 2012-12-19 康佳集团股份有限公司 一种基于深度图像感应的肢体动作识别方法及系统
CN102662410A (zh) * 2012-05-24 2012-09-12 南开大学 一种面向运动目标追踪的视觉系统及其控制方法
CN108734065A (zh) * 2017-04-20 2018-11-02 奥克斯空调股份有限公司 一种手势图像获取设备及方法
JP2019150533A (ja) * 2018-03-06 2019-09-12 株式会社 Ｍｔｇ 運動制御システム

Also Published As

Publication number Publication date
CN110561399A (zh) 2019-12-13
CN110561399B (zh) 2022-02-18
EP3928929A1 (en) 2021-12-29
US20220001544A1 (en) 2022-01-06
JP7326465B2 (ja) 2023-08-15
US11945125B2 (en) 2024-04-02
EP3928929A4 (en) 2022-08-24
WO2021052208A1 (zh) 2021-03-25

Similar Documents

Publication Publication Date Title
JP7326465B2 (ja) 運動障害疾患分析用の補助撮影装置、制御方法及び装置
WO2021129064A9 (zh) 姿态获取方法、关键点坐标定位模型的训练方法和装置
Fischer et al. Rt-gene: Real-time eye gaze estimation in natural environments
Shingade et al. Animation of 3d human model using markerless motion capture applied to sports
JP4860749B2 (ja) 画像中の人物における位置決め指示との適合性を判定する機器、システム、及び方法
JP4692526B2 (ja) 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
US20150070470A1 (en) Apparatus, System, and Method for Mobile, Low-Cost Headset for 3D Point of Gaze Estimation
JP4936491B2 (ja) 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
CN110211222B (zh) 一种ar沉浸式旅游导览方法、装置、存储介质及终端设备
CN114022512B (zh) 运动辅助方法、装置及介质
CN113033369A (zh) 动作捕捉方法、装置、电子设备及计算机可读存储介质
Kuryło et al. Machine vision system measuring the trajectory of upper limb motion applying the matlab software
Speidel et al. Recognition of risk situations based on endoscopic instrument tracking and knowledge based situation modeling
JP4682372B2 (ja) 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の検出方法を実行させるためのプログラム
CN115994944A (zh) 三维关键点预测方法、训练方法及相关设备
CN113033526A (zh) 基于计算机实现的方法、电子设备和计算机程序产品
Song et al. Real-time 3D face-eye performance capture of a person wearing VR headset
Zhu et al. Kinematic Motion Analysis with Volumetric Motion Capture
WO2023103145A1 (zh) 一种头部姿势真值的获取方法、装置、设备及存储介质
Zhao et al. Reducing the device complexity for 3D human pose estimation: A deep learning approach using monocular camera and IMUs
Bourbakis et al. A 2D vibration array for sensing dynamic changes and 3D space for Blinds' navigation
CN114067422A (zh) 一种用于辅助驾驶的视线检测方法、装置及存储介质
Wang et al. Depth-aware pose estimation using deep learning for exoskeleton gait analysis
CN109360270B (zh) 基于人工智能的3d人脸姿态对齐方法及装置
JP2021022185A (ja) 画像処理装置、画像処理プログラム、及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230802

R150 Certificate of patent or registration of utility model

Ref document number: 7326465

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150