JP2020060945A - 情報処理システム、情報処理方法およびコンピュータプログラム - Google Patents

情報処理システム、情報処理方法およびコンピュータプログラム Download PDF

Info

Publication number
JP2020060945A
JP2020060945A JP2018191777A JP2018191777A JP2020060945A JP 2020060945 A JP2020060945 A JP 2020060945A JP 2018191777 A JP2018191777 A JP 2018191777A JP 2018191777 A JP2018191777 A JP 2018191777A JP 2020060945 A JP2020060945 A JP 2020060945A
Authority
JP
Japan
Prior art keywords
information
processing unit
dimensional data
target
user terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018191777A
Other languages
English (en)
Other versions
JP6574295B1 (ja
Inventor
山本 健太郎
Kentaro Yamamoto
健太郎 山本
勇介 高野
Yusuke Takano
勇介 高野
太史 熊谷
Futoshi Kumagai
太史 熊谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nain Inc
Original Assignee
Nain Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nain Inc filed Critical Nain Inc
Priority to JP2018191777A priority Critical patent/JP6574295B1/ja
Priority to PCT/JP2019/035046 priority patent/WO2020075427A1/ja
Application granted granted Critical
Publication of JP6574295B1 publication Critical patent/JP6574295B1/ja
Publication of JP2020060945A publication Critical patent/JP2020060945A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/12Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Architecture (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】 本発明は、製品の成形データの生成を自動化するための情報処理システム、処理方法およびコンピュータプログラムを提供することを目的とする。【解決手段】 ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備え、第一処理部または第二処理部は、第一撮像部により撮像された動画または静止画を含む対象情報が、装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定し、当該判定の結果、対象情報が三次元データの生成に必要な情報量を満たしている場合には、部材の当該三次元データを生成し、第二通信部は、三次元データを外部装置に送信する。【選択図】 図1

Description

本発明は、情報処理システム、情報処理方法およびコンピュータプログラムに関する。
近年、耳に装用するウェアラブル機器であるヒアラブルデバイスの発展が著しい。このヒアラブルデバイスの発展に伴って、高度なセンシングデバイスを搭載したモデルが増えていくことが予想される(例えば非特許文献1等)。
これらセンシングデバイスの大半は人体に密着した状態が望ましく、仮にイヤフォン型のヒアラブルを開発する際には、Custom in-Ear Monitor(IEM)イヤフォン形状を採用するのが適切である。
日本電気株式会社、"NEC、ヒアラブルデバイスのプロトタイプを開発"、[online]、2017年5月23日、日本電気株式会社プレスリリース、[平成30年6月26日検索]、インターネット<https://jpn.nec.com/press/201705/20170523_01.html>
しかしながら、従来、IEMイヤフォンは、スタジオ・ミュージシャンや一部のハイアマチュア向けの高価な製品の位置づけであり、敷居が高いものであった。
その理由としては、第一に、個人の耳にフィットする形状を作る際に耳型の採取が必要で、専用の測定器がある店舗までユーザが出向くことになり販売機会が限定されるという理由がある。
また、第二に、採取した耳型は、そのままの形では製品形状にはできず、3Dスキャナによるデジタルデータへの変換、変換後のデータから成形に不必要なノイズ部分を取り除くデータクレンジング作業など人の手が介する工程が存在しており、量産に不向きであるという理由がある。
そこで、本発明の目的は、製品の三次元データを従来よりも容易に生成するための情報処理システム、情報処理方法およびコンピュータプログラムを提供することにある。
本発明の情報処理システムは、ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備える情報処理システムであって、ユーザ端末は、装着対象を撮像するための第一撮像部と、第一処理部とサーバ装置と情報を送受信するための第一通信部とを備え、サーバ装置は、ユーザ端末および外部装置と情報を送受信するための第二通信部と、第二処理部と、を備え、第一処理部または第二処理部は、第一撮像部により撮像された動画または静止画を含む対象情報が、装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定し、当該判定の結果、対象情報が三次元データの生成に必要な情報量を満たしている場合には、部材の当該三次元データを生成し、第二通信部は、三次元データを外部装置に送信することを特徴とする。
第一処理部または第二処理部は、判定の結果、対象情報が、三次元データの生成に必要な情報量を満たしていない場合、追加の対象情報を要求する情報を生成することができる。
三次元データの生成は、第一処理部によって行われることができる。
三次元データの生成は、第二処理部によって行われることができる。
第一処理部または第二処理部は、対象情報から装着対象の点群データを生成し、点群データから装着対象のメッシュデータを生成することができる。
第一処理部または第二処理部は、メッシュデータから部材の外形を抽出し、部材の外形に基づいて、装着対象に対応する三次元データを生成することができる。
第一処理部または第二処理部は、メッシュデータの深度情報に基づき、メッシュデータの最深箇所を起点として、高さ方向で複数回メッシュをスライスすることによって等高線状の輪郭曲線を得ることにより部材の外形を抽出することができる。
第一処理部または第二処理部は、輪郭曲線を曲線補間により平滑にし、等高線を通るサーフェスデータを生成して三次元データとすることができる。
第一処理部または第二処理部は、対象情報に基づいて、予め所定の記憶装置に記憶された、部材のテンプレートデータの中から一のテンプレートデータを選択し、当該選択されたテンプレートデータを拡大または縮小することで、装着対象のメッシュデータと少なくとも一点が接するサイズを決定し、当該サイズのテンプレートデータを三次元データとすることができる。
第一処理部または第二処理部は、第一撮像部により撮像された動画または静止画に対してマスク処理を行い、装着対象を特定して対象情報とすることができる。
第一処理部または第二処理部は、装着対象を撮像するためのガイド画像またはガイド音声を生成し、ユーザ端末から出力することができる。
本発明の処理方法は、ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備える情報処理システムにおいて実行される処理方法であって、ユーザ端末は、装着対象を撮像するための第一撮像部と、第一処理部と、サーバ装置と情報を送受信するための第一通信部とを備え、サーバ装置は、ユーザ端末および外部装置と情報を送受信するための第二通信部と、第二処理部とを備え、第一処理部または第二処理部に、第一撮像部により撮像された動画または静止画を含む対象情報が、装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定させ、当該判定の結果、対象情報が三次元データの生成に必要な情報量を満たしている場合には、部材の当該三次元データを生成させるステップと、第二通信部に、三次元データを外部装置に送信させるステップとを備えることを特徴とする。
本発明のコンピュータプログラムは、ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備える情報処理システムにおいて実行されるコンピュータプログラムであって、ユーザ端末は、装着対象を撮像するための第一撮像部と、第一処理部とサーバ装置と情報を送受信するための第一通信部とを備え、サーバ装置は、ユーザ端末および外部装置と情報を送受信するための第二通信部と、第二処理部とを備え、第一処理部または第二処理部に、第一撮像部により撮像された動画または静止画を含む対象情報が、装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定させ、当該判定の結果、対象情報が三次元データの生成に必要な情報量を満たしている場合には、部材の当該三次元データを生成させる機能を実現させ、第二通信部に、三次元データを外部装置に送信させる機能を実現させることを特徴とする。
本発明によれば、製品の三次元データの生成を自動化することができるようになる。
本発明の情報処理システムのシステム構成を示す概念図である。 本発明の情報処理システムに係るユーザ端末の構成を示す構成図である。 本発明の情報処理システムに係るサーバ装置の構成を示す構成図である。 本発明の情報処理システムに係る装着対象と製品の概念を示す概念図である。 本発明の情報処理システムに係る対象情報の概念を示す概念図である。 本発明の情報処理システムに係る等高線の概念を示す概念図である。 本発明の処理方法を示すフロー図である。 本発明のコンピュータプログラムに関する機能構成図である。
本発明の情報処理システム、処理方法およびコンピュータプログラムの実施形態について、図面を参照しながら説明する。
初めに、本発明の情報処理システムの実施形態について図1を参照しながら説明する。
図1に示されるように、本発明の情報処理システム100は、ユーザ端末200と、当該ユーザ端末200とネットワークを介して接続されるサーバ装置300とを備える。
ユーザ端末200は、スマートフォン、タブレットまたはパーソナルコンピュータ等の情報処理端末とすることができる。
ユーザ端末200は、図2に示されるように、第一撮像部210と、第一処理部220と、第一通信部230とを備える。
第一撮像部210は、装着対象を撮像するためのものであって、上記ユーザ端末200に内蔵されるカメラ部、または、上記ユーザ端末200に有線または無線により接続されるカメラ装置とすることができる。
装着対象は、本実施形態においてはユーザの「耳介」であるものとして説明を行うが、これに限られるものではなく、例えば、手首、首、頭、顔または指などのウェアラブルデバイスが装着可能な人体の部位とすることができる。
この第一撮像部210は、装着対象を動画または静止画の形式で撮像することができる。
第一処理部220は、各処理を実行するものである。各処理の詳細については後述する。
第一通信部230は、サーバ装置300と情報を送受信するためのものである。この送受信は、上記ネットワークを介して行われるものとする。
サーバ装置300は、図3に示されるように、第二通信部310と、第二処理部320とを備える。
第二通信部310は、ユーザ端末200および外部装置400と情報を送受信するためのものである。これらの送受信は、上記ネットワークを介して行われるものとする。
外部装置400は、図1に示されるように、サーバ装置300とネットワークを介して接続されることができる。
第二処理部320は、各処理を実行するものである。各処理の詳細については後述する。
第一処理部220または第二処理部320は、第一撮像部210により撮像された動画または静止画を含む対象情報が、装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定し、当該判定の結果、対象情報が三次元データの生成に必要な情報量を満たしている場合には、部材の当該三次元データを生成する。
三次元データとは、部材を立体形状として製造するために必要なデータであって、後述する外部装置(例えば3Dプリンタ等)により立体形状を製造するために必要なデータとすることができる。
図4に一例として示されるように、部材は、後述する部材と一体化されて製品(イヤフォン10)となり、装着対象(耳介20)の少なくとも一部に密着可能に構成されるものである。
そして、この部材の三次元データの生成に必要な情報量は、静止画であれば、異なるアングルで撮像された10枚程度、動画であれば、移動するアングルで撮像された数秒程度の情報量とすることができる。図5は、異なるアングルで撮像された耳介の写真のイメージを示したものである。なお、図5は、撮像された静止画を画像認識および機械学習技術により耳介の領域だけをマスクしたものである。
部材は、音を発生させるためのスピーカ、ユーザによる電話通話またはコマンド入力等のためのマイクロフォンおよび/またはユーザが指示を与えるためのコントロールボタン等で構成されることができる。
マイクロフォンとコントロールボタンは部材と一体化していても、部材とは別の筐体であって、部材と有線または無線で通信を行なう設計であってもよい。部材は、ユーザ端末または所定のサーバ装置との接続のための無線接続機能を備えていることが望ましい。無線接続機能は、Bluetooth(登録商標)またはBLE(Bluetooth Low−Energy)技術を使用することができる。あるいは、部材は、ユーザ端末200と有線で接続される構成とすることもできる。
そして、部材は、さらに、センシング部材として、脈波を測定するための血流センサを備えることができる。血流センサは部材の耳穴または耳朶等に圧着される部位に設けられている、あるいは、クリップ等で使用者の耳朶に圧着固定できることが望ましい。このようにすることで、ノイズに妨害されにくく正確な脈波の測定が可能となる。
加えて、部材は、使用者の頭の向きを測定するためのジャイロセンサ、並びに、地磁気センサ(コンパス)、および、使用者の動きを測定するための加速度センサを備えることができる。これらのセンシング部材は、部材本体内に固定されているのが好ましい。このようにすることで、部材を装着するユーザの頭の位置と方向を正確に測定することが可能となる。
あるいは、眼鏡や帽子等、ユーザの頭の向きとの位置関係が固定的である物に上記センサを設け、あるいは、クリップ等で固定し、有線または無線接続により、部材、ユーザ端末200、または、サーバ装置300にセンサ情報を提供できるようにしてもよい。
また、部材は、製品がユーザに着用されているかどうかを検知するための近接センサを備えていてよい。さらに、脳波センサ、GPS等の他のタイプのセンサを備えていてもよい。
そして、第二通信部310は、三次元データを外部装置400に送信する。
外部装置400の例としては3Dプリンタが挙げられるが、三次元データを立体形状に造形可能な装置であれば特に限定されるものではない。
以上の構成によれば、製品の三次元データの生成を自動化することができるようになる。これにより、例えば、より低価格で一般ユーザ向けのウェアラブルデバイス、特に、IEMイヤフォンなどのヒアラブルデバイスを提供することができるようになる。
また、第一処理部220または第二処理部320は、判定の結果、対象情報が、三次元データの生成に必要な情報量を満たしていない場合、追加の対象情報を要求する情報を生成することができる。
追加の対象情報を要求する情報とは、例えば、ユーザに対して追加の静止画または動画の撮像を要求する情報であって、ユーザ端末の表示部にテキストや画像として表示されるか、および/または、音声として出力されるものとすることができる。
かかる構成によれば、不完全な三次元データが生成されることを防ぐことができる。
三次元データの生成は、第一処理部220によって行われることができる。第一処理部220がユーザ端末のものである場合には、ユーザ端末とサーバ装置との通信速度や通信環境に依らず、安定的に処理を行うことができる。
三次元データの生成は、第二処理部320によって行われることもできる。第二処理部320がサーバ装置のものである場合には、ユーザ端末の処理能力に寄らず高い処理能力を有するサーバ装置で処理されるため、高速で処理を行うことができる。
続いて、対象情報から三次元データを生成する手法の例について説明を行う。なお、以下の例は一例であって他の手法により三次元データを生成することを権利範囲から除外するものではない。
はじめに、第一処理部220または第二処理部320は、対象情報から装着対象の点群データを生成し、点群データから装着対象のメッシュデータを生成する。
そして、第一処理部220または第二処理部320は、メッシュデータから部材の外形を抽出し、部材の外形に基づいて、装着対象に対応する三次元データを生成することができる。
より具体的には、第一処理部220または第二処理部320は、メッシュデータの深度情報に基づき、メッシュデータの最深箇所を起点として、高さ方向で複数回メッシュをスライスすることによって、図6に一例として示されるような等高線状の輪郭曲線を得ることにより部材の外形を抽出することができる。
そして、第一処理部220または第二処理部320は、輪郭曲線を曲線補間により平滑にし、等高線を通るサーフェスデータを生成して三次元データとすることができる。
あるいは、第一処理部220または第二処理部320は、対象情報に基づいて、予め所定の記憶装置に記憶された、部材のテンプレートデータの中から一のテンプレートデータを選択し、当該選択されたテンプレートデータを拡大または縮小することで、装着対象のメッシュデータと少なくとも一点が接するサイズを決定し、当該サイズのテンプレートデータを三次元データとすることができる。
また、第一処理部220または第二処理部320は、第一撮像部210により撮像された動画または静止画に対してマスク処理を行い、装着対象を特定して対象情報とすることができる。
かかる構成によれば、より制度の高い三次元データを生成することができるようになる。
また、第一処理部220または第二処理部320は、装着対象を撮像するためのガイド画像またはガイド音声を生成し、ユーザ端末から出力することができる。
ガイド画像は、例えば、装着対象の外形を示すオブジェクトとすることができる。そして、ユーザは、ユーザ端末200の表示部に表示されたオブジェクトを見ながら、このオブジェクト内に自身の装着対象が収まるように撮像を行うことができる。このとき、第一撮像部210はユーザ端末200の表示部と同じ側に設けられたインカメラとするのが好ましい。
このとき、表示部にはインカメラを通して第一撮像部210が撮像しようとしている装着対象が表示されるが、ユーザから表示部が見えにくい場合(例えば、装着対象が耳や頭である場合など)は、ガイド音声を出力させるのが適切である。
このガイド音声は、例えば、「カメラを右へ移動させてください」、または、「カメラを遠ざけてください」などの音声とすることができる。
続いて、本発明の処理方法の実施形態について図7を参照しながら説明する。
本発明の処理方法は、ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備える情報処理システムにおいて実行される処理方法である。
ユーザ端末は、装着対象を撮像するための第一撮像部と、第一処理部とサーバ装置と情報を送受信するための第一通信部とを備える。この第一通信部の詳細については上述したとおりである。これらの詳細については情報処理システムの説明において記載したとおりである。
サーバ装置は、ユーザ端末および外部装置と情報を送受信するための第二通信部と、第二処理部とを備える。これらの詳細については情報処理システムの説明において記載したとおりである。
そして、本発明の処理方法は、図7に示すように、三次元データを生成させるステップS510と、三次元データを送信させるステップS520とを備える。
三次元データを生成させるステップS510は、第一処理部または第二処理部に、第一撮像部により撮像された動画または静止画を含む対象情報が、装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定させ、当該判定の結果、対象情報が三次元データの生成に必要な情報量を満たしている場合には、部材の当該三次元データを生成させる。
三次元データを送信させるステップS520は、第二通信部に、三次元データを外部装置に送信させる。
以上の構成によれば、製品の三次元データの生成を自動化することができるようになる。これにより、例えば、より低価格で一般ユーザ向けのウェアラブルデバイス、特に、IEMイヤフォンなどのヒアラブルデバイスを提供することができるようになる。
最後に、本発明のコンピュータプログラムの実施形態について図8を参照しながら説明する。
本発明の処理方法は、ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備える情報処理システムにおいて実行されるコンピュータプログラムである。
ユーザ端末は、装着対象を撮像するための第一撮像部と、第一処理部とサーバ装置と情報を送受信するための第一通信部とを備える。これらの詳細については情報処理システムの説明において記載したとおりである。
サーバ装置は、ユーザ端末および外部装置と情報を送受信するための第二通信部と、第二処理部とを備える。これらの詳細については情報処理システムの説明において記載したとおりである。
そして、本発明のコンピュータプログラムは、第一処理部または第二処理部に、三次元データを生成させる機能を実現させ、第二通信部に、三次元データを送信させる機能を実現させる。これら機能は、図8に示す第一回路510および第二回路520によって実現される。これらの回路はそれぞれ上述した第一処理部220または第二処理部320のいずれかに対応する。
三次元データを生成させる機能は、第一処理部または第二処理部に、第一撮像部により撮像された動画または静止画を含む対象情報が、装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定させ、当該判定の結果、対象情報が三次元データの生成に必要な情報量を満たしている場合には、部材の当該三次元データを生成させる。
三次元データを送信させる機能は、第二通信部に、成形データを外部装置に送信させる。
以上の構成によれば、製品の三次元データの生成を自動化することができるようになる。これにより、例えば、より低価格で一般ユーザ向けのウェアラブルデバイス、特に、IEMイヤフォンなどのヒアラブルデバイスを提供することができるようになる。
また、上述した実施形態に係るサーバ装置又は端末装置として機能させるために、コンピュータ又は携帯電話などの情報処理装置を好適に用いることができる。このような情報処理装置は、実施形態に係るサーバ装置又は端末装置の各機能を実現する処理内容を記述したプログラムを、情報処理装置の記憶部に格納し、情報処理装置のCPUによって当該プログラムを読み出して実行させることによって実現可能である。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
また、実施形態に記載した手法は、計算機(コンピュータ)に実行させることができるプログラムとして、例えば磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク等)、光ディスク(CD−ROM、DVD、MO等)、半導体メモリ(ROM、RAM、フラッシュメモリ等)等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段(実行プログラムのみならずテーブルやデータ構造も含む)を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。記憶部は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。
100 情報処理システム
200 ユーザ端末
210 第一撮像部
220 第一処理部
230 第一通信部
300 サーバ装置
310 第二通信部
320 第二処理装置
400 外部装置

Claims (13)

  1. ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備える情報処理システムであって、
    前記ユーザ端末は、
    装着対象を撮像するための第一撮像部と、
    第一処理部と
    前記サーバ装置と情報を送受信するための第一通信部と
    を備え、
    前記サーバ装置は、
    前記ユーザ端末および外部装置と情報を送受信するための第二通信部と、
    第二処理部と
    を備え、
    前記第一処理部または前記第二処理部は、前記第一撮像部により撮像された動画または静止画を含む対象情報が、前記装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定し、当該判定の結果、前記対象情報が前記三次元データの生成に必要な情報量を満たしている場合には、前記部材の当該三次元データを生成し、
    前記第二通信部は、前記三次元データを前記外部装置に送信する、情報処理システム。
  2. 前記第一処理部または前記第二処理部は、前記判定の結果、前記対象情報が、前記三次元データの生成に必要な情報量を満たしていない場合、追加の対象情報を要求する情報を生成する請求項1に記載の情報処理システム。
  3. 前記三次元データの生成は、前記第一処理部によって行われることを特徴とする請求項1または2に記載の情報処理システム。
  4. 前記三次元データの生成は、前記第二処理部によって行われることを特徴とする請求項1または2に記載の情報処理システム。
  5. 前記第一処理部または前記第二処理部は、
    前記対象情報から前記装着対象の点群データを生成し、
    前記点群データから前記装着対象のメッシュデータを生成する
    ことを特徴とする請求項1から4のいずれか一項に記載の情報処理システム。
  6. 前記第一処理部または前記第二処理部は、前記メッシュデータから前記部材の外形を抽出し、前記部材の外形に基づいて、前記装着対象に対応する三次元データを生成することを特徴とする請求項5に記載の情報処理システム。
  7. 前記第一処理部または前記第二処理部は、前記メッシュデータの深度情報に基づき、前記メッシュデータの最深箇所を起点として、高さ方向で複数回メッシュをスライスすることによって等高線状の輪郭曲線を得ることにより前記部材の外形を抽出することを特徴とする請求項6に記載の情報処理システム。
  8. 前記第一処理部または前記第二処理部は、前記輪郭曲線を曲線補間により平滑にし、前記等高線を通るサーフェスデータを生成して前記三次元データとすることを特徴とする請求項7に記載の情報処理システム。
  9. 前記第一処理部または前記第二処理部は、
    前記対象情報に基づいて、予め所定の記憶装置に記憶された、前記部材のテンプレートデータの中から一のテンプレートデータを選択し、
    当該選択されたテンプレートデータを拡大または縮小することで、前記装着対象のメッシュデータと少なくとも一点が接するサイズを決定し、
    当該サイズのテンプレートデータを前記三次元データとする
    ことを特徴とする請求項5に記載の情報処理システム。
  10. 前記第一処理部または前記第二処理部は、
    前記第一撮像部により撮像された動画または静止画に対してマスク処理を行い、前記装着対象を特定して前記対象情報とする
    ことを特徴とする請求項1から9のいずれか一項に記載の情報処理システム。
  11. 前記第一処理部または前記第二処理部は、
    前記装着対象を撮像するためのガイド画像またはガイド音声を生成し、前記ユーザ端末から出力する
    ことを特徴とする請求項1から10のいずれか一項に記載の情報処理システム。
  12. ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備える情報処理システムにおいて実行される処理方法であって、
    前記ユーザ端末は、
    装着対象を撮像するための第一撮像部と、
    第一処理部と
    前記サーバ装置と情報を送受信するための第一通信部と
    を備え、
    前記サーバ装置は、
    前記ユーザ端末および外部装置と情報を送受信するための第二通信部と、
    第二処理部と
    を備え、
    前記第一処理部または前記第二処理部に、前記第一撮像部により撮像された動画または静止画を含む対象情報が、前記装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定させ、当該判定の結果、前記対象情報が前記三次元データの生成に必要な情報量を満たしている場合には、前記部材の当該三次元データを生成させるステップと、
    前記第二通信部に、前記三次元データを前記外部装置に送信させるステップと
    を備える処理方法。
  13. ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備える情報処理システムにおいて実行されるコンピュータプログラムであって、
    前記ユーザ端末は、
    装着対象を撮像するための第一撮像部と、
    第一処理部と
    前記サーバ装置と情報を送受信するための第一通信部と
    を備え、
    前記サーバ装置は、
    前記ユーザ端末および外部装置と情報を送受信するための第二通信部と、
    第二処理部と
    を備え、
    前記第一処理部または前記第二処理部に、前記第一撮像部により撮像された動画または静止画を含む対象情報が、前記装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定させ、当該判定の結果、前記対象情報が前記三次元データの生成に必要な情報量を満たしている場合には、前記部材の当該三次元データを生成させる機能を実現させ、
    前記第二通信部に、前記三次元データを前記外部装置に送信させる機能を実現させるコンピュータプログラム。
JP2018191777A 2018-10-10 2018-10-10 情報処理システム、情報処理方法およびコンピュータプログラム Expired - Fee Related JP6574295B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018191777A JP6574295B1 (ja) 2018-10-10 2018-10-10 情報処理システム、情報処理方法およびコンピュータプログラム
PCT/JP2019/035046 WO2020075427A1 (ja) 2018-10-10 2019-09-05 情報処理システム、情報処理方法およびコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018191777A JP6574295B1 (ja) 2018-10-10 2018-10-10 情報処理システム、情報処理方法およびコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP6574295B1 JP6574295B1 (ja) 2019-09-11
JP2020060945A true JP2020060945A (ja) 2020-04-16

Family

ID=67909567

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018191777A Expired - Fee Related JP6574295B1 (ja) 2018-10-10 2018-10-10 情報処理システム、情報処理方法およびコンピュータプログラム

Country Status (2)

Country Link
JP (1) JP6574295B1 (ja)
WO (1) WO2020075427A1 (ja)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0273471A (ja) * 1988-09-09 1990-03-13 Nippon Telegr & Teleph Corp <Ntt> 三次元形状推定方法
JPH09185709A (ja) * 1995-12-28 1997-07-15 Olympus Optical Co Ltd 三次元空間映像情報入力システム
JPH11134517A (ja) * 1997-11-04 1999-05-21 Minolta Co Ltd 3次元形状データ処理装置
US20030074174A1 (en) * 2000-10-06 2003-04-17 Ping Fu Manufacturing methods and systems for rapid production of hearing-aid shells
JP2003345839A (ja) * 2002-05-24 2003-12-05 Honda Motor Co Ltd 三次元モデル作成方法及びシステム
JP2010128742A (ja) * 2008-11-27 2010-06-10 Casio Computer Co Ltd 3次元データ作成装置
WO2012077662A1 (ja) * 2010-12-08 2012-06-14 株式会社コンピュータシステム研究所 Cad情報生成システム、cad情報生成プログラムおよびcad情報生成方法
JP2012239566A (ja) * 2011-05-18 2012-12-10 Nikon Corp 眼鏡用測定装置及び三次元測定装置
US20150382123A1 (en) * 2014-01-16 2015-12-31 Itamar Jobani System and method for producing a personalized earphone
JP2017201472A (ja) * 2016-05-06 2017-11-09 富士ゼロックス株式会社 造形用画像管理システム、造形用画像管理装置、造形用画像管理プログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0273471A (ja) * 1988-09-09 1990-03-13 Nippon Telegr & Teleph Corp <Ntt> 三次元形状推定方法
JPH09185709A (ja) * 1995-12-28 1997-07-15 Olympus Optical Co Ltd 三次元空間映像情報入力システム
JPH11134517A (ja) * 1997-11-04 1999-05-21 Minolta Co Ltd 3次元形状データ処理装置
US20030074174A1 (en) * 2000-10-06 2003-04-17 Ping Fu Manufacturing methods and systems for rapid production of hearing-aid shells
JP2003345839A (ja) * 2002-05-24 2003-12-05 Honda Motor Co Ltd 三次元モデル作成方法及びシステム
JP2010128742A (ja) * 2008-11-27 2010-06-10 Casio Computer Co Ltd 3次元データ作成装置
WO2012077662A1 (ja) * 2010-12-08 2012-06-14 株式会社コンピュータシステム研究所 Cad情報生成システム、cad情報生成プログラムおよびcad情報生成方法
JP2012239566A (ja) * 2011-05-18 2012-12-10 Nikon Corp 眼鏡用測定装置及び三次元測定装置
US20150382123A1 (en) * 2014-01-16 2015-12-31 Itamar Jobani System and method for producing a personalized earphone
JP2017201472A (ja) * 2016-05-06 2017-11-09 富士ゼロックス株式会社 造形用画像管理システム、造形用画像管理装置、造形用画像管理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
持丸正明 外1名: "デジタル人体モデルによるオンデマンド着装品", 電子情報通信学会技術研究報告, vol. 103, no. 662, JPN6019012738, 12 February 2004 (2004-02-12), pages 39 - 42, ISSN: 0004016878 *

Also Published As

Publication number Publication date
WO2020075427A1 (ja) 2020-04-16
JP6574295B1 (ja) 2019-09-11

Similar Documents

Publication Publication Date Title
JP6747538B2 (ja) 情報処理装置
JP5543571B2 (ja) 頭部伝達関数を決定するシステムおよび方法
US20180124497A1 (en) Augmented Reality Sharing for Wearable Devices
JP2020532914A (ja) 仮想オーディオのスイートスポット適応法
US20210225391A1 (en) Systems and methods for processing audio based on changes in active speaker
US20220312128A1 (en) Hearing aid system with differential gain
US20210350823A1 (en) Systems and methods for processing audio and video using a voice print
US11929087B2 (en) Systems and methods for selectively attenuating a voice
EP2611216B1 (en) Systems and methods for determining head related transfer functions
US11893997B2 (en) Audio signal processing for automatic transcription using ear-wearable device
JP2015092646A (ja) 情報処理装置、制御方法、およびプログラム
US11432067B2 (en) Cancelling noise in an open ear system
US11580727B2 (en) Systems and methods for matching audio and image information
CN113228615B (zh) 信息处理装置、信息处理方法和计算机可读记录介质
US20220284915A1 (en) Separation of signals based on direction of arrival
JP2019040005A (ja) 読み上げシステム及び読み上げ方法
US20160034252A1 (en) Smart device control
CN108989666A (zh) 拍摄方法、装置、移动终端及计算机可读取存储介质
JP7487663B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2020075427A1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
US10861228B2 (en) Optical otoscope device
US11875791B2 (en) Systems and methods for emphasizing a user&#39;s name
US20220261587A1 (en) Sound data processing systems and methods
KR20220052922A (ko) 정보 처리 장치, 정보 처리 방법 및 정보 처리 프로그램
CN112034986A (zh) 基于ar的交互方法、终端设备以及可读存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181025

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190318

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190815

R150 Certificate of patent or registration of utility model

Ref document number: 6574295

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees