JP2022530302A - ヘルメット用の画像を取得及び処理するための装置、対応するヘルメット、並びに画像を取得及び処理するための方法 - Google Patents

ヘルメット用の画像を取得及び処理するための装置、対応するヘルメット、並びに画像を取得及び処理するための方法 Download PDF

Info

Publication number
JP2022530302A
JP2022530302A JP2021549910A JP2021549910A JP2022530302A JP 2022530302 A JP2022530302 A JP 2022530302A JP 2021549910 A JP2021549910 A JP 2021549910A JP 2021549910 A JP2021549910 A JP 2021549910A JP 2022530302 A JP2022530302 A JP 2022530302A
Authority
JP
Japan
Prior art keywords
helmet
image
sensor
signal
cap body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021549910A
Other languages
English (en)
Inventor
アレクサンドロス ハリストス
ステファーヌ コーエン
Original Assignee
ゼロノイズ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ゼロノイズ リミテッド filed Critical ゼロノイズ リミテッド
Publication of JP2022530302A publication Critical patent/JP2022530302A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A42HEADWEAR
    • A42BHATS; HEAD COVERINGS
    • A42B3/00Helmets; Helmet covers ; Other protective head coverings
    • A42B3/04Parts, details or accessories of helmets
    • A42B3/30Mounting radio sets or communication systems
    • AHUMAN NECESSITIES
    • A42HEADWEAR
    • A42BHATS; HEAD COVERINGS
    • A42B3/00Helmets; Helmet covers ; Other protective head coverings
    • A42B3/04Parts, details or accessories of helmets
    • A42B3/0406Accessories for helmets
    • A42B3/042Optical devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/38Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Abstract

本発明はヘルメット用の画像を取得及び処理するための装置に関するものであり、当該装置は、センサを備えた画像取得装置を備えている。本発明はまた、画像取得装置が取り付けられたヘルメットにも関する。本発明はさらに、関連する画像取得処理方法にも関する。【選択図】図1

Description

本発明は、ヘルメットに取り付けて使用できる、画像を取得及び処理するための装置に関するものである。本発明はまた、対応するヘルメットと、ヘルメットから画像を取得して処理し、例えば配信及び再現のためにテレビ生中継センタ等に送信できるビデオ信号に変換するための方法と、に関するが、テレビ生中継センタへの送信は限定列挙ではない。
ユーザの頭に衝撃又は衝突、非常に激しい衝撃又は衝突さえ与え得る事故が生じ得る状況において、保護ヘルメットの使用が知られている。
かかる状況が生じ得るのは、例えば、高速を伴うパフォーマンス等の危険な状況が生じ得るスポーツイベントの場合である。非限定的な例には、モーターレース、バイク競技、自転車競技、スキー及びウィンタースポーツ全般、アメリカンフットボール、又は、ユーザの安全にとって非常に危険となり得る衝撃からユーザをヘルメットが保護する他の競技活動が含まれ得る。
また、上述のようなヘルメットは、本来の開発目的である保護以外の他の目的及び/又は機能を果たし得ることが多いことも知られている。
特に近年、ヘルメットの構造上及び設計上の複雑性は、スポーツ用途及び非スポーツ用途のいずれにおいても、ヘルメットにおいて多くの技術が統合されるに伴い増してきている。
例えば、欧州特許第2674048号明細書及び同第1099390号明細書に、音響通信装置とインターコム装置とを組み込んだスポーツ競技用のヘルメットが開示されている。
他の一例として、米国特許第9432565号明細書に、スポーツ競技用のヘルメット外部に配置されるビデオ録画装置が開示されている。
高速パフォーマンスを伴い非常に高度な保護ヘルメットの使用を必要とするスポーツイベントの特に危険な一事例は、モーターカーレース又はバイクレースである。
これらの事例では、ヘルメットのユーザは車両の運転者(例えば自動車若しくはバイク等)及び/又は同乗者となり得る。
また、この種のスポーツイベントはしばしば、テレビ生中継での放送、ストリーミング配信、又はインターネット上で適切なチャネルを介した配信用に撮影されることが多いことも知られている。
かかる場合、イベントの生中継並びにイベントの進行のモニタリング及びコントロールの両方の目的のため、レース中の車両の視点から高画質の画像やビデオを取得できることが重要である。
例えば、モーターカーレースやバイクレースの場合、車両に取り付けられたカメラを用いることが知られている。
より良い画像取得に向けて一歩進めた取り組みは、カメラを運転者のヘルメットに直接取り付けることである。
しかし、高パフォーマンスのスポーツ用ヘルメットに電子部品又は他の部品を組み込むと、大きな技術的問題が生じる。
第一に、急なカーブ又は急激な加減速を伴う曲がりくねった経路を、カメラが場合によっては高速で移動している場合、画像の画質が適切でないことがある。
高画質の画像を提供するため、及び競技イベントの詳細をより良好に得るためには、かかる画像を高周波数及び高解像度で取得する必要がある。
高解像度の画像を取得するためには、カメラにより取得されるデータが大容量であり、データを適切な受信器へ送信する必要があることから、典型的には複雑な電子回路が必要になる。
そのため、典型的には公知の装置のカメラ又はビデオセンサは実際には複雑な構成要素であり、例えばレンズ等の光学的要素の他に、例えば取得した光学的信号を電子的信号に変換するためのセンサボード、原データを前処理するための前処理ボード、及び、例えば同軸ケーブルを介して長距離伝送も可能なシリアライズ済みデータストリームに原データをシリアライズするためのシリアライゼーションボード等の電子的要素も兼ね備えることがある。
その結果、公知の画像取得装置、場合によっては高解像度及び高周波数の画像取得装置は、典型的には非常に繊細及び/又は極めて嵩張ったものとなる。
その上、取得した画像は、テレビ生中継で送信される前にデジタル処理を施される必要があることが多く、このデジタル処理を行うためには追加の適切な電子的構成要素を設ける必要があり、これにより相当嵩張ってしまい、取り付けや取り扱いが困難となる。
また、例えば米国特許第9432565号明細書等に開示されているように、上述のような装置をヘルメットの外部に取り付けることが好適である場合がある。
しかし、この解決手段の欠点は、事故、衝撃又は衝突の際に装置が外れてしまう可能性があり、これによりユーザの安全性に危険となることである。
また、上記解決手段は、高速での使用中に装置が車両に有意な空気力学的応力をかけることがあり、あるいはヘルメットから外れてしまうことがあるという欠点も有する。
さらに、ヘルメットの外部又は車両表面に取り付けられた装置は、スポーツ競技を適正に撮影するためには不適切な視点からの画像やビデオを供給することがある。
また、上記のいずれの場合においても、運転者の安全性又はヘルメットの装着者全般の安全性が最優先事項のままでなければならず、それゆえ、装置が個人の安全性能に影響を及ぼしてはならず、また及ぼすことはあり得ないことも知られている。また、装置がヘルメットに対して設けられていることが、ユーザの絶対的な動き自由度や完璧な動作を、万に一つでも阻害してはならない。
本発明の1つの目的は、運転者の視野を正確に再現するためにユーザの眼の視点に可能な限り近い視点から画像及び/又はビデオを取得できるようにすることである。
本発明の他の1つの目的は、高速、曲がりくねった経路、急激な加減速の条件下でも高画質で上述のような画像を取得できるようにすることである。
本発明の他の1つの目的は、テレビ生中継又はストリーミング若しくはインターネット上の他のチャネルで上記の画像を伝送できるようにするために当該画像をリアルタイムで処理することである。
最後に、本発明の他の1つの目的は、スポーツ用車両の運転者であり得るヘルメットのユーザに対して最大限レベルの安全性を保証することである。
本願出願人は、従来技術の上記欠点を解消し、上記及び他の目的や利点を達成できる本発明を着想し、試験して実現した。
本発明は独立請求項に記載されており、また独立請求項において本発明の特徴が記載されており、従属請求項に本発明の他の特徴又は本発明の主たる思想の変形態様が記載されている。
本発明は画像を取得及び処理するための装置に関するものである。
本発明では、この画像取得処理装置はヘルメットに取り付けることができるものであり、また、画像取得装置及び画像処理装置を備えている。
公知のように、ヘルメットは帽体と、ライナーと、ユーザが見えるようにするための少なくとも1つの開口と、を備えている。
ライナーは、ユーザの眼に対応するための開口と実質的に対応する厚さを有する。
本発明の画像取得装置は、画像を取得するための少なくとも1つのセンサと、画像処理装置にビデオ信号を送信するための信号送信手段と、を備えている。
本発明の一側面では、センサと画像送信手段とはヘルメット内に実質的に一体に取り付けられている。
一実施形態では、センサはビデオカメラ、又は画像及び/若しくはビデオを取得するために適した他の手段を備えることができ、これは場合によっては、高周波数と高精細度とで画像及び/又はビデオを取得するものである。
これにより、動き中であっても、場合によっては高速で、並びに/又は急なカーブや急な加減速を伴う曲がりくねった経路を移動している間であっても、画像の高画質を保証することができる。
さらに本発明は、従来技術の他の装置と比較してセンサの位置決め自由度を拡大すると共に、ユーザの通常の自由な操作に対する装置の侵襲性を最小限にし又は無くすことができる。
本発明の一側面では、センサはライナーの厚さに対応して配置され、実質的にユーザの眼のレベルで画像を取得できるようにするために適した位置に配置される。
ヘルメットにおけるセンサのこのような具体的な配置により、実質的にユーザの視野から見たときの画像及び/又はビデオを記録することができる。
かかる特徴によって、ヘルメットの外部又は車両表面に取り付けられた装置から取得された画像やビデオが提供する画像が、スポーツ競技のパフォーマンスを適正に撮影するためには不適切な視点からの画像になってしまうという、従来技術の欠点を解消することができる。
本発明の一実施形態では、信号送信手段の全部がヘルメットの帽体内に収められる。
かかる特徴により、車両における空気力学的応力を低減することができ、画像取得装置の可能性のあるいかなる偶発的な脱落も防止して、ヘルメットの安全性を改善することができる。
一般に、画像取得装置を上述のようにヘルメット内に配置し又は空間的に分布することにより、従来技術のヘルメット外部において画像取得装置を使用することと関連する欠点、例えば、有意な空気力学的応力がかかる可能性や、画像取得装置の部品がヘルメットから外れるリスク等を解消することができる。
一部の実施形態では、信号送信手段はフラットケーブルとシリアライゼーションボードとを備えることができ、フラットケーブル及びシリアライゼーションボードは両方共ヘルメット内に、例えば帽体とライナーとの間等に取り付けることができ、信号送信手段はさらに接続ケーブルを備えることができ、この接続ケーブルの第1端はシリアライゼーションボードに接続されると共に、接続ケーブルの第2端はヘルメットから外部に突出している。
他の実施形態では、信号送信手段はセンサが実装されたシリアライゼーションボードと接続ケーブルとを備えることができ、接続ケーブルはヘルメット内に取り付けることができ、また、接続ケーブルの大半はヘルメット内に収められており、接続ケーブルの第1端はシリアライゼーションボードに接続されると共に、接続ケーブルの第2端はヘルメットから外部に突出している。
かかる特徴は、ヘルメットのいかなる構成要素も構造的又は美観的に変更することなく画像取得装置をヘルメット内に取り付けることができるという利点を奏する。
これにより、ヘルメット自体に構造的又は美観的な変更を加える必要なく、また、装置を取り付けることができるヘルメットのタイプに特段の制限が課されることなく、同じ装置を多くの異なるタイプのヘルメットに取り付けることができる。
他の1つの利点は、画像取得装置を容易に取り外してヘルメット内に再度取り付けることができることであり、これにより保守作業が容易になると共に、破損又は不具合が生じた場合に部品の交換が容易になる。
本発明の一部の実施形態では、シリアライゼーションボードは同軸ケーブルを用いて画像処理装置に接続されている。
画像処理装置は処理ボードを備えることができ、この処理ボードは例えば、センサから受け取った画像を処理してビデオデータに変換し、装置の電源と全ての構成要素の動作とを管理するために適したものである。
シリアライゼーションボードがヘルメット内にあることと、これによりヘルメットから出力されるデータが既にシリアライズされていることとにより、画像処理装置を車両の有利な任意の位置に配置することができ、例えば、ユーザの通常の動作を最も邪魔しない位置に配置することができる。
かかる特徴により、電子部品の存在により車両に有意なかさばりが生じ得るという欠点や、理論的あるいは可能性のみの話であったとしてもユーザの絶対的な自由度を制限し得るという欠点といった従来技術の欠点を解消することができる。
一実施形態では、処理ボードはビデオデータをリムーバブルなサポートに記憶するために適したものとすることができる。
一実施形態では、処理ボードは、ビデオデータを直接テレビ放送に適した形式でテレビ生中継コントロールセンタへ送信するために適したものとすることができる。
本発明はまた、画像を取得及び処理するための方法にも関する。
本方法は、ヘルメットに取り付けられたセンサから画像を取得し、このセンサは、実質的にユーザの眼の高さで画像を取得するために適した位置に取り付けられている。
本方法はまた、センサによって取得された画像を処理して、テレビ生中継で送信するために適したビデオ信号形式に変換する。
本発明の方法は、
-画像を取得し、出力で原信号を生成するステップと、
-原信号をシリアライズし、長距離でも伝送可能なシリアライズ信号のストリームを出力で生成するステップと、
-シリアライズ信号のストリームをデシリアライズして処理し、出力でビデオ信号を生成するステップと、
を有する。
本発明はまた、上記の装置において使用されるヘルメットにも関する。
添付図面を参照した一部の実施形態の以下の説明を読めば、本発明の上記及び他の特徴を理解することができ、この実施形態は、本発明を限定しない一例として提示するものである。
本発明の画像を取得及び処理するための装置の一実施形態の概略図である。 図1のヘルメットの側面図である。 図2のヘルメットの正面図である。 図1の装置の構成要素の概略図である。 図4に示されている構成要素の代替的な一実施形態の概略図である。 図1の装置の構成要素の一実施形態の概略図である。
理解を容易にするため、可能である場合には、図面中の同一の共通要素を識別するために同一の符号を使用している。ある実施形態の要素や特徴は、さらなる説明が無い場合、他の実施形態に容易に組み込むことができると解すべきである。
以下、本発明の種々の実施形態の詳細について言及する。これらの実施形態のうち1以上の事例が添付図面に示されている。各事例は本発明の例示として提供されるものであり、本発明を限定するものと解すべきではない。例えば、ある実施形態の一部として図示又は記載されている特徴を、他の実施形態に合わせて変更し、又はこれと関連付けて、さらに他の実施形態を実施することが可能である。本発明は、かかる全ての改良形態及び変形形態を含むと解すべきである。
図1は、画像取得処理装置10(以下「装置10」という)の一実施形態を示しており、この装置10は、本発明ではヘルメット20に取り付けることができる。
装置10は主要構成要素として、画像取得装置30と、画像処理装置40と、データ伝送ケーブル50と、を備えており、これらは図面中に概略的に示されている。
取得装置30は、使用時にヘルメット20内に取り付けることができる。
取得装置30は本例では、データ伝送ケーブル50を介して処理装置40に接続される。
一実施形態では、データ伝送ケーブル50は同軸ケーブルである。
処理装置40は、例えば12V直流電源等の電源80に、電源ケーブル90を介して接続することができる。
図1に示されている実施形態等の一部の実施形態では、処理装置40はビデオ伝送ケーブル70を介して受信器60に接続されている。
受信器60は例えば、車両上に設置されたテレビ生中継伝送ユニット(車載放送処理ユニット)等とすることができ、このテレビ生中継伝送ユニットは、ビデオデータをテレビ生中継コントロールセンタ(又は放送センタ)に送信することができる。かかる場合、典型的には、受信器60はテレビ生中継コントロールセンタによって提供される。
本発明では、下記にて説明するように、取得装置30を取り付けることができるヘルメット20のタイプに特段の制限が課されない。
よってヘルメット20は、フルフェイス、ジェット、セミジェット、モジュラー、又は他のタイプとすることができる。
説明のため、以下及び図面では、典型的にはモータースポーツやバイク競技で用いられるタイプの一体型のヘルメットについて記載する。本発明はこの種の用途で使用することが特に有利であるが、これは本発明を限定する要因であるとみなすべきではない。
よって、取得装置30が取り付けられていない状態のヘルメット20は、その主要構成要素は当業者に公知のものと考えられ、本発明の説明に必要な構成要素のみ明示的に言及する。
図1,2及び3に一例として示されているように、ヘルメット20は一般的な観点で帽体21及びライナー22を備えている。
帽体21は公知のように、典型的には、可能性のある衝撃又は衝突からユーザの頭を保護するために適した材料から成る。
帽体21は通常は、ユーザが頭を入れることができると共に十分な視野をユーザに対して保証するため、1つ又は複数の開口を有する。
図1及び図2に示されているヘルメット20の実施形態では、帽体21は頭に対する開口と眼に対する開口23とを有する。
ライナー22も公知のものであり、1つ又は複数の異なる材料から成ることができ、また、1つ又は複数の異なる層を含むことができる。
例えば、ライナー22は、衝撃又は衝突によるエネルギーを吸収する保護層と、装着者に対して快適性を提供するために適した比較的軟らかい層と、を備えることができる。
ライナー22は、耐火性材料(耐火性繊維品)の層を備えることもできる。
図1及び図2に示されている例では、ライナー22は基本的に上部ライナー22cと下部ライナー22dとから成り、これらは眼に対する開口23の高さで繋ぎ合わされている。かかる特徴は例えば、ヘルメット20の複数の異なるゾーンごとに異なる材料を使用したい場合に有利となり得る。
パッド22の外表面22a及び内表面22bが厚さ26を画定し、この厚さ26は一様である必要はない。
よって、帽体21の内表面の各点においてライナー22の厚さ26の特定の値を関連付けることができる。
図3には、ヘルメット20正面においてライナー22の一部が見えるようになっており、これは眼に対する開口23に対応し、ライナー22の厚さ26は図中イメージの右側において双方向矢印により示されている。
取得装置30はビデオタイプセンサ31と信号送信手段とを備えている。
信号送信手段は、センサ31により取得された信号を処理装置40へ送信することができる電子部品を備えている。
一部の実施形態では、信号送信手段は無線技術を用いて信号を送信することができる。
図4は、ヘルメット20に取り付けられていない状態の取得装置30の一実施形態を概略的に示す。
本実施形態では、取得装置30はセンサ31を備えると共に、信号送信手段はフラットケーブル32と、シリアライゼーションボード33と、接続ケーブル34と、を備えている。
図4aに記載されている取得装置30の他の代替的な実施形態では、センサ31はシリアライゼーションボード33に直接実装されており、フラットケーブル32は設けられていない。この場合には、信号送信手段はシリアライゼーションボード33と接続ケーブル34とを備えることとなる。
取得装置30の他の実施形態は、同じく図4aに記載されているように、メインのセンサ31の他にさらに明るさセンサ37も備えており、これはセンサ31によって取得される画像の明るさを調整するために用いられる。
一部の実施形態では、センサ31及び明るさセンサ37を両方とも、シリアライゼーションボード33に実装することができる。
一部の実施形態では、センサ31はレンズ31aと、その動作を管理するために適したセンサボード又は前処理ボード31bとを備えることができ、センサボード又は前処理ボード31bはまた、光学的情報を電子的情報に変換するために適したものである。
センサ31は、カメラ又は画像及び/若しくはビデオを場合によっては高周波数及び/若しくは高解像度で取得するために適した他の手段を備えることができる。
一部の実施形態では、センサ31はカラーCMOS(Complementary Metal Oxide Semiconductor)技術をベースとするものである。
一部の実施形態では、センサ31は画像及び/又はビデオを4224×3136画素以上の解像度で取得できるものである。
一部の実施形態では、接続ケーブル34の第1端はシリアライゼーションボード33に、場合によっては適切なコネクタを用いて接続されていると共に、第2端はデータ伝送ケーブル50に接続するために適したものである。
一部の実施形態では、接続ケーブル34は同軸ケーブルとすることができる。
一部の実施形態では、接続ケーブル34とデータ伝送ケーブル50との接続はラピッドリリース部品35を用いて達成される。
図4に一例として示されている実施形態等の上述の実施形態では、ラピッドリリース部品35は、接続ケーブル34の第2端に取り付けられた例えば雄型コネクタ35a等のインタフェース部と、データ伝送ケーブル50の一端に取り付けられた例えば雌型コネクタ35b等の相手方インタフェース部と、を備えている。
ラピッドリリース部品35は、両構成要素34,50間に過剰な応力又は歪みが生じた場合にデータ伝送ケーブル50を接続ケーブル34から即座に自然に接続解除するように構成されたものである。
有利には、かかる構成により、緊急時にユーザが手を使わずに、また有意な抵抗力を受けることなく、ヘルメット20を画像処理装置40から迅速に取り外して車両から迅速に労力を伴わずに脱出することが可能であることが保証される。
本発明では、シリアライゼーションボード33は、センサ31によって取得された画像のシリアライズを管理するために適したものである。
一部の実施形態では、取得装置30は耐火性材料によってコーティングされることができる。
一部の実施形態では、センサ31の最大寸法を20~25mmとすると共に、2番目の寸法を15mm未満とすることができる。
図1,2及び3は、ヘルメット20内に取り付けられた状態の取得装置30の一実施形態の斜視図及び正面図である。
図2及び図3の実施形態では、センサ31は支持部36内に挿入されており、この支持部36は、ライナー22を作製する材料と同一材料から成ることができる。
一部の実施形態では、支持部36の最大寸法は30~20mmとし、2番目の寸法は25~15mmとし、3番目の寸法は5~2mmとすることができ、好適には、支持部36は25×20×2.4mmの寸法の平行六面体とすることができる。
一部の解決手段では、支持部36は、センサ31又はセンサ31の一部を挿入できる中央の孔を有することができる。
他の実施形態、例えば明るさセンサ37を設ける実施形態等では、支持部36は、センサ31又はセンサ31の一部と明るさセンサ37又は明るさセンサ37の一部の両方を挿入できる2つの孔を有することができる。
センサ31と場合によっては明るさセンサ37とを取り付けた支持部36は、ヘルメット20のライナー22の所望の位置に、例えば両面接着テープ等を用いて取り付けることができる。
本発明の一部の実施形態では、センサ31と場合によっては明るさセンサ37は、ヘルメット20の正面のライナー22の厚さ26に、眼に対する開口に対応して、実質的にユーザの眼の高さで画像を取得するために適した位置に配置される。
図1,2及び3に示されている実施形態では、接続ケーブル34の第2端はヘルメット20のベース部から、顎ガード部のベースより若干後方で突出する。
本実施形態では、接続ケーブル34の第2端はヘルメット20から、データ伝送ケーブル50に接続できるようにするために十分な部分にわたって突出する。
接続ケーブル34の第2端の具体的な位置は、ヘルメット20のタイプ、車両の構成、又は好み若しくは要求に応じて、本発明の範囲を逸脱することなく変わり得ることが明らかである。
例えば図2に記載されている実施形態等の本発明の一部の実施形態では、フラットケーブル32はライナー22と帽体21との間に配置されている。
図2に示されている実施形態では、フラットケーブル32は上部ライナー22aと下部ライナー22bとの間の界面に形成された台部に収容されている。
例えば図1に記載されている実施形態等の、フラットケーブル32が設けられていない実施形態でも同様に、接続ケーブル34は上部ライナー22aと下部ライナー22bとの間の界面に形成された台部に収容される。
一部の実施形態では、フラットケーブル32及び/又は接続ケーブル34は、両面接着テープによって帽体21に取り付けられている。
本願明細書から、ライナー22が単一片として作製されている場合、又はライナー22が複数片として作製されている場合にも、フラットケーブル32及び/又は接続ケーブル34に対する収容台を得ることが可能であることが明らかである。
一部の実施形態では、処理装置40はヘルメット20の内部又は外部に配置することができる。
図5に示されている実施形態では、処理装置40は箱部41を備えており、この箱部41内には画像処理ボード42が収容されており、また箱部41には、装置10の他の構成要素又は外部装置と接続するためのコネクタ43,44,45が設けられている。
図5に示されている実施形態では、電源コネクタ43と、入力コネクタ44と、出力コネクタ45と、が設けられている。
本実施形態では、データ伝送ケーブル50は入力コネクタ44に接続することができる。
本実施形態では、電源ケーブル90は電源コネクタ43に接続することができる。
本実施形態では、ビデオ伝送ケーブル70は出力コネクタ45に接続することができる。
一実施形態では、箱部41の最大寸法は160mm未満である。
本実施形態では、箱部41の2番目の寸法は60mm未満である。
本実施形態では、箱部41の3番目の寸法は25mm未満である。
処理装置40はヘルメット20から可変の距離に配置することができ、これに応じて伝送ケーブル50の長さを合わせることができる。
伝送ケーブル50の長さが増大すると共に画像が劣化する場合がある。しかし出願人は、最大10mの長さの伝送ケーブル50であれば、いかなる画質劣化も伴わずに用いることができるとの認識を得た。
処理ボード42はセンサ31から受け取った画像を処理してビデオ信号に変換すると共に、装置10の電源及び全ての構成要素の動作を管理するために適したものである。
一部の実施形態では、処理ボード42は、センサ31から取得したビデオ信号のデシリアライズを管理するために適したものでものある。
一部の実施形態では、専用のデシリライゼーションボードを処理装置40に設けることができる。
他の実施形態では、このデシリライゼーションボードは、処理ボード42上に単一の回路で印刷することができる。
よって、データ伝送ケーブル50上では、センサ31によって取得された画像に関連する信号の他にさらに、取得装置30全体の動作に必要な電源及び制御信号を伝送することができる。
一部の実施形態では、処理ボード42はビデオデータをリムーバブルなサポートに記憶するために適したものである。例えば、図面に示されていないリムーバブルなサポートはSD/マイクロSDボードとすることができる。この場合には処理ボード42は、圧縮H264/H265形式に信号を1080画素60fps以上の画質で処理するために適したものとすることができる。
一部の実施形態では、処理ボード42はビデオデータをテレビ生中継コントロールセンタへ、テレビ生中継に適した形式で送信するために適したものである。
一部の実施形態では、処理ボード42はフィールドプログラマブルゲートアレイ(FPGA)技術のチップを備えることができる。
一実施形態では、ビデオ伝送ケーブル70は同軸ケーブルとすることができる。
一実施形態では、ビデオ伝送ケーブル70は同軸出力を有することができる。
よって、一部の実施形態では本発明の装置10は、以下のステップを用いてヘルメット20内に取り付けることができる:
-ライナー22を帽体21から取り外すステップ、
-センサ31を支持部36に取り付けるステップ、
-支持部36をライナー22に取り付けるステップ、
-フラットケーブル32及び/又は接続ケーブル34を帽体21に取り付けるステップ、
-データ伝送ケーブル50を接続するため、ラピッドリリース部品35の少なくとも雄型コネクタ35aにヘルメット20外部から接近可能であることを保証するように、ライナー22を帽体21に挿入し戻すステップ、
-車両内に処理装置40を配置するステップ、
-処理装置40に取得装置30を接続するステップ、
-処理装置40を電源80と、場合によっては受信器60とに接続するステップ、
-電源80を起動するステップ、
-処理装置40をオンするステップ。
本発明はまた、図面中に示した上記の実施形態にて示したような、取得装置30を取り付けたヘルメット20にも関する。
本発明はまた、画像を取得及び処理するための方法にも関する。
本発明の方法は、ヘルメット20における位置であって実質的にユーザの眼の高さで画像を取得できるようにするために適した位置に取り付けられたセンサ31によって画像を取得する。
本発明の方法はまた、画像を処理して、テレビ生中継で伝送するために適したビデオデータ形式に変換する。
本発明の画像を取得及び処理するための方法は、
-画像を取得し、出力で原信号を生成するステップと、
-原信号をシリアライズし、例えば接続ケーブル34及びデータ伝送ケーブル50等を用いて、長距離でも伝送可能なシリアライズ済みの信号ストリームを出力で生成するステップと、
-シリアライズ信号のストリームをデシリアライズして処理し、出力でビデオ信号を生成するステップと、
を有する。
一部の実施形態では、ビデオ信号を1つ又は複数のリムーバブルなサポートに記憶する記憶ステップをさらに設けることができる。
一部の実施形態では、ビデオ信号をリアルタイムでテレビ生中継コントロールセンタへ送信する送信ステップをさらに設けることができる。
画像取得ステップは、ヘルメット20に取り付けられたセンサ31によって画像を取得するものである。
センサ31は、画像の光学的情報を電子的情報に変換して画像を前処理する。
明るさセンサ37が設けられる実施形態では、明るさセンサ37が画像取得ステップにおいてセンサ31を支援することができ、例えば、取得される画像の明るさをリアルタイムで調整することにより支援することができる。
かかる特徴により、明るさセンサ37が設けられない実施形態と比較して、取得される画像の画質を向上することができ、また本特徴は、例えば高画質の画像をテレビ生中継で、ストリーミングで、又はインターネット上で適切なチャネルを介して放送あるいは配信するために有利となり得る。
一部の実施形態では、センサ31はフラットケーブル32を介して画像を原信号としてシリアライゼーションボード33へ送信する。
フラットケーブル32が設けられない実施形態では、シリアライゼーションボード33はこの原信号をセンサ31から直接、及び/又は、場合によっては明るさセンサ37から直接受け取ることができる。
シリアライズステップは、原信号を処理ボード42へ転送するために適したものとする。
特に、センサ31から来た多数の原信号が、処理装置40へ転送中に完全性を保証するように、シリアライズ信号のストリームにおいて同期される。
この信号のシリアライズ済みのストリームはデシリアライズされ、その後、処理ボード42によって処理される。
一部の実施形態では、デシリライゼーションボードはシリアライズ済みの信号ストリームをデシリアライズして、FPGAチップに適した信号に変換する。
処理ステップは、処理ボード42によって行われる。
処理ステップは、デシリアライズされた信号を処理して、テレビ生中継で伝送するために適したビデオデータに変換するものである。
画像処理ステップはまた、専用のソフトウェアによって画像パラメータをリアルタイムで修正することができる。
特に、例えば画像解像度、ビデオフレームレート、画像ミラー及びフリップ・クロッピング、ウィンドウ処理、及び電子的画像手ぶれ補正等のパラメータをリアルタイムで修正することができる。
かかる実施形態では、ビデオデータは720画素、50Hz及び50個のサブサンプル、カラー4:2:2以上の画質を有することができる。
一部の実施形態では、装置10の動作の制御ステップを設けることもできる。
この制御ステップは、装置10内で全ての信号ストリーム(原信号、シリアライズ済みの信号、デシリアライズ済みの信号、ビデオ信号)が適正に伝送され、場合によってはテレビ生中継コントロールセンタにも適正に送信されるように制御することができる。
上記の装置10、ヘルメット20及び方法については、本発明の分野及び範囲から逸脱することなく、各部分を改良及び/又は追加することができることが明らかである。
また、一部の具体例を参照して本発明を説明したが、当業者であれば、特許請求の範囲に記載された特徴を具備し、ひいては特許請求の範囲により特定される保護範囲に全て属する装置10、ヘルメット20及び方法の多数の他の均等態様を実施することが確実に可能であることが明らかである。

Claims (15)

  1. ヘルメット(20)用の画像を取得及び処理するための装置(10)であって、
    画像取得装置(30)と、画像処理装置(40)と、を備えており、
    前記画像取得装置(30)は、画像を取得するための少なくとも1つのセンサ(31)と、前記画像処理装置(40)へビデオ信号を送信するための信号送信手段(32,33,34)と、を備えている装置(10)において、
    前記センサ(31)と前記信号送信手段(32,33,34)とは、前記ヘルメット(20)内に実質的に一体に取り付けられている
    ことを特徴とする装置(10)。
  2. 前記ヘルメット(20)は、ライナー(22)と、少なくともユーザの眼の高さまで延在する少なくとも1つの開口(23)と、を有し、
    前記ライナー(22)は厚さ(26)を有し、
    前記センサ(31)は前記厚さ(26)に、前記開口(23)の縁部に実質的に対応して位置決めされている、
    請求項1記載の装置(10)。
  3. 前記ヘルメット(20)は帽体(21)を有し、
    前記信号送信手段(32,33,34)は、前記帽体(21)内に全部収められたフラットケーブル(32)及びシリアライゼーションボード(33)と、接続ケーブル(34)と、を備えており、
    前記接続ケーブル(34)の第1端は前記シリアライゼーションボード(33)に接続されると共に、前記接続ケーブル(34)の第2端は前記ヘルメット(20)から外部に突出している、
    請求項1又は2記載の装置(10)。
  4. 前記ヘルメット(20)は帽体(21)を有し、
    前記信号送信手段(33,34)は、前記センサ(31)が実装されたシリアライゼーションボード(33)と、前記帽体(21)内に大半が収められた接続ケーブル(34)と、を備えており、
    前記接続ケーブル(34)の第1端は前記シリアライゼーションボード(33)に接続されると共に、前記接続ケーブル(34)の第2端は前記ヘルメット(20)から外部に突出している、
    請求項1又は2記載の装置(10)。
  5. 前記画像処理装置(40)は、前記画像取得装置(30)から受け取った前記画像をデシリアライズして処理し、ビデオ信号に変換し、前記装置(10)の電源と全ての構成要素の動作とを管理するための手段を備えている、
    請求項1から4までのいずれか1項記載の装置(10)。
  6. 前記画像処理装置(40)は、リムーバブルなサポートにビデオ信号を記憶するための手段を備えている、
    請求項5記載の装置(10)。
  7. 前記画像処理装置(40)は、前記ビデオ信号を直接テレビ放送に適した形式でテレビ生中継コントロールセンタへ送信するための手段を備えている、
    請求項5又は6記載の装置(10)。
  8. 前記センサ(31)はカラーCMOS技術ベースである、
    請求項1から7までのいずれか1項記載の装置(10)。
  9. 帽体(21)と、ライナー(22)と、少なくともユーザの眼の高さに延在する少なくとも1つの開口(23)と、画像取得装置(30)と、を備えたヘルメット(20)であって、
    前記画像取得装置(30)は、画像を取得するための少なくとも1つのセンサ(31)と、ビデオ信号を外部装置へ送信するための信号送信手段(32,33,34)と、を備えているヘルメット(20)において、
    前記センサ(31)と前記信号送信手段(32,33,34)とは、前記ヘルメット(20)内に実質的に一体に取り付けられている
    ことを特徴とするヘルメット(20)。
  10. 前記ライナー(22)は厚さ(26)を有し、
    前記センサ(31)は前記厚さ(26)に、前記開口(23)の縁部に対応して位置決めされている、
    請求項9記載のヘルメット(20)。
  11. 前記ヘルメット(20)は帽体(21)を有し、
    前記信号送信手段(33,34)は、前記帽体(21)内に全部収められたフラットケーブル(32)及びシリアライゼーションボード(33)と、接続ケーブル(34)と、を備えており、
    前記接続ケーブル(34)の第1端は前記シリアライゼーションボード(33)に接続されると共に、前記接続ケーブル(34)の第2端は前記ヘルメット(20)から外部に突出している、
    請求項9又は10記載のヘルメット(20)。
  12. 前記ヘルメット(20)は帽体(21)を有し、
    前記信号送信手段(32,33,34)は、前記センサ(31)が実装されたシリアライゼーションボード(33)と、前記帽体(21)内に大半が収められた接続ケーブル(34)と、を備えており、
    前記接続ケーブル(34)の第1端は前記シリアライゼーションボード(33)に接続されると共に、前記接続ケーブル(34)の第2端は前記ヘルメット(20)から外部に突出している、
    請求項9又は10記載のヘルメット(20)。
  13. ヘルメット(20)に取り付けられたセンサ(31)から画像を取得及び処理して、テレビ生中継で伝送するために適したビデオ信号形式に変換するための方法であって、
    画像を取得し、出力で原信号を生成するステップと、
    前記原信号をシリアライズし、長距離でも伝送可能なシリアライズ信号のストリームを出力で生成するステップと、
    前記シリアライズ信号のストリームを送信するステップと、
    前記シリアライズ信号のストリームをデシリアライズして処理し、出力でビデオ信号を生成するステップと、
    を有することを特徴とする方法。
  14. 前記ビデオ信号を1つ又は複数のリムーバブルなサポートに記憶する記憶ステップがさらに設けられている、
    請求項13記載の方法。
  15. 前記ビデオ信号をリアルタイムでテレビ生中継コントロールセンタへ送信する送信ステップがさらに設けられている、
    請求項13又は14記載の方法。
JP2021549910A 2019-02-26 2019-02-26 ヘルメット用の画像を取得及び処理するための装置、対応するヘルメット、並びに画像を取得及び処理するための方法 Pending JP2022530302A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2019/054764 WO2020173555A1 (en) 2019-02-26 2019-02-26 Apparatus to acquire and process images for a helmet, corresponding helmet and method to acquire and process images

Publications (1)

Publication Number Publication Date
JP2022530302A true JP2022530302A (ja) 2022-06-29

Family

ID=65657444

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021549910A Pending JP2022530302A (ja) 2019-02-26 2019-02-26 ヘルメット用の画像を取得及び処理するための装置、対応するヘルメット、並びに画像を取得及び処理するための方法

Country Status (4)

Country Link
US (1) US11963572B2 (ja)
EP (1) EP3930523A1 (ja)
JP (1) JP2022530302A (ja)
WO (1) WO2020173555A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11963572B2 (en) 2019-02-26 2024-04-23 Zeronoise Ltd Apparatus to acquire and process images for a helmet, corresponding helmet and method to acquire and process images
WO2024018343A1 (en) 2022-07-20 2024-01-25 Racing Force International W.L.L. Support member and relative method for supporting a camera inside a helmet and relative helmet
WO2024018259A1 (en) 2022-07-20 2024-01-25 Racing Force International W.L.L. Helmet comprising a camera and method for installing said camera in said helmet
WO2024018260A1 (en) 2022-07-20 2024-01-25 Racing Force International W.L.L. Helmet comprising a camera and method for installing said camera in said helmet
WO2024018344A1 (en) 2022-07-20 2024-01-25 Racing Force International W.L.L. Helmet comprising a device for acquiring images

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19542835A1 (de) * 1995-11-17 1997-05-22 Schuberth Werk Kg Kopfbedeckung, insbesondere Schutzhelm
JP2008542558A (ja) * 2005-05-26 2008-11-27 ゲルチュ,ジェフリー,エイチ. 電子ヘルメット
DE102009036283A1 (de) * 2009-08-06 2011-02-10 Schuberth Gmbh Schutzhelm
US20140362244A1 (en) * 2013-01-10 2014-12-11 Anthony Martin Helmet Camera System
US9955108B2 (en) * 2013-10-15 2018-04-24 IL Holdings, LLC Miniature high definition camera for visible, infrared, and low light applications

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITMI992366A1 (it) 1999-11-12 2001-05-14 Ludovico Fassitelli Casco di protezione jet aperto per uso automobilistico motociclisticoe sportivo in genere con prolungamento della parte laterale con funzio
US20010038491A1 (en) * 2000-02-02 2001-11-08 Fergason John D. Modular 3-D shutter glasses and method
US20020186180A1 (en) * 2000-11-30 2002-12-12 William Duda Hands free solar powered cap/visor integrated wireless multi-media apparatus
US6493136B2 (en) * 2001-03-07 2002-12-10 General Scientific Corp. Clip-on optical mounting structure
JP4364002B2 (ja) * 2004-02-06 2009-11-11 オリンパス株式会社 頭部装着型カメラ及び頭部装着型カメラによる撮影方法
JP2008252260A (ja) * 2007-03-29 2008-10-16 Sony Corp 撮像装置、撮像方法、プログラム
US8773537B2 (en) * 2008-10-27 2014-07-08 Devcar, Llc Night vision system
JP2010288263A (ja) * 2009-05-12 2010-12-24 Canon Inc 撮像装置及び撮像方法
US20110059628A1 (en) * 2009-09-04 2011-03-10 Solid State System Co., Ltd. Secure digital card with two micro-sd cards in striping data access
EP2652876A2 (en) * 2010-12-17 2013-10-23 Telegent Systems USA, Inc. Whip antenna for mobile communication devices
US8730388B2 (en) * 2011-08-05 2014-05-20 Calvin Osborn Wearable video camera with dual rotatable imaging devices
US20130078908A1 (en) * 2011-09-27 2013-03-28 Rivada Research, Llc Method and System for Providing Explosion Proof Emergency Communication Relay Module
US9389677B2 (en) * 2011-10-24 2016-07-12 Kenleigh C. Hobby Smart helmet
JP5386567B2 (ja) * 2011-11-15 2014-01-15 株式会社フジクラ 撮像素子チップの実装方法、内視鏡の組立方法、撮像モジュール及び内視鏡
WO2013086246A1 (en) * 2011-12-06 2013-06-13 Equisight Inc. Virtual presence model
WO2013176997A1 (en) * 2012-05-19 2013-11-28 Skully Helmets, Inc. Augmented reality motorcycle helmet
ITUD20120110A1 (it) 2012-06-11 2013-12-12 Bell Racing Europ S A Casco provvisto di dispositivo per la comunicazione acustica
US8959272B2 (en) * 2012-07-06 2015-02-17 Blackberry Limited Interposer and intelligent multiplexer to provide a plurality of peripherial buses
US9019431B2 (en) * 2012-09-28 2015-04-28 Digital Ally, Inc. Portable video and imaging system
US20150229813A1 (en) * 2013-02-11 2015-08-13 Oran Jacob Isaac-Lowry Miniature High Definition Camera System
US9154676B1 (en) * 2014-03-20 2015-10-06 Kranos Ip Corporation Video camera housing for football helmet
WO2016022984A1 (en) * 2014-08-08 2016-02-11 Fusar Technologies, Inc. Helmet system and methods
US10542222B2 (en) * 2015-08-31 2020-01-21 Daniel Arnold Multiview body camera system with environmental sensors and alert features
US10257434B2 (en) * 2015-08-31 2019-04-09 Daniel Arnold Multiview body camera system with environmental sensors and alert features
US10121390B2 (en) * 2015-11-12 2018-11-06 Donald Kennair, Jr. Helmet point-of-view training and monitoring method and apparatus
CN105286166A (zh) * 2015-11-25 2016-02-03 张明 一种后视前放安全智能头盔
US10324290B2 (en) * 2015-12-17 2019-06-18 New Skully, Inc. Situational awareness systems and methods
USD920635S1 (en) * 2018-04-30 2021-06-01 Web Objective Capital Headwear with camera
DE102018004314A1 (de) * 2018-05-30 2019-12-05 Schuberth Gmbh Schutzhelm
US11245831B2 (en) * 2018-09-21 2022-02-08 R.F. Wireless Systems Inc. Wireless camera system
WO2020092271A1 (en) * 2018-10-29 2020-05-07 Holosports Corporation Racing helmet with visual and audible information exchange
US11963572B2 (en) 2019-02-26 2024-04-23 Zeronoise Ltd Apparatus to acquire and process images for a helmet, corresponding helmet and method to acquire and process images
US10887557B2 (en) * 2019-03-28 2021-01-05 Raytheon Technologies Corporation Ejection seat occupant camera system
US11112059B2 (en) * 2020-01-07 2021-09-07 NextVPU (Shanghai) Co., Ltd. Adjustable connection between an assistive device and a wearable device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19542835A1 (de) * 1995-11-17 1997-05-22 Schuberth Werk Kg Kopfbedeckung, insbesondere Schutzhelm
JP2008542558A (ja) * 2005-05-26 2008-11-27 ゲルチュ,ジェフリー,エイチ. 電子ヘルメット
DE102009036283A1 (de) * 2009-08-06 2011-02-10 Schuberth Gmbh Schutzhelm
US20140362244A1 (en) * 2013-01-10 2014-12-11 Anthony Martin Helmet Camera System
US9955108B2 (en) * 2013-10-15 2018-04-24 IL Holdings, LLC Miniature high definition camera for visible, infrared, and low light applications

Also Published As

Publication number Publication date
US20220047035A1 (en) 2022-02-17
US11963572B2 (en) 2024-04-23
EP3930523A1 (en) 2022-01-05
WO2020173555A1 (en) 2020-09-03

Similar Documents

Publication Publication Date Title
JP2022530302A (ja) ヘルメット用の画像を取得及び処理するための装置、対応するヘルメット、並びに画像を取得及び処理するための方法
US10484652B2 (en) Smart headgear
US6819354B1 (en) Completely integrated helmet camera
CN100353771C (zh) 使用户选择与事件有关的不同景象和声音的系统和方法
US6704044B1 (en) Completely integrated baseball cap camera
CA1245896A (en) Portable communications terminal
US9197840B2 (en) Head mount display and method for controlling head mount display
JPH06194600A (ja) 表示装置
US9578419B1 (en) Method and apparatus for estimating spatial content of soundfield at desired location
JP4178634B2 (ja) 映像信号伝送装置、映像信号伝送方法、映像信号撮像装置および映像信号処理装置
US20220239888A1 (en) Video distribution system, video distribution method, and display terminal
US20150185479A1 (en) Helmet
EP3050752A1 (en) Motorcycle rear view cameras
GB2292038A (en) Video camera with head mounted display
JP2019008202A (ja) 撮像装置
JP2000004395A (ja) ビデオカメラの画像処理装置及びヘッドマウントディスプレイ
CN220512295U (zh) 一种头戴式vr视频流采集设备
CN206042164U (zh) 一种单兵执法仪外置摄像头组件
JP6801618B2 (ja) 携帯型画像表示装置及び画像表示制御方法
WO2024018344A1 (en) Helmet comprising a device for acquiring images
KR20170119608A (ko) 넥밴드형 캠코더
AU2016101918A4 (en) Method of producing a video file
JP3601563B2 (ja) 赤外線av信号伝送の光軸合わせ方法及び赤外線av信号伝送システム
JP2022158770A (ja) リアルタイムリモート中継システム
Bacic et al. Digital TV outside broadcast vehicle: the first ever Croatian Women World Cup competition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221227

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230403

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20231129

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231218

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20240216